데이터 엔지니어링

1 개요

data engineering

데이터 엔지니어링

• 데이터 엔지니어의 업무
• 데이터 사이언티스트와 협업하는 업무
• 데이터 분석가 및 사내 다양한 팀들이 손쉽게 서비스 데이터를 다루고 분석할 수 있는 기반을 마련하는 일
• 데이터 사이언티스트가 사용하는 데이터의 생성·준비(데이터 파이프라인), 포맷, 확장성, 복원력, 보안 등에 관한 업무
• 빅데이터 분석 시스템 구축, 데이터 수집, 가공, 저장, 분석, 협업
• 데이터 분석팀들이 만든 모델 혹은 비즈니스 로직을 실제로 적용할 수 있도록 백엔드 서비스를 개발하고 환경을 구축한다.

2 같이 보기

• 데이터
• 엔지니어링
• 데이터 과학
• 특성 엔지니어링
• 데이터 엔지니어
• 데이터 사이언티스트

3 참고

• https://www.oreilly.com/content/data-engineering-a-quick-and-simple-definition/
• https://tech.kakao.com/2020/11/30/kakao-data-engineering/ 데이터 엔지니어링이란 《kakao Tech》 데이터정보플랫폼팀 kenny 2020-11-30
• https://tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 《SOCAR Tech Blog》 2021-03-24