배치·스트리밍 파이프라인을 설계하고 Spark로 대용량 데이터 처리
교육 기간
1월 11일 ~ 1월 29일
총 교육시간
60시간 · 약 1개월
수강료
900,000원
접수 마감
D-114 · 12월 28일
IT/개발
IT·소프트웨어·인공지능 분야 오프라인 강의
데이터 엔지니어 취업준비생과 백엔드 개발자 전환자를 위한 심화 과정입니다. 데이터 웨어하우스·레이크·레이크하우스 개념부터 Kafka 기반 수집, Spark 구조와 DataFrame API, Airflow 오케스트레이션, 데이터 품질·거버넌스·비용 관리까지 엔드투엔드 파이프라인을 직접 구축합니다. AI를 붙인 파이프라인 코드 생성·리뷰까지 다루어 실무 감각을 완성합니다.
배치·스트리밍 데이터 파이프라인을 설계하고 운영한다 분산처리 프레임워크로 대용량 데이터를 처리한다 데이터 품질과 비용을 관리하는 실무 감각을 갖춘다 수집→적재→변환→대시보드의 엔드투엔드 구조를 구축한다
데이터 엔지니어 취업준비생, 백엔드 개발자 전환, 장기과정 편성용
엔드투엔드 파이프라인 저장소, 아키텍처 문서, 운영 대시보드를 완성합니다. 국비지원 대상으로 자부담금이 없습니다.
정원 24명 규모의 강의실에서 실습 중심으로 진행됩니다. 수강생 1인당 실습용 PC와 유·무선 인터넷 환경을 제공하며, 조별 프로젝트가 가능한 좌석 배치로 운영됩니다.
배치·스트리밍 데이터 파이프라인을 설계하고 운영한다
실습 산출물 제공
포트폴리오 완성
과정 종료 시 실습 산출물을 포트폴리오로 확보합니다.
수료증 발급
출석 80% 이상
출석률과 최종 과제 제출 기준을 충족하면 수료증이 발급됩니다.
실무 중심 커리큘럼
직접 해보는 시간 50% 이상
매 차시 직접 실습하는 시간을 절반 이상 확보해 실무 적용력을 높입니다.
출석 80% 이상 + 파이프라인 저장소 제출 + 최종 프로젝트 발표를 완료하면 수료증이 발급됩니다.
Related
인공지능·데이터
Llama 3 등 경량 언어모델을 사내 데이터로 미세조정해 온프레미스로 구축하는 과정
인공지능·데이터
AI 코딩 에이전트를 보조 개발자로 활용해 완성하는 실전 풀스택 웹 서비스
인공지능·데이터
파이썬·ChatGPT로 데이터 정제부터 대시보드·인사이트 리포트까지 자동화
