빅데이터 엔지니어링 — 파이프라인과 Spark

Name: 빅데이터 엔지니어링 — 파이프라인과 Spark
Price: 900000 KRW
Availability: InStock

배치·스트리밍 파이프라인을 설계하고 Spark로 대용량 데이터 처리

2027. 1. 11. ~ 2027. 1. 29.

60시간

정원 24명

일반과정 · 자비 부담지금 개설 준비 중

교육 기간

1월 11일 ~ 1월 29일

총 교육시간

60시간 · 약 1개월

수강료

900,000원

접수 마감

D-59 · 12월 28일

문의 로그인 후 지원 D-59

대분류

IT/개발

IT·소프트웨어·인공지능 분야 오프라인 강의

과정 안내

교육기간약 1개월 (60시간)

모집인원총 24명

과정 개요

데이터 엔지니어 취업준비생과 백엔드 개발자 전환자를 위한 심화 과정입니다. 데이터 웨어하우스·레이크·레이크하우스 개념부터 Kafka 기반 수집, Spark 구조와 DataFrame API, Airflow 오케스트레이션, 데이터 품질·거버넌스·비용 관리까지 엔드투엔드 파이프라인을 직접 구축합니다. AI를 붙인 파이프라인 코드 생성·리뷰까지 다루어 실무 감각을 완성합니다.

교육 목표

배치·스트리밍 데이터 파이프라인을 설계하고 운영한다
분산처리 프레임워크로 대용량 데이터를 처리한다
데이터 품질과 비용을 관리하는 실무 감각을 갖춘다
수집→적재→변환→대시보드의 엔드투엔드 구조를 구축한다

교육 대상

데이터 엔지니어 취업준비생, 백엔드 개발자 전환, 장기과정 편성용

수료 혜택

엔드투엔드 파이프라인 저장소, 아키텍처 문서, 운영 대시보드를 완성합니다. 국비지원 대상으로 자부담금이 없습니다.

커리큘럼

빅데이터 엔지니어링 — 파이프라인과 Spark

구분	과목	내용
교육 과정	1~2일차	데이터 아키텍처 개관 — OLTP/OLAP, 메달리온 아키텍처
	3~4일차	수집(Ingestion) — API·DB·로그 수집 패턴, Kafka 기초
	5~7일차	처리(Processing) — Spark 구조, DataFrame API, 성능 튜닝, 파일 포맷
	8~9일차	오케스트레이션 — Airflow DAG, dbt 변환 계층
	10일차	품질·거버넌스·비용 — 데이터 품질 테스트, 카탈로그, 비용 최적화
프로젝트·취업준비	11~12일차	AI를 붙인 데이터 엔지니어링과 최종 프로젝트 — 엔드투엔드 파이프라인 발표