빅데이터 분산 처리 및 AI 딥러닝 응용 프로젝트

과정 개요

데이터의 양과 속도가 기존 단일 서버 처리 방식의 한계를 넘어서면서, 하둡(Hadoop)과 아파치 스파크(Spark) 기반의 분산 처리 역량과 이를 딥러닝 모델링까지 연결할 수 있는 데이터 엔지니어링 인력에 대한 수요가 커지고 있다. 본 과정은 Python·SQL 기초와 데이터베이스 설계를 다진 뒤, HDFS 분산 파일 시스템, MapReduce, Hive, Spark(Spark SQL·Spark Streaming·MLlib)를 활용한 대용량 데이터 수집·적재·가공 파이프라인 구축을 실습한다. 교육생은 Kafka 기반 실시간 데이터 스트리밍 처리와 Airflow를 통한 배치 파이프라인 스케줄링을 익히고, 이렇게 처리된 대규모 데이터를 활용해 머신러닝·딥러닝(CNN·RNN·Transformer) 모델을 학습시키는 전 과정을 다룬다. 최종적으로는 테라바이트급 로그·정형/비정형 데이터를 분산 환경에서 처리하여 실시간 추천, 이상 탐지, 지능형 챗봇 등 실제 서비스에 활용 가능한 딥러닝 응용 프로젝트를 완성한다. 실습 환경은 클라우드 기반 Hadoop/Spark 클러스터로 구성되며 데이터엔지니어링 실무 중심의 프로젝트 비중이 높다.