오픈소스 sLLM (Llama 3 등) 파인튜닝 및 온프레미스 구축

과정 개요

본 과정은 AI 리서처와 데이터 사이언티스트를 대상으로, 외부 API에 의존하지 않고 사내 데이터 보안을 지키면서 Llama 3 등 오픈소스 경량 언어모델(sLLM)을 자체 데이터셋으로 미세조정(Fine-Tuning)하여 온프레미스 인프라에 구축하는 것을 목표로 합니다. 모델 선정 기준, 학습 데이터셋 구성과 정제, Full Fine-tuning 대비 LoRA·QLoRA 등 효율적 파인튜닝 기법의 원리와 실습을 다룹니다. Hugging Face 생태계(Transformers, PEFT, Datasets)와 GPU 자원을 활용한 학습 환경 구성, 학습 결과 평가(정량 지표·정성 평가)까지 모델 개발의 전 과정을 실습합니다. 후반부에는 학습된 모델을 Ollama·vLLM 등으로 서빙해 사내 인프라에 배포하고, 양자화(Quantization)를 통한 경량화까지 다루어 실제 온프레미스 운영이 가능한 수준의 결과물을 완성합니다.

교육 목표

• sLLM의 개념과 LLM 대비 장단점을 이해하고 목적에 맞는 오픈소스 모델(Llama 3, Mistral, Qwen 등)을 선정한다
• 파인튜닝용 학습 데이터셋을 구성·정제하고 품질을 검증한다
• LoRA·QLoRA 등 효율적 파인튜닝 기법의 원리를 이해하고 Hugging Face PEFT로 실습한다
• GPU 자원을 활용한 학습 환경을 구성하고 학습 과정을 모니터링한다
• 파인튜닝 결과를 정량 지표와 정성 평가로 검증하고 개선한다
• 양자화(Quantization)를 적용해 모델을 경량화하고 Ollama·vLLM으로 온프레미스에 서빙한다

교육 대상

머신러닝/딥러닝 기초 지식을 보유한 AI 리서처, 데이터 사이언티스트, 사내 AI 인프라 구축을 담당하는 ML 엔지니어를 대상으로 합니다. 외부 클라우드 API 사용이 제한된 보안 중요 조직(금융·공공·국방 등) 재직자에게 특히 적합합니다.

수료 혜택

실습에는 GPU 서버(교육기관 제공, 클라우드 GPU 인스턴스 포함) 사용이 필요하며 기본 실습 시간은 교육비에 포함됩니다. 단, 개인 추가 실습을 위한 클라우드 GPU 사용량 초과분(예: RunPod, Lambda Labs 등, 시간당 수천원 수준)은 수강생이 부담할 수 있습니다. 수료 시 파인튜닝된 모델과 학습 파이프라인 코드 전체를 포트폴리오로 확보합니다.