Llama 3 등 경량 언어모델을 사내 데이터로 미세조정해 온프레미스로 구축하는 과정
교육 기간
2월 8일 ~ 3월 12일
총 교육시간
96시간 · 약 1개월
수강료
국비지원 · 자부담 0원
접수 마감
D-142 · 1월 25일
IT/개발
IT·소프트웨어·인공지능 분야 오프라인 강의
본 과정은 AI 리서처와 데이터 사이언티스트를 대상으로, 외부 API에 의존하지 않고 사내 데이터 보안을 지키면서 Llama 3 등 오픈소스 경량 언어모델(sLLM)을 자체 데이터셋으로 미세조정(Fine-Tuning)하여 온프레미스 인프라에 구축하는 것을 목표로 합니다. 모델 선정 기준, 학습 데이터셋 구성과 정제, Full Fine-tuning 대비 LoRA·QLoRA 등 효율적 파인튜닝 기법의 원리와 실습을 다룹니다. Hugging Face 생태계(Transformers, PEFT, Datasets)와 GPU 자원을 활용한 학습 환경 구성, 학습 결과 평가(정량 지표·정성 평가)까지 모델 개발의 전 과정을 실습합니다. 후반부에는 학습된 모델을 Ollama·vLLM 등으로 서빙해 사내 인프라에 배포하고, 양자화(Quantization)를 통한 경량화까지 다루어 실제 온프레미스 운영이 가능한 수준의 결과물을 완성합니다.
sLLM의 개념과 LLM 대비 장단점을 이해하고 목적에 맞는 오픈소스 모델(Llama 3, Mistral, Qwen 등)을 선정한다 파인튜닝용 학습 데이터셋을 구성·정제하고 품질을 검증한다 LoRA·QLoRA 등 효율적 파인튜닝 기법의 원리를 이해하고 Hugging Face PEFT로 실습한다 GPU 자원을 활용한 학습 환경을 구성하고 학습 과정을 모니터링한다 파인튜닝 결과를 정량 지표와 정성 평가로 검증하고 개선한다 양자화(Quantization)를 적용해 모델을 경량화하고 Ollama·vLLM으로 온프레미스에 서빙한다
머신러닝/딥러닝 기초 지식을 보유한 AI 리서처, 데이터 사이언티스트, 사내 AI 인프라 구축을 담당하는 ML 엔지니어를 대상으로 합니다. 외부 클라우드 API 사용이 제한된 보안 중요 조직(금융·공공·국방 등) 재직자에게 특히 적합합니다.
실습에는 GPU 서버(교육기관 제공, 클라우드 GPU 인스턴스 포함) 사용이 필요하며 기본 실습 시간은 교육비에 포함됩니다. 단, 개인 추가 실습을 위한 클라우드 GPU 사용량 초과분(예: RunPod, Lambda Labs 등, 시간당 수천원 수준)은 수강생이 부담할 수 있습니다. 수료 시 파인튜닝된 모델과 학습 파이프라인 코드 전체를 포트폴리오로 확보합니다.
정원 24명 규모의 강의실에서 실습 중심으로 진행됩니다. 수강생 1인당 실습용 PC와 유·무선 인터넷 환경을 제공하며, 조별 프로젝트가 가능한 좌석 배치로 운영됩니다.
sLLM의 개념과 LLM 대비 장단점을 이해하고 목적에 맞는 오픈소스 모델(Llama 3, Mistral, Qwen 등)을 선정한다
실습 산출물 제공
포트폴리오 완성
과정 종료 시 실제 프로젝트 산출물을 포트폴리오로 확보합니다.
국비지원 혜택
자부담금 0원
국민내일배움카드 연계 과정으로 수강료 자부담이 없습니다(일부 실습 도구 구독료는 별도).
훈련장려금
출석 연동 지급
출석률 등 요건 충족 시 훈련장려금이 지급될 수 있습니다.
출석률 80% 이상 및 파인튜닝 모델 결과물 제출 시 수료증이 발급됩니다. 국민내일배움카드 훈련 이수내역이 HRD-Net에 등록됩니다.
Related
인공지능·데이터
AI 코딩 에이전트를 보조 개발자로 활용해 완성하는 실전 풀스택 웹 서비스
인공지능·데이터
파이썬·ChatGPT로 데이터 정제부터 대시보드·인사이트 리포트까지 자동화
인공지능·데이터
환각 없는 사내 문서 기반 질의응답 시스템, RAG 백엔드 설계부터 배포까지
