On-Device AI 기반 딥러닝 모델 최적화 및 경량화 실무

과정 개요

스마트폰, 로봇, IoT 기기 등 엣지 디바이스에서 서버 통신 없이 즉시 AI 추론을 수행하는 On-Device AI 수요가 늘면서, 무겁고 느린 딥러닝 모델을 NPU(신경망 처리 장치) 환경에 맞게 압축·가속화할 수 있는 모델 최적화 엔지니어에 대한 수요가 커지고 있다. 본 과정은 Python 기반 딥러닝 모델링(CNN·경량 아키텍처: MobileNet, EfficientNet 등) 기초를 다진 뒤, 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation) 등 모델 경량화 핵심 기법과 ONNX·TensorRT·TFLite 등 추론 최적화 프레임워크를 실습한다. 교육생은 NPU/엣지 AI 가속기 개발 보드를 활용해 모델을 변환·프로파일링하고, 지연시간(Latency)·전력 소모·정확도 간 트레이드오프를 분석해 최적의 배포 모델을 찾는 실무 과정을 경험한다. 최종적으로는 서버 없이 온디바이스 환경(모바일·임베디드 보드)에서 실시간으로 동작하는 컴퓨터 비전 또는 음성 인식 애플리케이션을 경량화 모델로 직접 구현하고 성능을 검증한다. 커리큘럼은 NPU 전문 기업 및 엣지 AI 실무 교육 사례를 참고해 구성된다.