경량 딥러닝(Lightweight Deep Learning)

경량 딥러닝(Lightweight Deep Learning) 개념

기존의 딥러닝을 통해 생성된 모델을 다양한 기법으로 줄여서(예. 크기, 에너지 소모등) 정확도를 유지하면서 다양한 경량 디바이스에서 내장하여 추론을 가능하게 하는 기술

 

경량 딥러닝 출현 배경

• 무한한 양의 빅데이터를 이해하기 위한 딥러닝 모델의 수준은 미미
• 기존의 합습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화 하는 모델 필요

 

경량 딥러닝 특징

• 기존 클라우드 기반의 학습된 모델을 경량 장치에 내장하기 위한 필수 기술
• 지연시간 감소
• 민감한 개인 정보 보호
• 네트워크 트래픽 감소

 

경량 알고리즘 기술

알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여, 기존 모델 대비 효율을 극대화하기 위한 기술

 

알고리즘 경량화 기술

만들어진 모델의 파라미터들을 줄이는 모델 압축(Model Compression) 등의 기법 적용

• 이전화(Binarization): 딥러닝에 사용되는 가중치의 부동 소수점 수를 0과 1로 표현하여, 그 크기를 줄이는 방법
• 양자화(Quantization): 0과 1로 표현하는 이진화와 달리, 특정 몇 비트(예. 8비트)로 구간화하여 그 크기를 줄이는 방법
• 지식증류(Knowledge Distillation): 심층 신경망으로 학습된 모델들의 숨은 지식을 계산량이 적고 얕은 신경망으로 전달하는 방법
• 전이학습(Transfer Learning): 기존의 학습된 모델과 비슷한 유형의 다른 모델로 학습된 결과를 옮겨서 부족한 데이터를 통한 학습이나 훈련 시간을 단축시키는 방법

 

 

출처: https://ettrends.etri.re.kr/ettrends/176/0905176005/

경량 딥러닝 기술 동향