Related to: Deep Learning Knowledge distillation 기계학습에서 Knowlkege distillation은 큰 모델에서 작은 모델(일반적으로) 지식을 이전하는 프로세스 모델압축, unlabeled dataset에 대한 pseudo-label(가짜 라벨) 생성에 사용 Student Model이 Teacher Model의 결과를 흉내내게(mimic) 함 참조 https://en.wikipedia.org/wiki/Knowledge_distillation Week 4
