Related to: Fundamentals
개요
딥러닝 모델이 실제로 어떤 정보를 학습하고, 예측 시 어떤 부분에 집중하는지를 이해하기 위한 분석 기법들입니다. 모델의 해석 가능성(Interpretability)을 높이는 데 핵심적인 역할을 합니다.
핵심 개념
Embedding feature analysis
- Dataset들에 대한 Model의 고차원 high level feature vector를 수집(모델의 뒷부분, High level feature)
- 알고싶은 이미지도 마찬가지로 inference 시켜서 high level feature vector를 수집
- feature vector들끼리의 유사성으로 해당 이미지와 유사한 high level feature vector를 Dataset 내의 이미지들을 얻을 수 있음
t-SNE(t-distributed stochastic neighbor embedding)
- 고차원 벡터를 저차원으로 표현할 수 있는 방법
CAM(Class activation mapping)
-
Conv블록의 뒤에 3ch conv블록 생성, class에 대한 weighted sum
-
hitmap 느낌으로 모델이 인지한 부분을 볼 수 있음
-
모델이 처음부터 저 모양이라면 바로 쓸 수 있지만, 그렇지 않은 경우(FC layer 등이 있는 경우) 해당 부분을 제거하고 새롭게 추가한 신경망을 (GAP Layer + FC Layer)을 다시 훈련시켜야 함
Grad-CAM
Info
Grad-CAM - 새내기 코드 여행
인공지능은 이미 거의 모든 분야에서 다양한 용도로 사용되고 있습니다. https://joungheekim.github.io/2020/10/14/paper-review/
- CAM을 일반화 한 방법
- 마지막 Conv layer의 gradient를 활용하여 class activation map을 생성
- FC layer가 없어도 적용 가능
관련 개념
- Knowledge distillation — 모델의 표현 학습을 활용하는 기법
- Transfer Learning — 사전 학습된 모델의 embedding을 재활용