Related to: Deep Learning

Analysis of model behaviors

  • Embedding feature analysis

    Untitled 38.png

    • Dataset들에 대한 Model의 고차원 high level feature vector를 수집(모델의 뒷부분, High level feature)
    • 알고싶은 이미지도 마찬가지로 inferrence 시켜서 high level feature vector를 수집
    • feature vector들끼리의 유사성으로 해당 이미지와 유사한 high level feature vector를 Dataset 내의 이미지들을 얻을 수 있음

    Untitled 1 32.png

  • t-SNE(t-distributed stochastic neighbor embedding)

    • 고차원 백터를 저차원으로 표현할 수 있는 방법

    Untitled 2 19.png

  • CAM(Class activation mapping)

    • Conv블록의 뒤에 3ch conv블록 생성, class에 대한 weighted sum

    • hitmap 느낌으로 모델이 인지한 부분을 볼 수 있음

      Untitled 3 17.png

    • 모델이 처음부터 저 모양이라면 바로 쓸 수 있지만, 그렇지 않은 경우(FC layer 등이 있는 경우) 해당 부분을 제거하고 새롭게 추가한 신경망을 (GAP Layer + FC Layer)을 다시 훈련시켜야 함

  • Grad-CAM

    Info

    Grad-CAM - 새내기 코드 여행
    인공지능은 이미 거의 모든 분야에서 다양한 용도로 사용되고 있습니다.
    https://joungheekim.github.io/2020/10/14/paper-review/

    Untitled 4 12.png

    • CAM을 일반화 한 방법

참조

Week 4