FPN(Feature Pyramid Network)

개요

Feature Pyramid Network(FPN)은 Object Detection에서 Semantic 정보를 고유한 비율로 추출할 수 있도록 하는 기술입니다.

Pyramid 구조를 통해 Low Level에서 High Level로 정보를 전달하며, Top-Down 방식과 Bottom-Up 방식을 사용합니다.

또한, Stage Mapping을 통해 ROI의 w와 h 값으로 Stage를 추정하여 각 Stage에서 Feature map을 추출합니다.

Low Level은 Semantic한 정보가 없기 때문에 Pyramid 구조를 사용하여 High Level에서 Low Level로 Semantic 정보를 전달
- Low level = Early stage = bottom
- High level = Late Stage = Top

Bottom-Up
- image ~~ High Level까지 feature 전달됨, 일반적인 CNN Backbone 통과 과정을 의미
Top-Down
- High Level ~~ Low Level까지 feature 전달
- Feature Map의 Dimension이 맞지 않음
  - Top-Down Path : Up Convolution 진행(h, w 피팅)
  - 기존 level Path : 1x1 Convolution 진행(c 피팅)

Faster R-CNN 구조에 FPN을 적용하려면 Region Proposal을 어떤 scale의 feature map과 매칭시킬지 결정해야 합니다.

Fast R-CNN은 single-scale feature map만을 사용한 반면, FPN을 적용한 Faster R-CNN은 multi-scale feature map을 사용하기 때문입니다.

저자는 아래 공식을 사용하여 k번째 feature map과 매칭시킵니다.

$k = [k_{0} + lo g_{2} (\frac{w h}{224})] k_{0} : 4 (d e f a u lt)$