Related to: Deep Learning
RNN 내부에서 sigmoid 또는 tanh를 쓰는 이유
- RNN은 구조상 반복된 곱연산이 발생한다. 따라서 뒤로 갈수록 값이 무한정 커질 수 밖에 없다.
- 하지만 값을 tanh 또는 sigmoid를 거쳐가게 하면 sigmoid의 경우 항상 [0,1]사이의 값 되도록 보장할 수 있고 tanh의 경우 [-1,1]사이의 값이 되도록 보장할 수 있다.
- 그러므로 계속 곱연산이 일어나도 결과 값이 발산하지 않을 수 있다.