하이퍼볼릭 탄젠트(Hyperbolic Tangent)

Related to: Deep Learning

하이퍼볼릭 탄젠트(Hyperbolic Tangent)

• Sigmoid의 대체제로 사용될 수 있는 활성화 함수
• 출력 범위는 -1에서 1사이
• 출력 범위가 더 넓고 경사면이 큰 범위가 더 크기 때문에 더 빠르게 수렴하여 학습
• Sigmoid의 치명적인 단점인 Vanishing gradient problem 문제를 그대로 갖고 있음

$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

참조

http://taewan.kim/post/tanh_diff/

Week 1