Related to: Fundamentals
개요
하이퍼볼릭 탄젠트(tanh)는 Sigmoid의 대체제로 사용될 수 있는 활성화 함수입니다. RNN 등에서 자주 활용되며, RNN 내부에서 sigmoid 또는 tanh를 쓰는 이유를 이해하면 더 명확하게 파악할 수 있습니다.
핵심 개념
특징
- 출력 범위는 -1에서 1 사이 (Sigmoid는 0~1)
- 출력 범위가 더 넓고 경사면이 큰 범위가 더 크기 때문에 더 빠르게 수렴하여 학습
- Sigmoid의 치명적인 단점인 Vanishing gradient problem 문제를 그대로 갖고 있음
- 출력이 zero-centered이므로 Sigmoid보다 학습 안정성이 높음
Sigmoid와 비교
| 항목 | Sigmoid | tanh |
|---|---|---|
| 출력 범위 | (0, 1) | (-1, 1) |
| Zero-centered | X | O |
| Vanishing Gradient | 있음 | 있음 |
관련 개념
- RNN(Recurrent Neural Networks) — tanh를 주로 사용하는 순환 신경망
- RNN 내부에서 sigmoid 또는 tanh를 쓰는 이유 — tanh 선택 이유 설명
- 가중치 초기화(Weight Initialization)가 필요한 이유와 Xavier & He 초기화 — 활성화 함수와 연관된 초기화 방법