RNN(Recurrent Neural Networks)

Related to: Architectures

개요

RNN(Recurrent Neural Networks)은 시퀀스 데이터를 처리하기 위한 신경망 구조입니다. 현 시점의 hidden state가 이전 시점의 hidden state를 받아 갱신되는 순환 구조를 가집니다.

핵심 개념

• 녹색 박스는 hidden state를 의미
• 빨간 박스는 input data를 의미
• 파란 박스는 output data를 의미
• 현 시점의 hidden state($h_t$)는 이전 시점의 hidden state($h_{t-1}$)을 받아 갱신됨
• 첫 번째 RNN의 경우, 이전 hidden state가 존재하지 않으므로 0을 입력

관련 개념

• RNN 내부에서 sigmoid 또는 tanh를 쓰는 이유 — RNN에서 활성화 함수로 sigmoid/tanh를 사용하는 이유
• 하이퍼볼릭 탄젠트(Hyperbolic Tangent) — RNN에서 주로 사용되는 tanh 함수

참조

https://ratsgo.github.io/natural language processing/2017/03/09/rnnlstm/

Week 1