Related to: Fundamentals
개요
모든 신경망은 계산 그래프(Computational Graph)입니다. 연산의 과정을 그래프로 표현함으로써 역전파(Backpropagation) 계산을 체계적으로 수행할 수 있습니다.
핵심 개념
- 연산의 과정을 그래프로 표현
- 모든 신경망은 계산 그래프이다
Define and Run
- 그래프를 먼저 정의, 실행 시점에 데이터를 feed
- TensorFlow 1.x 방식 (정적 계산 그래프)
- 그래프 최적화가 가능하지만 디버깅이 어려움
Define by Run(Dynamic Computational Graph, DCG)
- 실행하면서 그래프 생성
- PyTorch 방식 (동적 계산 그래프)
- 디버깅이 용이하고 유연한 모델 구성 가능
관련 개념
- Deep Learning — Computational Graph의 응용 분야
- Basic Optimizer & Adam(Adaptive Moment Esimation) — 계산 그래프를 통해 gradient를 계산하는 최적화 알고리즘