optimizer.zero_grad()은 무엇일까

Related to: Machine Learning

개요

PyTorch 딥러닝 학습의 기본 순서에서 필수적으로 사용되는 optimizer.zero_grad()의 역할을 설명합니다.

핵심 개념

optimizer.zero_grad()

• 호출 시 parameter(학습해야 할 tensor)의 grad 변수를 초기화
  • model.backward()를 사용할 시, 내부 Parameter Tensor의 grad에는 편미분한 결과 값이 저장됨
  • 그러나 역전파(optimizer.step()) 가 끝난 후에도 유지되므로, 다음 훈련 전에 초기화 필요

관련 개념

• 자동 미분(Autograd) - 역전파 자동 미분 메커니즘
• PyTorch 딥러닝 학습의 기본 순서 - 딥러닝 학습의 전체 흐름
• torch.nn.Parameter은 무엇일까 - grad가 저장되는 Parameter 객체
• torch.no_gard()의 역할 - gradient 계산 비활성화 컨텍스트

참조

https://pytorch.org/docs/stable/generated/torch.optim.Optimizer.zero_grad.html?highlight=optimizer zero_grad#torch.optim.Optimizer.zero_grad

Week 2