optimizer.zero_grad()은 무엇일까

Related to: Machine Learning

optimizer.zero_grad()

• 호출 시 parameter(학습해야 할 tensor)의 grad 변수를 초기화
  • model.backward()를 사용할 시, 내부 Parameter Tensor의 grad에는 편미분한 결과 값이 저장됨
  • 그러나 역전파(optimizer.step()) 가 끝난 후에도 유지되므로, 다음 훈련 전에 초기화 필요

참조

https://pytorch.org/docs/stable/generated/torch.optim.Optimizer.zero_grad.html?highlight=optimizer zero_grad#torch.optim.Optimizer.zero_grad

Week 2