Related to: Deep Learning
Dropout
- 매 훈련 과정에서 랜덤으로 일부 퍼셉트론을 없애버림
- 퍼셉트론에 연결된 가중치들도 의미없는 값이 됩니다.
- 이 과정에서 약간씩 다른, 엄청 다양한 구조가 학습된다고 생각할 수 있습니다.
- 구현할 때는 일단 계산한 후 0 or 1 마스크를 곱해 결과값을 0으로 만들어버리는 방식으로 구현합니다.
참조
https://deepestdocs.readthedocs.io/en/latest/004_deep_learning_part_2/0042/