모멘텀 (머신러닝)

  다른 뜻에 대해서는 모멘텀(momentum) 문서를 참조하십시오.

1 개요

Momentum

모멘텀

• 학습 단계가 현재 단계의 도함수뿐 아니라 바로 앞 단계의 도함수에도 의존하는 정교한 경사하강법 알고리즘
• 모멘텀에서는 물리학의 모멘텀(운동량) 계산과 마찬가지로 시간에 따른 경사의 지수가중이동평균을 계산한다.
• 모멘텀은 학습이 국소 최저점에서 정체되는 현상을 방지하는 데 도움이 될 수 있다.

2 참고

• https://developers.google.com/machine-learning/glossary#momentum