확률적 경사하강법

1 개요

stochastic gradient descent (SGD)

확률적 경사하강법

• 배치 크기가 1인 경사하강법 알고리즘
• 데이터 세트에서 무작위로 균일하게 선택한 하나의 예에 의존하여 각 단계의 예측 경사를 계산한다.

---

SGD는 머신러닝에서 모델을 학습시키기 위한 최적화 알고리즘 중 하나이다. 특히, 배치 크기가 1인 경우, 각 학습 단계에서 하나의 데이터 예제를 사용하여 모델의 매개변수를 업데이트한다. 이는 전체 데이터 세트를 모두 사용하는 일괄 학습 방법과 대조된다.

SGD의 핵심 아이디어는 매 단계에서 무작위로 선택된 데이터 예제에 대한 예측 오류를 최소화하는 방향으로 모델을 조정하는 것이다. 이를 통해 모델은 보다 빠르게 수렴하며 대규모 데이터 세트에서도 효과적으로 사용될 수 있다.

2 같이 보기

• 배치 크기
• 경사하강법

3 참고

• https://developers.google.com/machine-learning/glossary#stochastic-gradient-descent-sgd