경사 하강법

1 개요

gradient descent

傾斜 下降法

경사 하강법, 경사 하강, 경사 감소법, 그래디언트 디센트

• 1차 근삿값 발견용 최적화 알고리즘
• 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것
• 학습 데이터의 조건에 따라 모델의 파라미터를 기준으로 손실의 경사를 계산하여 손실을 최소화하는 기법
• 파라미터를 반복적으로 조정하면서 손실을 최소화하는 가중치와 편향의 가장 적절한 조합을 점진적으로 찾는 방식

2 예제

x_old = 0
x_new = 6  # x=6에서 알고리즘 시작
eps = 0.01 # step size
precision = 0.00001

def f_prime(x):
    return 4 * x**3 - 9 * x**2

while abs(x_new - x_old) > precision:
    x_old = x_new
    x_new = x_old - eps * f_prime(x_old)

print( "지역 최소값(local minimum):", x_new )

→ 여기서는 x 값 하나에 대해서만 극값을 파악한다.

→ 실무적으로는 여러 개의 특징값(feature)들이 있으므로 해당 값들마다 병렬적으로 결과 값을 구하면서 반복하게 된다.

3 같이 보기

• 경사 (머신러닝)
• 하강
• 손실 (머신러닝)
• 가중치 (머신러닝)
• 켤레기울기법
• AdaGrad
• Nelder–Mead 방법
• 확률적 경사하강법(SGD)
• 미니 배치 경사하강법

4 참고

• 위키백과 "경사 하강법"
• https://developers.google.com/machine-learning/glossary?hl=ko#%EA%B2%BD%EC%82%AC%ED%95%98%EA%B0%95%EB%B2%95gradient-descent