경사 하강법

1 개요[ | ]

gradient descent
傾斜 下降
경사 하강법, 경사 하강, 경사 감소법, 그래디언트 디센트
  • 1차 근삿값 발견용 최적화 알고리즘
  • 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것
  • 학습 데이터의 조건에 따라 모델의 파라미터를 기준으로 손실의 경사를 계산하여 손실을 최소화하는 기법
  • 파라미터를 반복적으로 조정하면서 손실을 최소화하는 가중치와 편향의 가장 적절한 조합을 점진적으로 찾는 방식

Gradient descent.png

Stogra.png

2 예제[ | ]

x_old = 0
x_new = 6  # x=6에서 알고리즘 시작
eps = 0.01 # step size
precision = 0.00001

def f_prime(x):
    return 4 * x**3 - 9 * x**2

while abs(x_new - x_old) > precision:
    x_old = x_new
    x_new = x_old - eps * f_prime(x_old)

print( "지역 최소값(local minimum):", x_new )
→ 여기서는 x 값 하나에 대해서만 극값을 파악한다.
→ 실무적으로는 여러 개의 특징값(feature)들이 있으므로 해당 값들마다 병렬적으로 결과 값을 구하면서 반복하게 된다.

3 같이 보기[ | ]

4 참고[ | ]

문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}