TensorFlow 옵티마이저

1 개요

TensorFlow optimizer, optimizer

텐서플로우 옵티마이저, 옵티마이저

• 경사하강법 알고리즘의 구체적인 구현체
• 옵티마이저에 대한 텐서플로우의 기본 클래스는 tf.train.Optimizer이다.
• 인기 있는 옵티마이저들
  • AdaGrad(ADAptive GRADient descent)
  • Adam(ADAptive with Momentum)
• 다른 옵티마이저는 다음 중 하나 이상의 개념을 활용하여 주어진 훈련 세트에서 경사하강법의 효과를 강화할 수 있다.
  • momentum (모멘텀)
  • 업데이트 빈도
  • 희소성/정규화 (Ftrl)
  • 복잡한 수학적 개념 (Proximal 등)
• NN 구동 옵티마이저도 생각해 볼 수 있다.

2 목록

• tf.train.GradientDescentOptimizer ★★
• tf.train.AdadeltaOptimizer
• tf.train.AdagradOptimizer
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer ★★
• tf.train.FtrlOptimizer
• tf.train.ProximalGradientDescentOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.RMSPropOptimizer

3 같이 보기

• TensorFlow

4 참고

• https://www.tensorflow.org/api_docs/python/tf/train/Optimizer
• https://www.tensorflow.org/api_guides/python/train#Optimizers