하이퍼파라미터 최적화

1 개요

hyperparameter optimization, hyperparameter tuning

hyperparameter 最適化

하이퍼파라미터 최적화, 하이퍼파라미터 튜닝

• 학습 알고리즘을 위한 최적의 하이퍼파라미터 집합을 선택하는 문제
• 하이퍼파라미터는 학습 프로세스를 제어하는 데 사용되는 매개변수이다.
• 대조적으로 다른 매개변수의 값(일반적으로 노드 가중치)이 학습된다.
• 동일한 종류의 머신러닝 모델은 서로 다른 데이터 패턴을 일반화하기 위해 서로 다른 제약조건, 가중치, 학습률을 필요로 할 수 있다.
• 이러한 측정값을 하이퍼파라미터라고하며, 모델이 머신러닝 문제를 최적으로 해결할 수 있도록 하기 위해 조정해야 한다.
• 하이퍼파라미터 최적화는 주어진 독립 데이터에 대해 미리 정의된 손실함수를 최소화하는 최적의 모델을 생성하는 하이퍼파라미터 튜플을 찾는다.
• 목적함수는 하이퍼파라미터의 튜플을 가지고 관련 손실을 반환한다.
• 교차검증은 이 일반화 성능을 추정하는 데 흔히 사용된다.

2 같이 보기

• 최적화
• XGBoost
• 특성 선택
• 모델 선택
• 셀프-튜닝
• 메타-최적화
• 하이퍼파라미터
• 자동화 머신러닝
• 뉴럴 아키텍처 탐색(NAS)
• 하이퍼파라미터 스윕

3 참고

• 영어 위키백과 "Hyperparameter optimization"