정칙화

1 개요

regularization

正則化, 正規化

정칙화, 정규화

• 모델의 복잡도에 페널티를 부여하는 일
• 과적합 방지를 위해 어떤 기준에 따라 벌점 정보를 추가하는 일
• 불량조건문제(ill-posed problem)를 풀거나 과적합을 방지하기 위해 정보를 추가하는 과정
• 역문제를 풀 때나 머신러닝에서 활용한다.
• 과적합을 방지하는 데 도움이 된다.

2 예시

• L1 정칙화 - 가중치 절대값 합(1승)에 따라 페널티를 적용한다. (맨하탄 거리)
• L2 정칙화 - 가중치 제곱합(2승)에 따라 페널티를 적용한다. (유클리드 거리)
• 드롭아웃 정칙화
• 조기 중단 - 정식으로 인정되는 정칙화 방식은 아니지만, 과적합을 효과적으로 제한할 수 있다.

3 같이 보기

• 정칙
• 벌점화
• 불량조건문제
• 편향-분산 트레이드오프(bias–variance tradeoff)
• Bayesian interpretation of kernel regularization
• 행렬 정칙화(matrix regularization)
• 티호노프 정칙화
• 정칙화율
• 정칙화 최소제곱(regularized least squares)

4 참고

• 영어 위키백과 "Regularization (mathematics)"
• 위키백과 "정칙화"
• 다음백과 "정칙화"
• 네이버백과 "정칙화"