힌지 손실

1 개요

hinge loss

힌지 손실, 경첩 손실, 힌지 로스

• 통계적 분류 훈련에 사용되는 손실 함수
• "최대 마진" 분류에 사용된다.
• 특히 서포트 벡터 머신(SVM)에 사용된다.
• KSVM은 힌지 손실을 사용하거나 제곱 힌지 손실 등의 관련 함수를 사용한다.

---

• 의도한 출력 [math]\displaystyle{ t=±1 }[/math] 및 분류기 ​​점수 [math]\displaystyle{ y }[/math]의 경우, 예측 [math]\displaystyle{ y }[/math]의 힌지 손실은 다음과 같이 정의된다.

[math]\displaystyle{ \ell(y) = \max(0, 1-t \cdot y) }[/math]

• [math]\displaystyle{ y }[/math]는 예측된 클래스 레이블이 아니라 분류기 결정 함수의 "원시(raw)" 출력이어야 한다.
• 예를 들어 선형 SVM에서는

[math]\displaystyle{ y = \mathbf{w} \cdot \mathbf{x} + b }[/math]

여기서 [math]\displaystyle{ (\mathbf{w},b) }[/math]는 초평면(hyperplane)의 파라미터이고, [math]\displaystyle{ \mathbf{x} }[/math]의 매개변수는 입력 변수이다.

• t와 y의 부호가 같고(y가 올바른 클래스를 예측함) [math]\displaystyle{ |y| \ge 1 }[/math]일 때, 힌지 손실 [math]\displaystyle{ \ell(y) = 0 }[/math]이다.
• 부호가 반대인 경우 [math]\displaystyle{ \ell(y) }[/math]는 y에 따라 선형적으로 증가한다.
• [math]\displaystyle{ |y| \lt 1 }[/math]인 경우(동일한 부호라도, 올바른 예측이지만 마진이 작은 경우)에도 그렇다.

2 같이 보기

• 손실 함수

3 참고

• 영어 위키백과 "Hinge loss"
• https://developers.google.com/machine-learning/glossary?hl=ko#%ED%9E%8C%EC%A7%80-%EC%86%90%EC%8B%A4hinge-loss