힌지 손실

1 개요

hinge loss

힌지 손실, 경첩 손실, 힌지 로스

• 통계적 분류 훈련에 사용되는 손실 함수
• "최대 마진" 분류에 사용된다.
• 특히 서포트 벡터 머신(SVM)에 사용된다.
• KSVM은 힌지 손실을 사용하거나 제곱 힌지 손실 등의 관련 함수를 사용한다.

2 설명 1

• 의도한 출력 [math]\displaystyle{ t=±1 }[/math] 및 분류기 ​​점수 [math]\displaystyle{ y }[/math]의 경우, 예측 [math]\displaystyle{ y }[/math]의 힌지 손실은 다음과 같이 정의된다.

[math]\displaystyle{ \ell(y) = \max(0, 1-t \cdot y) }[/math]

• [math]\displaystyle{ y }[/math]는 예측된 클래스 레이블이 아니라 분류기 결정 함수의 "원시(raw)" 출력이어야 한다.
• 예를 들어 선형 SVM에서는

[math]\displaystyle{ y = \mathbf{w} \cdot \mathbf{x} + b }[/math]

여기서 [math]\displaystyle{ (\mathbf{w},b) }[/math]는 초평면(hyperplane)의 파라미터이고, [math]\displaystyle{ \mathbf{x} }[/math]의 매개변수는 입력 변수이다.

• t와 y의 부호가 같고(y가 올바른 클래스를 예측함) [math]\displaystyle{ |y| \ge 1 }[/math]일 때, 힌지 손실 [math]\displaystyle{ \ell(y) = 0 }[/math]이다.
• 부호가 반대인 경우 [math]\displaystyle{ \ell(y) }[/math]는 y에 따라 선형적으로 증가한다.
• [math]\displaystyle{ |y| \lt 1 }[/math]인 경우(동일한 부호라도, 올바른 예측이지만 마진이 작은 경우)에도 그렇다.

3 설명 2

• 이진 분류에서는 힌지 손실 함수가 다음과 같이 정의된다.

[math]\displaystyle{ 손실 = \max(0,1-(y'*y)) }[/math]

• 여기서 y는 참 레이블(-1 또는 +1)이며, y'는 분류자 모델의 원시 출력이다.

[math]\displaystyle{ y' = b + w_1x_1 + w_2x_2 + \cdots + w_nx_n }[/math]

• 힌지 손실과 (y * y')로 그래프를 그리면 다음과 같다.

4 같이 보기

• 힌지
• 손실
• 손실 함수
• 제곱 힌지 손실

5 참고

• 영어 위키백과 "Hinge loss"
• https://developers.google.com/machine-learning/glossary?hl=ko#%ED%9E%8C%EC%A7%80-%EC%86%90%EC%8B%A4hinge-loss