교차 엔트로피

1 개요

cross entropy, cross-entropy

교차 엔트로피, 크로스 엔트로피

• 두 확률 분포 간의 차이를 재는 척도
• 2개의 확률 분포 사이에 정의되는 척도
• 다중 클래스 분류 문제로 일반화한 로그 손실
• 두 확률분포 p와 q를 구분하기 위해 필요한 평균 비트 수

[math]\displaystyle{ H(p,q)=-\operatorname {E} _{p}[\log q] }[/math]

• 부호화 방식이 "진정한" 확률분포 p가 아니라 어떤 소정의 확률 분포 q에 근거할 경우, 여러 사건에서 한가지 현상을 특정하기 위해 필요한 비트 수의 평균치
• 로지스틱 회귀분석에서는 교차 엔트로피를 최소화하는 경계를 찾아서 분류 경계면으로 한다.

이진분류에 로지스틱 회귀를 사용하는 머신러닝에서 MLE는 교차 엔트로피 손실함수를 최소화한다.

2 같이 보기

• 교차
• 엔트로피
• 퍼플렉서티
• 상호의존정보
• 결합 엔트로피
• 정보 엔트로피
• 로지스틱 회귀
• 조건부 엔트로피
• 최대우도추정 MLE
• 교차 엔트로피 방법

3 참고

• 영어 위키백과 "Cross entropy"
• 위키백과 "교차 엔트로피"
• 위키낱말사전 "교차 엔트로피"
• 다음사전 "교차 엔트로피"
• 다음백과 "교차 엔트로피"
• 네이버사전 "교차 엔트로피"
• 네이버백과 "교차 엔트로피"
• 나무위키 "교차 엔트로피"
• 리브레 위키 "교차 엔트로피"