개요
- mutual information (MI)
- 상호 정보, 상호 정보량, 상호의존정보
- 두 변수 사이의 상호 의존성을 측정 한 것
- 두 확률변수의 의존성의 정도를 나타내는 척도
- 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"
- 어느 사상이 생기고 나서 다른 사상이 생겼을 때에 얻을 수 있는 정보량
- 사상 x의 발생을 아는 데 따라 전해지는 정보량과 다른 사상 y가 발생한다는 조건 하에서 사상 x의 발생을 아는 데 따라서 전해지는 조건 있는 정보량과의 차
정의
- 확률변수 X와 Y가 주어졌을 때, X와 Y의 상호 정보량
- <math>I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y})</math>
- X의 엔트로피 H(X)와 Y가 주어졌을 때의 X의 조건부 엔트로피의 차
- <math>I(X;Y)=H(X)-H(X|Y)</math>
- 이산분포 PMF에서...
- <math>I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}</math>
- 연속분포 PMF에서...
- <math>\operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{(X,Y)}(x,y)\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}}\;dx\,dy</math>
네이버백과 "상호 정보"