상호 정보

(Mutual information에서 넘어옴)

1 개요[ | ]

mutual information (MI)
상호 정보, 상호 정보량, 상호의존정보
  • 두 변수 사이의 상호 의존성을 측정 한 것
  • 두 확률변수의 의존성의 정도를 나타내는 척도
  • 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"
  • 어느 사상이 생기고 나서 다른 사상이 생겼을 때에 얻을 수 있는 정보량
  • 사상 x의 발생을 아는 데 따라 전해지는 정보량과 다른 사상 y가 발생한다는 조건 하에서 사상 x의 발생을 아는 데 따라서 전해지는 조건 있는 정보량과의 차

2 정의[ | ]

  • 확률변수 X와 Y가 주어졌을 때, X와 Y의 상호 정보량
[math]\displaystyle{ I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y}) }[/math]
  • X의 엔트로피 H(X)와 Y가 주어졌을 때의 X의 조건부 엔트로피의 차
[math]\displaystyle{ I(X;Y)=H(X)-H(X|Y) }[/math]

Entropy-mutual-information-relative-entropy-relation-diagram.svg

  • 이산분포 PMF에서...
[math]\displaystyle{ I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)} }[/math]
  • 연속분포 PMF에서...
[math]\displaystyle{ \operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{(X,Y)}(x,y)\log {\left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}}\;dx\,dy }[/math]

3 같이 보기[ | ]

4 참고[ | ]

문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}