WikiSort.ru - Не сортированное

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

${\displaystyle I\left({X;Y}\right)=H\left(X\right)-H\left({X|Y}\right)=H\left(X\right)+H\left(Y\right)-H\left({X,Y}\right)}$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

${\displaystyle I\left({X;Y}\right)=I\left({Y;X}\right)}$

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

${\displaystyle 0\leq I\left({X;Y}\right)\leq \min \left[H\left(X\right),H\left(Y\right)\right]}$

В частности, для независимых случайных величин взаимная информация равна нулю:

${\displaystyle I\left({X;Y}\right)=H\left(X\right)-H\left(X|Y\right)=H\left(X\right)-H\left(X\right)=0}$

В случае, когда одна случайная величина (например, ${\displaystyle X}$ ) является детерминированной функцией другой случайной величины (${\displaystyle Y}$ ), взаимная информация равна энтропии:

${\displaystyle I\left({X;Y}\right)=H\left(X\right)-H\left(X|Y\right)=H\left(X\right)-0=H\left(X\right)}$

Условная и безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

${\displaystyle I\left({X;Y|Z=z}\right)=H\left({X|Z=z}\right)-H\left({X|Y,Z=z}\right)}$

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

${\displaystyle I\left({X;Y|Z}\right)=H\left({X|Z}\right)-H\left({X|Y,Z}\right)}$

Литература

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
  <a href='https://wikidata.org/wiki/Track:Q4130888'></a><a href='https://wikidata.org/wiki/Track:Q27473237'></a><a href='https://wikidata.org/wiki/Track:Q27473383'></a>