WikiSort.ru - Не сортированное

Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.

Пусть ${\displaystyle x}$ и ${\displaystyle y}$ – случайные величины, заданные на соответствующих множествах ${\displaystyle X}$ и ${\displaystyle Y}$ . Тогда количество информации ${\displaystyle x}$ относительно ${\displaystyle y}$ есть разность априорной и апостериорной энтропий:

${\displaystyle I(x,y)=H(x)-H(x|y)}$ ,

где

${\displaystyle H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)}$

— энтропия, а

${\displaystyle H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y)}$

— условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропии

Для энтропии справедливы свойства:

${\displaystyle 0\leqslant H(x)\leqslant \ln(m)}$ ,

где ${\displaystyle m}$ количество элементов множества ${\displaystyle X}$ .

При этом, ${\displaystyle H(x)=0}$ , если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что ${\displaystyle 1\ln 1=0}$ и ${\displaystyle 0\ln 0=0}$ .

Максимум значения энтропии ${\displaystyle H(x)=\ln(m)}$ достигается, когда все ${\displaystyle p(x)=1/m}$ , т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

${\displaystyle 0\leqslant H(x|y)\leqslant H(x)}$ ,

При этом, ${\displaystyle H(x|y)=0}$ , если отображение ${\displaystyle Y}$ в ${\displaystyle X}$ однозначное, т.е. ${\displaystyle \forall y\exists x\colon p(x|y)=1}$ .

Максимум значения условной энтропии ${\displaystyle H(x|y)=H(x)}$ достигается, когда ${\displaystyle x}$ и ${\displaystyle y}$ - независимые случайные величины.

Свойства количества информации

Для количества информации справедливы свойства:

${\displaystyle I(x,y)=I(y,x),}$ как следствие теоремы Байеса.

${\displaystyle I(x,y)\geqslant 0,}$

${\displaystyle I(x,y)=0,}$ если ${\displaystyle x}$ и ${\displaystyle y}$ – независимые случайные величины.

${\displaystyle I(x,x)=H(x).}$

Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.

Литература

• Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.

В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники. Эта отметка установлена 25 июля 2012 года.