Среднее степенное взвешенное набора положительных вещественных чисел
с параметром
и неотрицательными весами
определяется как
-
.
Если веса
нормированы к единице (т.е. их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид
-
.
Связь с энтропией Реньи
Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности
пребывания системы в состоянии с номером
(
) нормированы к
. Если состояния системы равновероятны и имеют вероятность
, то
. В случае разных вероятностей состояний
определим эффективное количество состояний
как среднее степенное взвешенное от величин
с весами
и параметром
(где
):
-
.
Отсюда получаем выражение для энтропии
-
,
совпадающее с выражением для энтропии Реньи[1]. Нетрудно видеть, что в пределе при
(или
) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение
(или
).
Литература
- Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
Данная страница на сайте WikiSort.ru содержит текст со страницы сайта "Википедия".
Если Вы хотите её отредактировать, то можете сделать это на странице редактирования в Википедии.
Если сделанные Вами правки не будут кем-нибудь удалены, то через несколько дней они появятся на сайте WikiSort.ru .