WikiSort.ru - Не сортированное

Термодинамические потенциалы
Термодинамика
Внутренняя энергия Энтальпия Свободная энергия Гельмгольца Энергия Гиббса Большой термодинамический потенциал
Разделы
Начала Уравнение состояния Термодинамические величины Термодинамические потенциалы Термодинамические циклы Фазовый переход
См. также «Физический портал»

Энтропи́я (от др.-греч. ἐν «в» + τροπή «поворот; превращение») — широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы. Энтропия определяет меру необратимого рассеивания энергии или бесполезности энергии, ибо не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу. Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия. Термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.

В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется информационной (или статистической) энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Гиббса (в физике).

Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).

В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру неупорядоченности, хаотичности или неопределённости системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией. Формально негэнтропия может быть записана в виде формулы Шеннона, в которой используется логарифм с основанием, меньшим 1.

Употребление в различных дисциплинах

• Термодинамическая энтропия — термодинамическая функция, характеризующая меру необратимой диссипации энергии в ней.
• В статистической физике — характеризует вероятность осуществления некоторого макроскопического состояния системы.
• В математической статистике — мера неопределённости распределения вероятностей.
• Информационная энтропия — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
• Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
• Дифференциальная энтропия — формальное обобщение понятия энтропии для непрерывных распределений.
• Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
• Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.

В термодинамике

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых замкнутых — её изменение всегда положительно. В открытой системе может происходить уменьшение энтропии рассматриваемой системы за счет уноса энергии, например в виде излучения, при этом полная энтропия окружающей среды увеличивается^[1].

Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла (${\displaystyle \delta Q/T}$ ), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути^[2]:

${\displaystyle \Delta S_{1\to 2}=S_{2}-S_{1}=\int \limits _{1\to 2}{\frac {\delta Q}{T}}}$ .

(1)

Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить ${\displaystyle S_{1}=0}$ . Тогда

${\displaystyle S=\int {\frac {\delta Q}{T}}}$ ,

(2)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции ${\displaystyle S}$ имеет вид

${\displaystyle dS={\frac {\delta Q}{T}}}$ .

(3)

Энтропия устанавливает связь между макро- и микро- состояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

В теории информации

Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону^[3].

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации^[4][5]. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана)^[6][7]. Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, но большим 1, оно определяет единицу измерения энтропии)^[8]. Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность ${\displaystyle p}$ , тогда число состояний ${\displaystyle N=1/p}$ , а ${\displaystyle \log N=\log(1/p)}$ .

В случае разных вероятностей состояний ${\displaystyle p_{i}}$ рассмотрим средневзвешенную величину ${\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i}),}$ где ${\displaystyle {\overline {N}}}$  — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

${\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}.}$

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое^[9] как среднее степенное взвешенное с параметром ${\displaystyle q\leq 1}$ от величин ${\displaystyle 1/p_{i}}$ .

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном^[10][11].

См. также

Примечания

Литература

	Энтропия в Викицитатнике
	Энтропия на Викискладе

• Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
• Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
• Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
• Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
• Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
• Брюллюэн Л. Наука и теория информации. — М., 1960.
• Винер Н. Кибернетика и общество. — М., 1958.
• Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
• Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
• Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
• Эшби У. Р. Введение в кибернетику. — М., 1965.
• Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
• Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
• Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
• Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
• Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.

Для улучшения этой статьи желательно: Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное. Проставив сноски, внести более точные указания на источники.