Энтропия

Энтропия — это фундаментальное понятие в термодинамике, статистической физике, химии и теории информации. Она измеряет степень хаоса, беспорядка или неопределённости в системе.

Энтропия в термодинамике

• В термодинамике энтропия обозначает количество возможных микросостояний, соответствующих данному макросостоянию системы.

• Чем больше микросостояний — тем выше энтропия.

• Изменение энтропии при обратимом процессе определяется формулой:

  ΔS=QrevT\Delta S = \frac{Q_{\text{rev}}}{T}

  где:

  • ΔS\Delta S — изменение энтропии,

  • QrevQ_{\text{rev}} — количество теплоты, переданное системе в обратимом процессе,

  • TT — абсолютная температура (в кельвинах).

• Единицы измерения: джоуль на кельвин (Дж/К).

Второй закон термодинамики

• Второй закон утверждает: энтропия замкнутой (изолированной) системы не убывает.

• Это значит, что любые естественные процессы (горение, теплопередача, растворение) идут в сторону увеличения энтропии.

• Именно поэтому, например, тепло переходит от горячего к холодному, но не наоборот.

Статистическая физика (Больцмановская энтропия)

• Людвиг Больцман связал энтропию с вероятностью:

  S=kBln⁡ΩS = k_B \ln \Omega

  где:

  • SS — энтропия,

  • kBk_B — постоянная Больцмана (1,38×10−23 Дж/К1{,}38 \times 10^{-23} \, \text{Дж/К}),

  • Ω\Omega — число микросостояний.

• Это определение показывает, что энтропия растёт с увеличением беспорядка.

Энтропия в теории информации

• В теории информации (Клод Шеннон), энтропия измеряет среднее количество информации, содержащейся в сообщении.

• Формула:

  H(X)=−∑ipilog⁡2piH(X) = - \sum_i p_i \log_2 p_i

  где pip_i — вероятность события ii.

• Чем выше энтропия — тем больше неопределённости, и тем труднее сжать данные без потерь.

Примеры энтропии:

• Лёд → вода: молекулы становятся более подвижными — энтропия возрастает.

• Смешивание газов: молекулы перемешиваются случайным образом — увеличивается беспорядок.

• Перемешанная колода карт: выше энтропия, чем в отсортированной колоде.

• Удаление информации из компьютера — тоже форма роста энтропии (диссипация энергии).

Значение энтропии:

• Объясняет направление времени (стрела времени).

• В химии используется в уравнении Гиббса:

  ΔG=ΔH−TΔS\Delta G = \Delta H - T \Delta S

  (для определения, идет ли реакция самопроизвольно).

• В физике, биологии и вычислениях — ключевое понятие.