Оказывается, не все знают о том, как связана информация и энтропия.

Связь эта интуитивно чувствуется. Информация как-то связана с порядком, энтропия с беспорядком. Когда энтропия растет количество информации уменьшается… Если сложить на берегу из камушков какое-то слово, оно будет содержать в себе информацию. Море со временем будет тасовать камни, энтропия будет расти, а информация уменьшатся…

Более точно это можно описать так. Энтропия говорит о том, как много микросостояний соответствует данному макросостоянию. Представьет, вы подкинули монетку. Пока результат игры в орлянку неизвестен, макросостоянию монетки соответствует два микросостояния — орел или решка. Когда монетка упала и мы взглянули на нее, из двух микросостояний осталось одно — энтропия уменьшилась и одновременно мы получили один бит информации… То же самое и с камушками на берегу. Их хаотичному расположению соответствует много микросостояний, а упорядоченному — гораздо меньше.

Подобное определение информации может вызвать протест. Ведь информация для нас обладает смыслом, и если нет читателя надписи, то и информации как бы нет. А энтропия, вроде бы, от наблюдателя не должна зависеть. Однако, когда мы определяем какие именно микросостояния соответствуют макросостоянию, мы произвольно проводим границу между, в общем то, равноправными состояниями. Так, с точки зрения природы, камушки выложенные в надпись и камушки хаотически разбросанные ничем не отличаются. И только мы, утверждая что надпись более структурирована, определяем какая именно структура более или менее вероятна. То есть определение энтропии через микросостояния так же зависима от зрителя, как и информация.

Понятно объяснил? ;)

Конечно, тут есть некоторое лукавство. И у энтропии и у информации есть разные определения. Но истина где-то рядом :)