Урок №2. Измерение количества информации

Данный материал объясняет основы измерения информации, используя числовую величину, выражаемую в битах. В нём противопоставляются два ключевых подхода к измерению: содержательный метод, который является субъективным и фокусируется на полезности сообщения, и алфавитный метод, который является математическим и используется в информатике. Алфавитный подход опирается на понятие мощности алфавита (N), то есть количества символов, доступных для составления сообщения. Центральным элементом расчётов является формула Хартли, которая позволяет определить общее число различных комбинаций ($N^k$) в сообщении, не учитывая его смыслового наполнения. Итоговое количество информации, выраженное в битах, затем определяется минимальной степенью двойки, необходимой для кодирования всего набора этих возможных вариантов.