Байесовская статистическая модель и информационная энтропия

В 1948 году Клод Шеннон, исследуя вопросы рациональной передачи информации через зашумлённый коммуникационный канал, создал первую математическую теорию энтропии. Полученное выражение для энтропии называют информационной энтропией Шеннона. Как известно, выражение для информационной энтропии определяется вероятностями нахождения системы в несовместных состояниях. Однако, рассматриваемая нами вероятностная модель является Байесовской, то есть она определяется двумя типами вероятности: априорной и апостериорной. Для решения этой задачи мы предположим, что распределение плотности априорной вероятности постоянно и нормировано на единицу внутри области ассоциированной с каждой точкой. Введенное уточнение вероятностной модели позволяет получить выражение для энтропии Байесовской системы, которое формально совпадает с кросс-энтропией и дивергенцией Кульбака–Лейблера. Фактически, энтропия Байесовской системы задает отклонение априорного распределения от апостериорного, и достигает своего минимума когда эти распределения совпадают, то есть система становится эргодической. Если теперь принять Байесовскую энтропию за функционал (Лагранжиан) системы, который стремится к своему минимуму, то можно показать, что помимо эргодичности, система должна быть равномерно распределена — априорный объем приходящийся на каждую единичную точку одинаков. И это совпадает с поведением термодинамической энтропии, при максимуме которой распределение подсистем становится равномерным и неразличимым. В общем случае не сложно показать, что введенная нами энтропия Байесовской системы эквивалентна термодинамической энтропии, так как приводит к стандартному распределению Гиббса и стандартной статистической сумме.