Информационное содержание и энтропия -- количественная оценка неопределённости

Теория информации предоставляет ИИ математические инструменты для количественной оценки «информации» и «неопределённости».

Чем менее вероятно событие, тем больше информации оно несёт, когда происходит.


Анализ концепции

Теория информации стремится ответить на фундаментальный вопрос:Как количественно измерить объём «информации», содержащейся в сообщении?

Ключевая идея: информационное содержание обратно пропорционально вероятности события — чем менее вероятно событие, тем больше информации оно сообщает, когда происходит.

Почему информационное содержание определяется как -log P(x)?

Это определение охватывает три наиболее естественные интуиции:

  • Обратная зависимость: чем меньше P(x) (тем более неожиданно), тем больше должно быть I(x). Отрицательный знак обеспечивает это.
  • Аддитивность: информационное содержание двух независимых событий, происходящих вместе, равно сумме их индивидуальных информационных содержаний. Логарифм превращает произведение вероятностей в сложение информационного содержания: \( -\log(p_1 \cdot p_2) = -\log p_1 + (-\log p_2) \)
  • Достоверные события дают ноль: когда достоверное событие имеет P=1, \( -\log 1 = 0 \) — известные факты не приносят информации.

Информационное содержание (собственная информация)

\[ I(x) = -\log P(x) \]

Основание 2 → единица — бит, основание e → единица — нат. В ИИ обычно используется натуральный логарифм (удобен для дифференцирования).

Энтропия: математическое ожидание информационного содержания

\[ H(X) = -\sum_x P(x) \log P(x) \]

Энтропия измеряет неопределённость всего распределения вероятностей.

  • Достоверные события (P=1): H = 0 (неопределённость полностью отсутствует)
  • Равномерное распределение: H достигает максимума (наибольшая неопределённость)

Чем выше энтропия, тем сложнее предсказать. Это даёт теоретическую основу для критериев разбиения в деревьях решений (прирост информации) и стратегий исследования в обучении с подкреплением.


Примеры из реальной жизни

Ценность новости

"Завтра взойдёт солнце" → количество информации ≈ 0 (вы уже это знали).

«Завтра Да 8 levelground землетрясение» → чрезвычайно высокое количество информации (произошло чрезвычайно редкое событие).

Чем неожиданнее новость, тем больше количество информации — такова интуиция, лежащая в основе I(x) = -log P(x).


Практическое занятие по Python

Пример

import numpy as np

def entropy(probs):
    probs = np.array(probs)
    probs = probs[probs > 0]
    return -np.sum(probs * np.log(probs))

print("Достоверное распределение [1,0,0]:", entropy([1,0,0]))         # 0
print("Равномерное распределение для 2 классов [0.5,0.5]:", entropy([0.5,0.5]))     # 0.693
print("Равномерное распределение для 10 классов:", entropy([0.1]*10))                # 2.303
print("Смещённое распределение [0.9,0.05,0.05]:", entropy([0.9,0.05,0.05]))  # 0.394

Вывод при запуске:

确定分布 [1,0,0]: 0.0
2类均匀 [0.5,0.5]: 0.6931471805599453
10类均匀: 2.302585092994046
有偏 [0.9,0.05,0.05]: 0.3944479480436973

Кривая энтропии для бинарной классификации


Сценарии применения в ИИ

Критерий разделения решающего дерева: информационный выигрыш

Когда решающее дерево выбирает признак для разделения, оно вычисляет разность энтропии до и после разделения — информационный выигрыш = H(до разделения) - H(после разделения). Оно выбирает признак и точку разделения с наибольшим информационным выигрышем. Алгоритмы C4.5 и ID3 основаны на этом принципе.

Кросс-энтропийная потеря = минимизация различия между предсказанным распределением и истинным распределением

В задачах классификации энтропия истинного распределения p (one-hot метки) равна H(p)=0, а кросс-энтропия H(p,q) равна KL(p||q). Минимизация кросс-энтропии = приближение предсказанного распределения q к истинному распределению p как можно ближе. В следующей главе это будет подробно описано.

Энтропийная регуляризация в обучении с подкреплением

Алгоритм SAC (Soft Actor-Critic) добавляет член энтропии политики в целевую функцию оптимизации: максимизировать награду + \( \alpha \cdot H(\pi) \). Это побуждает политику сохранять определённую степень случайности (не быть слишком уверенной), способствует исследованию и предотвращает преждевременную сходимость к субоптимальным политикам. \(\alpha\) — коэффициент энтропийной регуляризации, управляющий балансом между исследованием и использованием.

Энтропия при калибровке модели

Хороший классификатор не только имеет высокую точность, но и энтропия его предсказанного распределения должна отражать истинную неопределённость. Когда модель сталкивается с примерами вне распределения (OOD), в идеале энтропия выхода Softmax должна быть высокой (близкой к равномерному распределению), что означает «я не уверена». Если энтропия очень низкая, но предсказание неверно, модель чрезмерно самоуверенна.


Другие расширения