Информационное содержание и энтропия -- количественная оценка неопределённости
Теория информации предоставляет ИИ математические инструменты для количественной оценки «информации» и «неопределённости».
Чем менее вероятно событие, тем больше информации оно несёт, когда происходит.
Анализ концепции
Теория информации стремится ответить на фундаментальный вопрос:Как количественно измерить объём «информации», содержащейся в сообщении?
Ключевая идея: информационное содержание обратно пропорционально вероятности события — чем менее вероятно событие, тем больше информации оно сообщает, когда происходит.
Почему информационное содержание определяется как -log P(x)?
Это определение охватывает три наиболее естественные интуиции:
- Обратная зависимость: чем меньше P(x) (тем более неожиданно), тем больше должно быть I(x). Отрицательный знак обеспечивает это.
- Аддитивность: информационное содержание двух независимых событий, происходящих вместе, равно сумме их индивидуальных информационных содержаний. Логарифм превращает произведение вероятностей в сложение информационного содержания: \( -\log(p_1 \cdot p_2) = -\log p_1 + (-\log p_2) \)
- Достоверные события дают ноль: когда достоверное событие имеет P=1, \( -\log 1 = 0 \) — известные факты не приносят информации.
Информационное содержание (собственная информация)
\[ I(x) = -\log P(x) \]Основание 2 → единица — бит, основание e → единица — нат. В ИИ обычно используется натуральный логарифм (удобен для дифференцирования).
Энтропия: математическое ожидание информационного содержания
\[ H(X) = -\sum_x P(x) \log P(x) \]Энтропия измеряет неопределённость всего распределения вероятностей.
- Достоверные события (P=1): H = 0 (неопределённость полностью отсутствует)
- Равномерное распределение: H достигает максимума (наибольшая неопределённость)
Чем выше энтропия, тем сложнее предсказать. Это даёт теоретическую основу для критериев разбиения в деревьях решений (прирост информации) и стратегий исследования в обучении с подкреплением.
Примеры из реальной жизни
Ценность новости
"Завтра взойдёт солнце" → количество информации ≈ 0 (вы уже это знали).
«Завтра Да 8 levelground землетрясение» → чрезвычайно высокое количество информации (произошло чрезвычайно редкое событие).
Чем неожиданнее новость, тем больше количество информации — такова интуиция, лежащая в основе I(x) = -log P(x).
Практическое занятие по Python
Пример
def entropy(probs):
probs = np.array(probs)
probs = probs[probs > 0]
return -np.sum(probs * np.log(probs))
print("Достоверное распределение [1,0,0]:", entropy([1,0,0])) # 0
print("Равномерное распределение для 2 классов [0.5,0.5]:", entropy([0.5,0.5])) # 0.693
print("Равномерное распределение для 10 классов:", entropy([0.1]*10)) # 2.303
print("Смещённое распределение [0.9,0.05,0.05]:", entropy([0.9,0.05,0.05])) # 0.394
Вывод при запуске:
确定分布 [1,0,0]: 0.0 2类均匀 [0.5,0.5]: 0.6931471805599453 10类均匀: 2.302585092994046 有偏 [0.9,0.05,0.05]: 0.3944479480436973
Кривая энтропии для бинарной классификации
Сценарии применения в ИИ
Критерий разделения решающего дерева: информационный выигрыш
Когда решающее дерево выбирает признак для разделения, оно вычисляет разность энтропии до и после разделения — информационный выигрыш = H(до разделения) - H(после разделения). Оно выбирает признак и точку разделения с наибольшим информационным выигрышем. Алгоритмы C4.5 и ID3 основаны на этом принципе.
Кросс-энтропийная потеря = минимизация различия между предсказанным распределением и истинным распределением
В задачах классификации энтропия истинного распределения p (one-hot метки) равна H(p)=0, а кросс-энтропия H(p,q) равна KL(p||q). Минимизация кросс-энтропии = приближение предсказанного распределения q к истинному распределению p как можно ближе. В следующей главе это будет подробно описано.
Энтропийная регуляризация в обучении с подкреплением
Алгоритм SAC (Soft Actor-Critic) добавляет член энтропии политики в целевую функцию оптимизации: максимизировать награду + \( \alpha \cdot H(\pi) \). Это побуждает политику сохранять определённую степень случайности (не быть слишком уверенной), способствует исследованию и предотвращает преждевременную сходимость к субоптимальным политикам. \(\alpha\) — коэффициент энтропийной регуляризации, управляющий балансом между исследованием и использованием.
Энтропия при калибровке модели
Хороший классификатор не только имеет высокую точность, но и энтропия его предсказанного распределения должна отражать истинную неопределённость. Когда модель сталкивается с примерами вне распределения (OOD), в идеале энтропия выхода Softmax должна быть высокой (близкой к равномерному распределению), что означает «я не уверена». Если энтропия очень низкая, но предсказание неверно, модель чрезмерно самоуверенна.
Другие расширения