Наивный байесовский классификатор спама
Реализуйте простой классификатор китайского спама, используя самую базовую формулу условной вероятности, без вызова sklearn.
После завершения этого примера вы поймёте:теорема Байеса + предположение о «независимости слов» = пригодный для использования текстовый классификатор.
Повседневное введение
Фильтрация спама в электронной почте
Ваш почтовый ящик получает 100 писем каждый день. Как программа может автоматически определить, является ли новое письмо спамом? Подход программы: подсчитать по историческим письмам вероятность появления слов вроде «бесплатно» и «выигрыш» в спаме и вероятность появления слов вроде «встреча» и «проект» в обычных письмах.
Когда приходит новое письмо, вычислите: вероятность появления этих слов вместе при предположении, что это спам, по сравнению с предположением, что это обычное письмо. Где вероятность выше, тот класс и побеждает.
Интуитивное понимание
Ключевое упрощение наивного байесовского классификатора — «наивное предположение»: оно предполагает, что появление каждого слова не зависит от остальных. Хотя в реальности это предположение не выполняется («бесплатно» и «приз» часто встречаются вместе), его практическая эффективность на удивление хороша.
| Методы | Подход | Решаемая проблема |
|---|---|---|
| Логарифмическая вероятность | Использование логарифма для преобразования умножения в сложение | Перемножение множества малых десятичных дробей может дать 0 (численное антипереполнение) |
| Сглаживание Лапласа | Добавление 1 к счётчику каждого слова вместо 0 | Слова, не встречавшиеся в обучающем наборе, делают вероятность равной 0 |
Практическое занятие по Python
Пример
import math
# Обучающие данные (8 размеченных китайских SMS-сообщений)
train_data = [
(Выиграйте Бесплатные Призы Нажмите Сейчас, "спам"),
(Поздравляем Выигрыш Получите Наличные Скидка, "спам"),
(Ограниченное Время Предложение Кликните Ссылка Бесплатно, "спам"),
(Кредит Низкий Процент Подать Сейчас Наличные, "спам"),
(Встреча Организация Завтра Утром Обсуждение, "не спам"),
(Проект Прогресс Отчет Встреча Протокол, "не спам"),
(Выходные Ужин Организация Все Присутствуют, "не спам"),
(Отчет Данные Анализ Проект Завершение, "не спам"),
]
# Подсчет частот слов для каждой категории
class_word_counts = defaultdict(lambda: defaultdict(int))
class_doc_counts = defaultdict(int)
vocab = set()
for text, label in train_data:
class_doc_counts[label] += 1
for word in text.split():
class_word_counts[label][word] += 1
vocab.add(word)
vocab_size = len(vocab)
total_docs = len(train_data)
# Классификация наивного Байеса (логарифмическая вероятность + сглаживание Лапласа)
def predict(text, alpha=1.0):
words = text.split()
scores = {}
for label in class_doc_counts:
log_prob = math.log(class_doc_counts[label] / total_docs)
total_words = sum(class_word_counts[label].values())
for word in words:
word_count = class_word_counts[label][word]
word_prob = (word_count + alpha) / (total_words + alpha * vocab_size)
log_prob += math.log(word_prob)
scores[label] = log_prob
return max(scores, key=scores.get), scores
#
test_emails = [
Получите бесплатные денежные призы,
Отчёт по проекту к завтрашней встрече,
Ссылка на скидку, ограниченную по времени,
На выходных все вместе обсуждают отчёт.,
]
print(ПРИМЕР результата классификации Naive Bayes:\n")
for email in test_emails:
label, scores = predict(email)
print(f" {email!r:28s} -> 【{label}】")
EXAMPLE 朴素贝叶斯分类结果: '免费 领取 现金 奖品' -> 【spam】 '明天 会议 项目 汇报' -> 【ham】 '限时 点击 优惠 链接' -> 【spam】 '周末 大家 一起 讨论 报告' -> 【ham】
Сценарии применения в ИИ
| Сценарий | Описание |
|---|---|
| Классификация текста | Фильтрация спама, классификация новостей, анализ тональности — Naive Bayes — классический базовый метод |
| Тематическое моделирование документов | Математические основы LDA (Latent Dirichlet Allocation) |
| Обнаружение аномалий | Вычислите вероятность того, что новый образец принадлежит "нормальному распределению"; если она слишком низкая, классифицируйте его как аномалию. |