Косинусное сходство для рекомендации текста
Представьте предложения как векторы мешка слов, вычислите косинусное сходство и найдите наиболее похожее предложение.
После завершения этого примера вы поймёте:Математическую основу поисковых и рекомендательных систем — скалярное произведение измеряет «одинаковое направление», а норма используется для нормализации.
Введение в повседневную жизнь
Поиск на Taobao по запросу 'Bluetooth-наушники'
Когда вы вводите 'Bluetooth-наушники', Taobao мгновенно находит самые релевантные товары среди миллионов продуктов. Он ранжирует не по тому, содержат ли заголовки точно совпадающие слова — вместо этого он преобразует заголовок каждого товара в строку чисел (вектор), а затем сравнивает, совпадает ли 'направление' вашего поискового запроса с направлением каждого заголовка.
Чем ближе направления, тем более похожи значения. Длина заголовка — длинный он или короткий — не влияет на оценку; такова интуициякосинусного сходства.
Интуитивное понимание
Представьте стрелы, выпущенные из двух луков. Чем согласованнее направления двух стрел, тем ближе косинус угла к 1; когда две стрелы перпендикулярны, косинус равен 0; когда две стрелы направлены противоположно, косинус равен -1.
Два предложения имеют один и тот же смысл
Два предложения совершенно не связаны
Редко встречается в модели мешка слов
Ключевой вопрос: как превратить фрагмент текста в стрелу? Для этого нужно ввести модель мешка слов.
Математическое определение
Формула косинусного сходства
\[ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \cdot \|\mathbf{b}\|} = \frac{\sum_{i=1}^{n} a_i \cdot b_i}{\sqrt{\sum a_i^2} \cdot \sqrt{\sum b_i^2}} \]Числитель — это скалярное произведение (показывает, насколько два вектора направлены в «одну сторону»), а знаменатель — произведение двух норм (устраняет влияние длины вектора).
Модель мешка слов
Метод преобразования предложения в вектор:
- Определите словарь (все слова, которые могут встретиться)
- Для каждого предложения: если слово встречается, отметьте его 1; если нет — 0.
- Получите вектор, длина которого равна размеру словаря.
Здесь мы используем простейший вариант «встречается или нет» (one-hot мешок слов). На практике вместо этого обычно применяют TF-IDF или word embeddings. Но основная идея та же: превратить текст в векторы, которые могут участвовать в математических операциях.
Практическое упражнение на Python
Используйте 5 китайских предложений, чтобы построить вектор мешка слов, вычислите косинусное сходство с запросным предложением и найдите наиболее похожее предложение.
Пример
# 1. Подготовьте корпус — 5 китайских предложений, охватывающих две темы: изучение ИИ и повседневная жизнь
sentences = [
"Мне нравится использовать python для изучения машинного обучения",
"python — хороший инструмент для изучения искусственного интеллекта",
"Сегодня хорошая погода, подходит для прогулки",
"Глубокое обучение требует много данных и вычислительных мощностей",
"Прогулка — хороший способ расслабиться",
]
# 2. Построить словарь (упрощенная учебная версия, вручную определить возможные слова)
vocab_words = ["I", "нравиться", "использовать", "python", "изучать", "машинное обучение", "является",
"искусственный интеллект", "хороший", "инструмент", "сегодня", "погода", "очень", "подходящий",
"выходить", "гулять", "глубокое обучение", "нуждаться", "много", "из", "данные",
"вычислительная мощность", "своего рода", "расслабиться", "способ"]
def to_vector(sentence, vocab):
"""Преобразует предложения в векторы мешка слов — отмечает встречающиеся слова как 1"""
vec = np.zeros(len(vocab))
for i, w in enumerate(vocab):
if w in sentence:
vec[i] = 1 # Если слово встречается, отметь его как 1
return vec
# 5 предложений → 5 векторов
vectors = np.array([to_vector(s, vocab_words) for s in sentences])
print("ПРИМЕР Размерность вектора каждого предложения:", vectors.shape[1],
"(размер словаря)")
# 3. Напишите функцию косинусного сходства вручную (без вызова sklearn)
def cosine_similarity(a, b):
dot = np.dot(a, b) # скалярное произведение
norm_a = np.linalg.norm(a) # модуль a
norm_b = np.linalg.norm(b) # модуль b
if norm_a == 0 or norm_b == 0:
return 0.0 # нулевой вектор не имеет направления
return dot / (norm_a * norm_b)
# 4. По заданному предложению-запросу найти наиболее похожее предложение
query = "Я изучаю python и искусственный интеллект"
query_vec = to_vector(query, vocab_words)
sims = [cosine_similarity(query_vec, v) for v in vectors]
print(f"\nПРИМЕР предложения запроса: {query!r}\n")
for s, sim in sorted(zip(sentences, sims),
key=lambda x: -x[1]):
print(f" Сходство {sim:.3f} <- {s}")
# 5. Проверка: сходство несвязанных предложений равно 0
print("\nПРИМЕР Проверка: два совершенно несвязанных предложения")
v1 = to_vector("python machine learning", vocab_words)
v2 = to_vector("walk relax", vocab_words)
print(f" 'python machine learning' против 'walk relax': "
f"cos = {cosine_similarity(v1, v2):.3f}")
EXAMPLE 每句话的向量维度: 25 (词表大小) EXAMPLE 查询句子: '我在学习python和人工智能' 相似度 0.577 <- python是学习人工智能的好工具 相似度 0.500 <- 我喜欢用python学习机器学习 相似度 0.000 <- 今天天气很好适合出去散步 相似度 0.000 <- 深度学习需要大量的数据和算力 相似度 0.000 <- 散步是一种很好的放松方式 EXAMPLE 验证:两个完全不相关的句子 'python机器学习' vs '散步放松': cos = 0.000
Результат интуитивно понятен: предложения, содержащие одинаковые ключевые слова, имеют высокое сходство, а предложения с совершенно несвязанным содержанием имеют сходство 0.
Сценарии применения в ИИ
| Сценарии ИИ | Как использовать косинусное сходство |
|---|---|
| Поисковые системы | Преобразуйте как поисковые запросы, так и документы в векторы, отсортируйте по косинусному сходству и верните результаты. |
| Рекомендательные системы | Найдите товары, наиболее похожие на вектор исторического поведения пользователя. |
| Семантический поиск | Используйте word embeddings (Word2Vec/BERT) для векторизации, чтобы улавливать синонимы — "Bluetooth-наушники" и "беспроводные наушники-вкладыши" также будут совпадать. |
| Распознавание лиц | Закодируйте изображения лиц в векторы (Face Embedding) и сравните косинусное сходство двух лиц, чтобы определить, являются ли они одним и тем же человеком. |
| RAG-поиск | В приложениях с большими моделями используйте косинусную близость, чтобы извлекать наиболее релевантные фрагменты документов из базы знаний. |
Другие расширенияВ «механизме внимания», используемом в больших моделях, таких как GPT, скалярное произведение Q и K (QK^T) по сути также вычисляет близость — косинусная близость опускает нормировку по величине в знаменателе.