Косинусное сходство для рекомендации текста

Представьте предложения как векторы мешка слов, вычислите косинусное сходство и найдите наиболее похожее предложение.

После завершения этого примера вы поймёте:Математическую основу поисковых и рекомендательных систем — скалярное произведение измеряет «одинаковое направление», а норма используется для нормализации.


Введение в повседневную жизнь

Поиск на Taobao по запросу 'Bluetooth-наушники'

Когда вы вводите 'Bluetooth-наушники', Taobao мгновенно находит самые релевантные товары среди миллионов продуктов. Он ранжирует не по тому, содержат ли заголовки точно совпадающие слова — вместо этого он преобразует заголовок каждого товара в строку чисел (вектор), а затем сравнивает, совпадает ли 'направление' вашего поискового запроса с направлением каждого заголовка.

Чем ближе направления, тем более похожи значения. Длина заголовка — длинный он или короткий — не влияет на оценку; такова интуициякосинусного сходства.


Интуитивное понимание

Представьте стрелы, выпущенные из двух луков. Чем согласованнее направления двух стрел, тем ближе косинус угла к 1; когда две стрелы перпендикулярны, косинус равен 0; когда две стрелы направлены противоположно, косинус равен -1.

~ 1
Одинаковое направление
Два предложения имеют один и тот же смысл
~ 0
Перпендикулярны друг другу
Два предложения совершенно не связаны
~ -1
Противоположные направления
Редко встречается в модели мешка слов

Ключевой вопрос: как превратить фрагмент текста в стрелу? Для этого нужно ввести модель мешка слов.


Математическое определение

Формула косинусного сходства

\[ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \cdot \|\mathbf{b}\|} = \frac{\sum_{i=1}^{n} a_i \cdot b_i}{\sqrt{\sum a_i^2} \cdot \sqrt{\sum b_i^2}} \]

Числитель — это скалярное произведение (показывает, насколько два вектора направлены в «одну сторону»), а знаменатель — произведение двух норм (устраняет влияние длины вектора).

Модель мешка слов

Метод преобразования предложения в вектор:

  1. Определите словарь (все слова, которые могут встретиться)
  2. Для каждого предложения: если слово встречается, отметьте его 1; если нет — 0.
  3. Получите вектор, длина которого равна размеру словаря.

Здесь мы используем простейший вариант «встречается или нет» (one-hot мешок слов). На практике вместо этого обычно применяют TF-IDF или word embeddings. Но основная идея та же: превратить текст в векторы, которые могут участвовать в математических операциях.


Практическое упражнение на Python

Используйте 5 китайских предложений, чтобы построить вектор мешка слов, вычислите косинусное сходство с запросным предложением и найдите наиболее похожее предложение.

Пример

import numpy as np

# 1. Подготовьте корпус — 5 китайских предложений, охватывающих две темы: изучение ИИ и повседневная жизнь
sentences = [
    "Мне нравится использовать python для изучения машинного обучения",
    "python — хороший инструмент для изучения искусственного интеллекта",
    "Сегодня хорошая погода, подходит для прогулки",
    "Глубокое обучение требует много данных и вычислительных мощностей",
    "Прогулка — хороший способ расслабиться",
]

# 2. Построить словарь (упрощенная учебная версия, вручную определить возможные слова)
vocab_words = ["I", "нравиться", "использовать", "python", "изучать", "машинное обучение", "является",
               "искусственный интеллект", "хороший", "инструмент", "сегодня", "погода", "очень", "подходящий",
               "выходить", "гулять", "глубокое обучение", "нуждаться", "много", "из", "данные",
               "вычислительная мощность", "своего рода", "расслабиться", "способ"]

def to_vector(sentence, vocab):
    """Преобразует предложения в векторы мешка слов — отмечает встречающиеся слова как 1"""
    vec = np.zeros(len(vocab))
    for i, w in enumerate(vocab):
        if w in sentence:
            vec[i] = 1  # Если слово встречается, отметь его как 1
    return vec

# 5 предложений → 5 векторов
vectors = np.array([to_vector(s, vocab_words) for s in sentences])
print("ПРИМЕР Размерность вектора каждого предложения:", vectors.shape[1],
      "(размер словаря)")

# 3. Напишите функцию косинусного сходства вручную (без вызова sklearn)
def cosine_similarity(a, b):
    dot = np.dot(a, b)             # скалярное произведение
    norm_a = np.linalg.norm(a)     # модуль a
    norm_b = np.linalg.norm(b)     # модуль b
    if norm_a == 0 or norm_b == 0:
        return 0.0                 # нулевой вектор не имеет направления
    return dot / (norm_a * norm_b)

# 4. По заданному предложению-запросу найти наиболее похожее предложение
query = "Я изучаю python и искусственный интеллект"
query_vec = to_vector(query, vocab_words)

sims = [cosine_similarity(query_vec, v) for v in vectors]

print(f"\nПРИМЕР предложения запроса: {query!r}\n")
for s, sim in sorted(zip(sentences, sims),
                     key=lambda x: -x[1]):
    print(f" Сходство {sim:.3f} <- {s}")

# 5. Проверка: сходство несвязанных предложений равно 0
print("\nПРИМЕР Проверка: два совершенно несвязанных предложения")
v1 = to_vector("python machine learning", vocab_words)
v2 = to_vector("walk relax", vocab_words)
print(f" 'python machine learning' против 'walk relax': "
      f"cos = {cosine_similarity(v1, v2):.3f}")
EXAMPLE 每句话的向量维度: 25 (词表大小)

EXAMPLE 查询句子: '我在学习python和人工智能'

  相似度 0.577  <-  python是学习人工智能的好工具
  相似度 0.500  <-  我喜欢用python学习机器学习
  相似度 0.000  <-  今天天气很好适合出去散步
  相似度 0.000  <-  深度学习需要大量的数据和算力
  相似度 0.000  <-  散步是一种很好的放松方式

EXAMPLE 验证:两个完全不相关的句子
  'python机器学习' vs '散步放松': cos = 0.000

Результат интуитивно понятен: предложения, содержащие одинаковые ключевые слова, имеют высокое сходство, а предложения с совершенно несвязанным содержанием имеют сходство 0.


Сценарии применения в ИИ

Сценарии ИИКак использовать косинусное сходство
Поисковые системыПреобразуйте как поисковые запросы, так и документы в векторы, отсортируйте по косинусному сходству и верните результаты.
Рекомендательные системыНайдите товары, наиболее похожие на вектор исторического поведения пользователя.
Семантический поискИспользуйте word embeddings (Word2Vec/BERT) для векторизации, чтобы улавливать синонимы — "Bluetooth-наушники" и "беспроводные наушники-вкладыши" также будут совпадать.
Распознавание лицЗакодируйте изображения лиц в векторы (Face Embedding) и сравните косинусное сходство двух лиц, чтобы определить, являются ли они одним и тем же человеком.
RAG-поискВ приложениях с большими моделями используйте косинусную близость, чтобы извлекать наиболее релевантные фрагменты документов из базы знаний.

В «механизме внимания», используемом в больших моделях, таких как GPT, скалярное произведение Q и K (QK^T) по сути также вычисляет близость — косинусная близость опускает нормировку по величине в знаменателе.

Другие расширения