Kosinusähnlichkeit für Textempfehlungen

Stellen Sie Sätze als Bag-of-Words-Vektoren dar, berechnen Sie die Kosinusähnlichkeit und finden Sie den ähnlichsten Satz.

After completing this case, you will understand:Die mathematische Grundlage von Such- und Empfehlungssystemen — das Skalarprodukt misst die „gleiche Richtung“, und die Norm wird zur Normalisierung verwendet.


Einführung in den Alltag

Taobao-Suche nach „Bluetooth-Kopfhörern“

Wenn Sie „Bluetooth-Kopfhörer“ eingeben, findet Taobao sofort die relevantesten Artikel aus Millionen von Produkten. Es sortiert nicht danach, ob Titel exakt übereinstimmende Wörter enthalten — stattdessen wandelt es jeden Produkttitel in eine Zahlenfolge (einen Vektor) um und vergleicht dann, ob die „Richtung“ Ihres Suchbegriffs mit der jedes Titels übereinstimmt.

The closer the directions, the more similar the meanings. Whether the title is long or short doesn't affect the judgment — this isKosinusähnlichkeit.


Intuitive Vorstellung

Stellen Sie sich Pfeile vor, die von zwei Bögen abgeschossen werden. Je einheitlicher die Richtungen der beiden Pfeile sind, desto näher liegt der Kosinus des Winkels bei 1; wenn die beiden Pfeile senkrecht aufeinander stehen, ist der Kosinus 0; wenn die beiden Pfeile in entgegengesetzte Richtungen zeigen, ist der Kosinus -1.

~ 1
Gleiche Richtung
Die beiden Sätze haben die gleiche Bedeutung
~ 0
Senkrecht zueinander
Die beiden Sätze stehen in keinerlei Zusammenhang
~ -1
Entgegengesetzte Richtungen
Selten im Bag-of-Words-Modell

Die entscheidende Frage ist: Wie verwandelt man einen Text in einen Pfeil? Dazu muss das Bag-of-Words-Modell eingeführt werden.


Mathematische Definition

Formel der Kosinusähnlichkeit

\[ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \cdot \|\mathbf{b}\|} = \frac{\sum_{i=1}^{n} a_i \cdot b_i}{\sqrt{\sum a_i^2} \cdot \sqrt{\sum b_i^2}} \]

Der Zähler ist das Skalarprodukt (misst, wie stark die beiden Vektoren in die 'gleiche Richtung' zeigen), und der Nenner ist das Produkt der beiden Normen (eliminiert den Effekt der Vektorlänge).

Bag-of-Words-Modell

Methode, um einen Satz in einen Vektor umzuwandeln:

  1. Bestimme ein Vokabular (alle Wörter, die vorkommen können)
  2. Für jeden Satz: Wenn ein Wort vorkommt, markiere es mit 1; wenn nicht, markiere es mit 0.
  3. Man erhält einen Vektor, dessen Länge der Vokabulargröße entspricht.

Hier verwenden wir das einfachste 'ob es vorkommt' (One-Hot-Bag-of-Words). In der Praxis werden stattdessen häufig TF-IDF oder Word Embeddings verwendet. Aber die Kernidee ist dieselbe: Text in Vektoren umwandeln, die an mathematischen Operationen teilnehmen können.


Praktische Python-Übung

Verwende 5 chinesische Sätze, um einen Bag-of-Words-Vektor zu erstellen, berechne die Kosinusähnlichkeit mit dem Abfragesatz und finde den ähnlichsten Satz.

Beispiel

import numpy as np

# 1. Korpus vorbereiten – 5 chinesische Sätze, die zwei Themen abdecken: KI-Lernen und Alltag
sentences = [
    "Ich verwende gerne python, um maschinelles Lernen zu lernen",
    "python ist ein gutes Werkzeug zum Lernen von künstlicher Intelligenz",
    "Das Wetter ist heute schön, geeignet für einen Spaziergang",
    "Deep Learning erfordert viele Daten und Rechenleistung",
    "Spazierengehen ist eine gute Möglichkeit zu entspannen",
]

# 2. Vokabular aufbauen (vereinfachte Lehrversion, mögliche Wörter manuell definieren)
vocab_words = ["I", "gerne", "verwende", "python", "lernen", "maschinelles Lernen", "ist",
               "künstliche Intelligenz", "gut", "Werkzeug", "heute", "Wetter", "sehr", "geeignet",
               "ausgehen", "Spaziergang", "Deep Learning", "brauchen", "viele", "von", "Daten",
               "Rechenleistung", "eine Art", "entspannen", "Möglichkeit"]

def to_vector(sentence, vocab):
    """Sätze in Bag-of-Words-Vektoren umwandeln – vorkommende Wörter als 1 markieren"""
    vec = np.zeros(len(vocab))
    for i, w in enumerate(vocab):
        if w in sentence:
            vec[i] = 1  # Wenn ein Wort vorkommt, markiere es als 1
    return vec

# 5 Sätze → 5 Vektoren
vectors = np.array([to_vector(s, vocab_words) for s in sentences])
print("BEISPIEL Vektordimension jedes Satzes:", vectors.shape[1],
      "(Vokabulargröße)")

# 3. Kosinusähnlichkeitsfunktion manuell schreiben (ohne sklearn aufzurufen)
def cosine_similarity(a, b):
    dot = np.dot(a, b)             # Skalarprodukt
    norm_a = np.linalg.norm(a)     # Betrag von a
    norm_b = np.linalg.norm(b)     # Betrag von b
    if norm_a == 0 or norm_b == 0:
        return 0.0                 # Nullvektor hat keine Richtung
    return dot / (norm_a * norm_b)

# 4. Bei einem Abfragesatz den ähnlichsten Satz finden
query = "Ich lerne python und künstliche Intelligenz"
query_vec = to_vector(query, vocab_words)

sims = [cosine_similarity(query_vec, v) for v in vectors]

print(f"\nBEISPIEL Abfragesatz: {query!r}\n")
for s, sim in sorted(zip(sentences, sims),
                     key=lambda x: -x[1]):
    print(f" Ähnlichkeit {sim:.3f} <- {s}")

# 5. Überprüfung: Ähnlichkeit nicht zusammenhängender Sätze ist 0
print("\nBEISPIEL Überprüfung: zwei völlig unabhängige Sätze")
v1 = to_vector("python maschinelles Lernen", vocab_words)
v2 = to_vector("Spaziergang entspannen", vocab_words)
print(f" 'python maschinelles Lernen' vs 'Spaziergang entspannen': "
      f"cos = {cosine_similarity(v1, v2):.3f}")
EXAMPLE 每句话的向量维度: 25 (词表大小)

EXAMPLE 查询句子: '我在学习python和人工智能'

  相似度 0.577  <-  python是学习人工智能的好工具
  相似度 0.500  <-  我喜欢用python学习机器学习
  相似度 0.000  <-  今天天气很好适合出去散步
  相似度 0.000  <-  深度学习需要大量的数据和算力
  相似度 0.000  <-  散步是一种很好的放松方式

EXAMPLE 验证:两个完全不相关的句子
  'python机器学习' vs '散步放松': cos = 0.000

Das Ergebnis ist intuitiv: Sätze mit den gleichen Schlüsselwörtern haben eine hohe Ähnlichkeit, und Sätze mit völlig unzusammenhängendem Inhalt haben eine Ähnlichkeit von 0.


Anwendungsszenarien in der KI

KI-SzenarienWie man die Kosinusähnlichkeit verwendet
SuchmaschinenSowohl Suchbegriffe als auch Dokumente in Vektoren umwandeln, nach Kosinusähnlichkeit sortieren und Ergebnisse zurückgeben.
EmpfehlungssystemeProdukte finden, die dem historischen Verhaltensvektor des Benutzers am ähnlichsten sind.
Semantische SucheWord-Embeddings (Word2Vec/BERT) zur Vektorisierung verwenden, um Synonyme zu erfassen – "Bluetooth-Kopfhörer" und "kabellose Ohrhörer" werden ebenfalls übereinstimmen.
GesichtserkennungGesichtsbilder in Vektoren kodieren (Face Embedding) und die Kosinusähnlichkeit zweier Gesichter vergleichen, um festzustellen, ob sie dieselbe Person sind.
RAG-AbrufIn Anwendungen großer Modelle die Kosinusähnlichkeit verwenden, um die relevantesten Dokumentfragmente aus einer Wissensbasis abzurufen.

Beim "Attention-Mechanismus", der in großen Modellen wie GPT verwendet wird, berechnet das Skalarprodukt von Q und K (QK^T) im Wesentlichen ebenfalls eine Ähnlichkeit – bei der Kosinusähnlichkeit entfällt die Betragsnormalisierung des Nenners.

Weitere Erweiterungen