Calcul de similarité textuelle en NLP

Le calcul de similarité textuelle est une tâche fondamentale du traitement du langage naturel (NLP), visant à quantifier le degré de similarité entre deux segments de texte. Cette technologie est largement utilisée dans divers domaines tels que la recherche d'information, les systèmes de questions-réponses, la détection de plagiat et les systèmes de recommandation.

Concepts fondamentaux

  • Similarité sémantique: mesure la proximité de signification des textes
  • Similarité littérale: mesure le degré de chevauchement du vocabulaire de surface des textes
  • Modèle d'espace vectoriel: Représente les textes sous forme de vecteurs dans un espace de grande dimension
  • Métriques de distance: Calcule la distance ou la similarité entre les vecteurs

Méthodes courantes de calcul de similarité textuelle

1. Méthodes basées sur la fréquence des mots

Modèle de sac de mots

Exemple

from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    'J'aime le traitement du langage naturel',
    'J'adore apprendre la technologie NLP',
    'Le calcul de similarité textuelle est très intéressant'
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(X.toarray())

Méthode TF-IDF

Exemple

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer()
tfidf_matrix = tfidf.fit_transform(corpus)
print(tfidf_matrix.toarray())

2. Méthodes basées sur les vecteurs de mots

Similarité Word2Vec

Exemple

from gensim.models import Word2Vec

sentences = [
    ['I','like','natural language processing'],
    ['I','love','learning','NLP','technology'],
    ['text','similarity','calculation','very','interesting']
]

model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
vector = model.wv['natural language processing']  # Obtenir les vecteurs de mots

Calcul du vecteur de phrase

Exemple

import numpy as np

def sentence_vector(sentence, model):
    vectors = [model.wv[word] for word in sentence if word in model.wv]
    return np.mean(vectors, axis=0) if vectors else np.zeros(model.vector_size)

sentence_vec1 = sentence_vector(['I','like','natural language processing'], model)
sentence_vec2 = sentence_vector(['I','love','NLP'], model)

3. Méthodes basées sur des modèles pré-entraînés

Calcul de similarité BERT

Exemple

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

inputs = tokenizer("This is an example sentence", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

Métriques de similarité

Métriques de distance courantes

Nom de la méthode Formule Caractéristiques
Similarité cosinus cos(θ) = (A·B)/(|A||B|) Ignore la longueur du vecteur, se concentre sur la direction
Distance euclidienne √Σ(Ai-Bi)² Considère la position absolue des vecteurs
Distance de Manhattan Σ|Ai-Bi| Insensible aux valeurs aberrantes
Similarité de Jaccard |A∩B|/|A∪B| Adapté à la similarité d'ensembles

Exemples d'implémentation de code

Exemple

from sklearn.metrics.pairwise import cosine_similarity

# Calculer la similarité cosinus
similarity = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix[1:2])
print(f"Similarité du texte : {similarity)

Exemples d'applications pratiques

Détection de similarité des titres d'actualités

Exemple

import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity

# Exemple de données
titles = [
    "Apple sort un nouvel iPhone",
    "Apple Inc. lance le dernier smartphone",
    "Microsoft annonce son rapport de résultats trimestriels",
    "Google annonce un nouveau plan d'intelligence artificielle"
]

# Calculer la matrice de similarité
tfidf = TfidfVectorizer()
tfidf_matrix = tfidf.fit_transform(titles)
similarities = cosine_similarity(tfidf_matrix)

# Afficher les résultats
df = pd.DataFrame(similarities, columns=titles, index=titles)
print(df)

Analyse des résultats

                         苹果发布新款iPhone手机  苹果公司推出最新智能手机  微软公布季度财报  谷歌宣布新的人工智能计划
苹果发布新款iPhone手机           1.000000         0.723417     0.000000         0.000000
苹果公司推出最新智能手机         0.723417         1.000000     0.000000         0.000000
微软公布季度财报               0.000000         0.000000     1.000000         0.204598
谷歌宣布新的人工智能计划         0.000000         0.000000     0.204598         1.000000

Techniques avancées et défis

1. Traitement des textes ayant une sémantique similaire mais un vocabulaire différent

Exemple

text1 = "J'aime les chats"
text2 = "Je déteste les chiens"

# La similarité de surface est faible, mais tous deux expriment sémantiquement des attitudes envers les animaux

2. Résoudre le problème de la polysémie

Exemple

# « Apple » peut désigner un fruit ou une entreprise
text1 = "La pomme est très sucrée"
text2 = "La valeur marchande d'Apple atteint un nouveau sommet"

3. Calcul de similarité de textes longs


Recommandations de bonnes pratiques

  1. Le prétraitement des données est important

    • Normaliser la casse
    • Supprimer les mots vides
    • Racinisation / Lemmatisation
  2. Choisir les méthodes en fonction du scénario

    • Textes courts : modèles pré-entraînés tels que BERT
    • Documents longs : TF-IDF + similarité cosinus
    • Systèmes en temps réel : modèles légers tels que Word2Vec
  3. Tenir compte de l'efficacité de calcul

    • Utiliser des algorithmes de recherche approximative des plus proches voisins (ANN) pour les données à grande échelle
    • Envisager d'utiliser des bibliothèques efficaces de recherche de similarité telles que Faiss
  4. Évaluation et optimisation continues

    • Construire un ensemble d'évaluation manuel
    • Surveiller les performances dans les environnements de production
    • Mettre régulièrement à jour les modèles

Ressources d'apprentissage recommandées

  1. Documentation officielle de Gensim
  2. Bibliothèque Hugging Face Transformers
  3. Tutoriel de traitement de texte avec Scikit-learn
  4. Article BERT "Attention Is All You Need"
Autres extensions