Géométrie et trigonométrie
Ce chapitre développe l'intuition des vecteurs comme « direction + longueur », permet de comprendre les fonctions trigonométriques de base et utilise l'intuition spatiale des systèmes de coordonnées comme tremplin pour apprendre les « espaces vectoriels » en algèbre linéaire.
Les plongements de mots, les calculs de similarité dans les systèmes de recommandation et les encodages positionnels dans les Transformers reposent tous sur l'intuition géométrique de ce chapitre.
Vecteurs du plan : direction + longueur
Qu'est-ce qu'un vecteur ?
Un nombre ordinaire (scalaire) ne porte qu'une seule information : « magnitude », par exemple, « la température est de 25 degrés ».
Vecteurporte deux informations simultanément :DirectionetLongueur (Magnitude)。
Dans un système de coordonnées rectangulaires du plan, un vecteur s'écrit sous forme de coordonnées, ce qui représente la position atteinte en « partant de l'origine, se déplaçant de x unités dans la direction x et de y unités dans la direction y ». La flèche elle-même encode la direction et la longueur.
Longueur d'un vecteur (Magnitude)
C'est le théorème de Pythagore : la longueur d'un vecteur est l'hypoténuse d'un triangle rectangle formé par ses composantes selon l'axe des x et l'axe des y.
Addition vectorielle et multiplication par un scalaire
| Opération | Règle algébrique | Signification géométrique |
|---|---|---|
| Addition | Bout à bout : relier le début du deuxième vecteur à l'extrémité du premier vecteur | |
| Multiplication par un scalaire | Ne change que la longueur (inverse le sens lorsque k est négatif), sans changer la droite qui porte la direction |
Produit scalaire de vecteurs : mesurer la proximité de deux directions
oùest l'angle entre les deux vecteurs. Le signe du produit scalaire a une signification géométrique claire :
| Signe du produit scalaire | Plage d'angle | Signification géométrique |
|---|---|---|
| Les directions sont à peu près les mêmes | ||
| Deux vecteurs perpendiculaires (orthogonaux) | ||
| Directions à peu près opposées |
Pourquoi les vecteurs sont cruciaux pour l'IA
En apprentissage automatique, un point de données d'exemple (une image, le plongement d'un morceau de texte, les caractéristiques d'un utilisateur) est essentiellementun vecteur dans un espace de grande dimension.。
Plus le produit scalaire (ou le cosinus de l'angle) des vecteurs de plongement de deux mots est grand, plus ces deux mots sont généralement sémantiquement similaires. C'est la base mathématique du "calcul de similarité" dans les vecteurs de mots et les systèmes de recommandation.
Ce que fait chaque couche d'un réseau de neuronesest essentiellement le produit scalaire du vecteur de poids et du vecteur d'entrée.
Exemples
import math
# Deux "vecteurs de mots" : supposons les plongements de deux mots (simplifiés en 2D)
roi = (3, 4)
reine = (4, 3)
# Norme |v| = sqrt(x² + y²)
norm_king = math.sqrt(3**2 + 4**2) # 5
norm_queen = math.sqrt(4**2 + 3**2) # 5
print(norm_king, norm_queen)
# Produit scalaire a·b = a₁b₁ + a₂b₂
dot = king[0] * queen[0] + king[1] * queen[1]
print(dot)
# Cosinus de l'angle cos θ = (a·b) / (|a||b|) ; plus on se rapproche de 1, plus les directions des deux vecteurs sont proches
cos_theta = dot / (norm_king * norm_queen)
print(cos_theta)
L'exécution du code ci-dessus produit :
5.0 5.0 24 0.96
Une similarité cosinus de 0.96 signifie que les directions des deux vecteurs sont très proches ; c'est précisément l'expression géométrique de la "similarité sémantique."
Exercice: vecteur, trouvez sa longueur。
Cliquez pour voir la réponse
Fonctions trigonométriques de base : sin et cos
Des triangles rectangles au cercle unité
Lorsqu'on apprend pour la première fois les fonctions trigonométriques, on commence généralement par les rapports des longueurs des côtés d'un triangle rectangle :
Une façon plus générale et plus adaptée de les comprendre pour les scénarios d'IA est ladéfinition par le cercle unité: sur un cercle de rayon 1, depuis l'axe des x positifs, en tournant dans le sens antihoraire d'un anglele point correspondant a pour coordonnées。
L'avantage de cette définition est :Elle peut prendre n'importe quel angle (pas limité à 0°~90°). Sin et cos continuent de « tourner en rond » lorsque θ change, montrant unepériodicité(chaque tour complet vaut 360°, c'est-à-dire2π radians, les valeurs se répètent une fois).
Cliquez sur « Play » pour voir comment le point sur le cercle unité trace une onde sinusoïdale.
Propriétés clés
| Propriétés | Expression | Signification |
|---|---|---|
| Caractère borné | Peu importe la grandeur de l'angle, la valeur se trouve toujours dans [-1, 1] | |
| Périodicité | À chaque tour, la valeur se répète une fois | |
| Relation des carrés | Corollaire direct du rayon du cercle unité égal à 1 (théorème de Pythagore) |
sin, cos et encodage positionnel
Lorsqu’il traite une séquence de texte, le modèle Transformer ne connaît pas intrinsèquement l’« ordre des mots » (il traite tous les mots en parallèle).
Pour encoder les informations de « position » dans le modèle, le Transformer utilise la formule suivante :
Ici, deux propriétés fondamentales de sin/cos sont utilisées :
Caractère borné: Peu importe la longueur de la séquence, les valeurs de l’encodage positionnel n’exploseront pas ; elles restent toujours dans [-1, 1] et n’interfèrent pas avec les autres calculs numériques.
Périodicité + superposition de différentes fréquences: Différentes dimensions utilisent des ondes sin/cos de fréquences différentes, de sorte que le modèle peut distinguer les « positions adjacentes » (les ondes à haute fréquence changent rapidement) et aussi percevoir les « relations positionnelles à longue distance » (les ondes à basse fréquence changent lentement).
Derrière cela se trouve la même idée que dans le traitement du signalTransformée de FourierL’idée est partagée : tout signal complexe peut être représenté par une superposition d’une série d’ondes sinusoïdales de fréquences différentes.
Exemples
import math
d = 16 # Dimension totale d'encodage (à titre d'illustration ; le modèle réel est 512+)
# La fréquence angulaire de la dimension 2i est 1 / 10000^(2i/d)
# Les dimensions basses ont une fréquence élevée (distinguer les positions adjacentes), les dimensions élevées ont une fréquence faible (percevoir les longues distances)
for i in [0, 2, 4]:
freq = 1 / (10000 ** (i / d))
print(i, round(freq, 6))
# valeur d'encodage sin à pos=3 sur la dimension 0 : sin(3 * 1.0)
print(round(math.sin(3 * 1.0), 6))
L'exécution du code ci-dessus produit :
0 1.0 2 0.316228 4 0.1 0.14112
La fréquence de la dimension 0 est 1.0, et la dimension 4 décroît jusqu'à 0.1 -- la fréquence décroît exponentiellement le long des dimensions ; c'est exactement la disposition « haute fréquence d'abord, basse fréquence ensuite ».
Systèmes de coordonnées et intuition spatiale
Le système de coordonnées 2D est le point de départ pour comprendre les « espaces de dimension supérieure »
Système de coordonnées rectangulaires dans le planUtiliser deux axes numériques mutuellement perpendiculaires pour donner à chaque point du plan une « adresse » unique.
Cette idée intuitive peut être étendue directement : ajouter un axe z pour l'espace tridimensionnel, et pour l'espace à n dimensions c'est。
Bien que l'espace à n dimensions ne puisse pas être dessiné directement, le traitement algébrique est exactement le même : chaque axe de coordonnées (« dimension ») reste une direction indépendante.
Ce que cela signifie pour comprendre les « espaces vectoriels » en algèbre linéaire
| Intuition en 2D | Généralisation en dimension supérieure | Applications en IA |
|---|---|---|
| Projection : la composante d'un vecteur selon un axe | Projection d'un vecteur de grande dimension dans n'importe quelle direction | Le produit scalaire / la décomposition orthogonale est à la base des algorithmes de réduction de dimensionnalité |
| Orthogonalité : deux directions sont perpendiculaires et n'interfèrent pas l'une avec l'autre | « Base orthogonale » dans un espace de grande dimension | La réduction de dimensionnalité par ACP trouve des directions principales mutuellement orthogonales |
| Base : les axes x et y sont les directions de référence les plus élémentaires | Tout vecteur s’écrit comme une combinaison de vecteurs de base | La dimension de l’espace de plongement est le nombre de vecteurs de base |
La dimension de plongement de nombreux modèles de langage va de quelques centaines à quelques milliers (par exemple 768 dimensions). Vous ne pouvez pas dessiner cet espace sur papier, mais vous pouvez « l’imaginer » à l’aide d’opérations familières issues de la 2D et de la 3D.
Une analogie concrète
Imaginez que vous décrivez un film ; vous pouvez le noter selon de nombreuses dimensions telles que « quantité de scènes d’action », « niveau d’humour », « complexité de l’intrigue », etc.
Chaque film correspond à un point (vecteur) dans cet « espace de notation multidimensionnel ».
Plus deux films sont similaires, plus leurs vecteurs correspondants sont « proches » dans l’espace (produit scalaire élevé, angle faible).
C’est exactement l’intuition géométrique derrière la « recommandation de contenu similaire » dans les systèmes de recommandation, et l’origine de cette intuition est le sens spatial de « savoir si deux points sont proches » dans un système de coordonnées 2D.
Exercice: Si un vecteur a une projection importante le long de la direction de l’axe x et une projection presque nulle le long de la direction de l’axe y, qu’indique cela sur la direction générale du vecteur ?
Cliquez pour voir la réponse
La direction est presque alignée sur l’axe des x : sa « contribution » dans la direction y est très faible, ce qui signifie qu’elle est presque perpendiculaire à l’axe des y et presque parallèle à l’axe des x.
Résumé du chapitre
| Sujet | Idée centrale en une phrase |
|---|---|
| Vecteur du plan | Porte à la fois une « direction » et une « longueur », et constitue l’unité de base des données de grande dimension (embedding) |
| Produit scalaire | Mesure à quel point deux directions sont « proches » ; c’est le fondement mathématique du calcul de similarité |
| sin / cos | Les coordonnées sur le cercle unité ont une périodicité et sont bornées, et constituent un outil mathématique pour l’encodage positionnel |
| Système de coordonnées | L’intuition spatiale de la 2D/3D est le point de départ pour comprendre les espaces vectoriels de dimension n, la projection, l’orthogonalité et d’autres concepts |