Векторная база данных
Векторная база данных — это система баз данных, специально предназначенная для хранения, индексирования и извлечения высокоразмерных векторных данных.
Можно представить это так: хранить вещи с похожим смыслом вместе и быстро находить наиболее похожие на заданный элемент.
В отличие от традиционных баз данных, которые выполняют запросы через точное совпадение (WHERE name = 'Alice'), векторные базы данных выполняют запросы через сходство (поиск 10 изображений, наиболее похожих на это изображение).
Наглядная аналогия
Представьте сценарий с библиотекой:
| Тип базы данных | Метод поиска | Аналогия |
|---|---|---|
| Традиционная база данных | Точный поиск по номеру и названию книги | Найти книгу с указанным номером |
| Векторная база данных | Поиск по релевантности содержимого | Найти "все научно-фантастические романы, похожие по стилю на «Задачу трёх тел»" |
Это семантическое сходство — как раз основная задача, которую решают векторные базы данных.
Зачем нам нужна векторная база данных?
Прежде чем углубляться в технические детали, давайте сначала разберёмся, какие задачи решают векторные базы данных.
Ограничения традиционных баз данных
Традиционные реляционные базы данных (MySQL, PostgreSQL) очень хорошо справляются со структурированными данными, но оказываются несостоятельными при следующих требованиях:
- Поиск изображений (найти визуально похожие изображения)
- Семантический поиск (когда пользователь ищет "телефон Apple", он может найти связанный контент об "iPhone")
- Рекомендательные системы (найти "песни, похожие по стилю на те, что вам нравятся")
- Обнаружение аномалий (найти "логи, которые сильнее всего отличаются от нормального поведения")
Общая характеристика этих задач — необходимость понимать "смысл" контента, а не выполнять буквальное сопоставление.
Проблемы традиционных подходов
用 LIKE '%苹果%' 搜索 → 找不到 "iPhone"、"Apple" 用全文索引搜索 → 找不到语义相关但用词不同的内容
Схема сравнения
Приведённая ниже схема наглядно показывает принципиальные различия в методах запросов между традиционными базами данных и векторными базами данных.
Ключевые понятия: векторы и эмбеддинги
Понимание векторов и эмбеддингов — это первый шаг к освоению векторных баз данных.
Что такое вектор?
В математике вектор — это упорядоченный набор чисел.
[0.12, -0.54, 0.87, 0.03, ..., 0.61] ← 这就是一个向量
В машинном обучении этот набор чисел представляет семантические признаки объекта, обычно с размерностью от 128 до 4096.
Что такое эмбеддинг?
Эмбеддинг — это процесс и результат преобразования объектов реального мира (текста, изображений, аудио и т. д.) в векторы.
Это преобразование выполняется моделью эмбеддингов, основная идея которой такова: объекты со схожей семантикой имеют векторы, более близкие в пространстве.
Схожая семантика означает схожие векторы
Рассмотрим упрощённый двумерный пример для понимания (в реальности это от сотен до тысяч измерений):
Ключевое понимание: два вектора, близкие в векторном пространстве, также имеют семантически схожее исходное содержимое. Это основа всех возможностей векторных баз данных.
Методы вычисления сходства
В основе поиска «наиболее похожего вектора» лежит вычисление расстояния или сходства между двумя векторами. Ниже приведены три наиболее часто используемых метода.
Косинусное сходство
Косинусное сходство измеряет угол между двумя векторами, игнорируя их величину. Это наиболее часто используемый метод, особенно подходящий для текстовых сценариев.
Формула:
\[ \text{CosineSimilarity}(A, B) = \frac{A \cdot B} {\|A\|\|B\|} = \frac{\sum_{i=1}^{n} A_i B_i} {\sqrt{\sum_{i=1}^{n} A_i^2}\sqrt{\sum_{i=1}^{n} B_i^2}} \]
- Диапазон результата: от -1 до 1, большее значение означает большее сходство
- Применимые сценарии: семантический поиск по тексту, сходство документов
Евклидово расстояние
Евклидово расстояние измеряет расстояние по прямой между двумя точками; чем меньше расстояние, тем более они похожи.
Формула:
\[ d(A,B) = \sqrt{\sum_{i=1}^{n}(A_i-B_i)^2} \]
- Диапазон результата: от 0 до ∞, меньшее значение означает большее сходство
- Применимые сценарии: поиск изображений, приложения, связанные с местоположением
Скалярное произведение
Скалярное произведение — это сумма произведений компонентов векторов, объединяющая информацию как о направлении, так и о величине.
Формула:
\[ A \cdot B = \sum_{i=1}^{n} A_i B_i \]
- Применимые сценарии: рекомендательные системы (эквивалентно косинусному сходству, когда векторы нормализованы)
Сравнение трёх методов
Пример кода на Python
Следующий пример демонстрирует реализации на Python трёх методов вычисления сходства:
Пример
# Косинусное сходство: измеряет сходство направлений
def cosine_similarity(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# Евклидово расстояние: измеряет абсолютные различия позиций
def euclidean_distance(a, b):
return np.linalg.norm(a - b)
# Скалярное произведение: объединяет направление и величину
def dot_product(a, b):
return np.dot(a, b)
# Примеры векторов
v1 = np.array([0.12, -0.54, 0.87, 0.03])
v2 = np.array([0.10, -0.50, 0.90, 0.05])
v3 = np.array([-0.80, 0.20, -0.30, 0.70])
print(f"косинусное сходство v1 и v2: {cosine_similarity(v1, v2):.4f}") # Приблизительно 0.9997 (очень похожи)
print(fкосинусное сходство v1 и v3: {cosine_similarity(v1, v3):.4f}) # Приблизительно -0.55 (не похожи)
v1 vs v2 余弦相似度: 0.9997 v1 vs v3 余弦相似度: -0.5512
Алгоритмы индексации векторов
Когда объём данных велик (миллионы, миллиарды), вычисление сходства для каждого элемента данных (полный перебор) слишком медленно. Векторные базы данных используют специализированные алгоритмы индексации для ускорения запросов.
Полный перебор (Flat / Brute-force)
Полный перебор обходит все векторы и вычисляет сходство по одному.
| Измерение | Описание |
|---|---|
| Принцип | Перебрать все векторы и вычислить сходство по одному |
| Преимущества | 100% точные результаты |
| Недостатки | Чрезвычайно медленно при больших объёмах данных, сложность O(n) |
| Применимо | Объём данных менее 100k, чрезвычайно высокие требования к точности |
IVF (инвертированный файловый индекс)
Этапы выполнения IVF:
- Фаза обучения: используйте K-Means, чтобы кластеризовать все векторы в N кластеров, записать центр каждого кластера
- Фаза запроса: сначала найдите центры ближайших кластеров, затем выполните точный поиск только внутри этих кластеров
HNSW (иерархический навигируемый граф малого мира)
HNSW в настоящее время является наиболее распространённым алгоритмом векторной индексации, обеспечивающим баланс между скоростью и точностью.
Основная идея HNSW:
- Постройте многослойную графовую структуру: разреженную сверху, плотную снизу
- Во время запроса начните с точки входа верхнего слоя и сыграйте в «классики»: жадно переходите к более близким узлам на каждом слое, затем спускайтесь на следующий слой
- Значительно сокращает количество узлов, которые нужно сравнить; временная сложность примерно O(log n)
Другие распространённые индексы
| Тип индекса | Особенности | Применимые сценарии |
|---|---|---|
| Flat (полный перебор) | Точный, но медленный | Малые наборы данных, точность в приоритете |
| IVF_Flat | Точный поиск после кластеризации, быстрый | Средний и крупный масштаб, достаточно памяти |
| IVF_PQ | Квантование и сжатие, экономит память | Сверхбольшой масштаб, ограниченная память |
| HNSW | Быстрый, высокая точность, высокое потребление памяти | Наиболее часто используется, рекомендуется как первый выбор |
| ScaNN | Создан Google, оптимизированная пропускная способность | Производственные среды с высокой конкурентностью |
Сравнение популярных векторных баз данных
Ниже приведено горизонтальное сравнение наиболее популярных на данный момент векторных баз данных, помогающее сделать выбор в различных сценариях.
Совет новичкам: начните с Chroma или pgvector. Первый подходит для прототипов AI-приложений, второй — для проектов с уже существующим PostgreSQL.
Быстрый старт: примеры на Python
Ниже мы используем Chroma (проще всего начать) для демонстрации полного рабочего процесса CRUD.
Установка
Пример
Полный пример: построение системы семантического поиска документов.
Следующий код демонстрирует от начала до конца, как использовать Chroma для создания системы семантического поиска документов.
Пример
from chromadb.utils import embedding_functions
# ─── 1. Инициализация клиента ───────────────────────────────────────────
# Сохранять локально (рекомендуется)
client = chromadb.PersistentClient(path="./my_vector_db")
# Использовать модель эмбеддингов OpenAI (можно также переключиться на локальную модель)
openai_ef = embedding_functions.OpenAIEmbeddingFunction(
api_key="your-openai-api-key", # Обязательно: замените на ваш API-ключ
model_name="text-embedding-3-small" # 1536 размерностей, экономически эффективно
)
# ─── 2. Создание коллекции (как "таблицы" в реляционных базах данных)────────────────────────
collection = client.get_or_create_collection(
name="my_documents", # Имя коллекции
embedding_function=openai_ef, # Привязать функцию эмбеддинга
metadata={"hnsw:space": "cosine"} # Использовать косинусное сходство
)
# ─── 3. Вставка документов ──────────────────────────────────────────────
документы = [
Python — объектно-ориентированный интерпретируемый язык программирования, широко используемый в науке о данных и разработке ИИ,
Машинное обучение — это подобласть искусственного интеллекта, которая позволяет компьютерам выявлять закономерности в данных,
Глубокое обучение использует многослойные нейронные сети и показывает отличные результаты в распознавании изображений и задачах NLP,
Векторные базы данных специально предназначены для хранения многомерных векторов и поддержки поиска семантической близости,
PostgreSQL — мощная реляционная база данных с открытым исходным кодом,
Redis — это высокопроизводительная база данных «ключ — значение» в оперативной памяти, часто используемая для кэширования,
Технология контейнеризации Docker позволяет приложениям единообразно работать в любой среде,
Git — это распределённая система управления версиями и основополагающий инструмент современной разработки программного обеспечения,
]
ids = [f"doc_{i}" for i in range(len(documents))]
# Пакетная вставка (Chroma автоматически вызывает модель эмбеддингов, чтобы преобразовать в векторы перед сохранением)
collection.add(
documents=documents,
ids=ids,
metadatas=[{"source": "tutorial", "index": i} for i in range(len(documents))]
)
print(fВставлено {len(documents)} документов)
已插入 8 条文档
Пример
query = Как работать с искусственным интеллектом на Python
results = collection.query(
query_texts=[query],
n_results=3, # Вернуть топ-3 наиболее похожих
include=["documents", "distances", "metadatas"]
)
print(f"\n"Запрос: {query}")
print("-" * 50)
for i, (doc, dist) in enumerate(zip(
results["documents"][0],
results["distances"][0]
)):
similarity = 1 - dist # Преобразовать косинусное расстояние в сходство
print(fРанг {i+1} (сходство {similarity:.4f}):)
print(f" {doc}")
print()
查询:如何用 Python 做人工智能 -------------------------------------------------- 第 1 名(相似度 0.9231):Python 是一种面向对象的解释型编程语言... 第 2 名(相似度 0.8874):机器学习是人工智能的子领域... 第 3 名(相似度 0.8612):深度学习使用多层神经网络...
Пример
results_filtered = collection.query(
query_texts=[Технология баз данных],
n_results=2,
where={"source": "tutorial"}, # Искать только среди документов, где source=tutorial
include=["documents", "distances"]
)
# ─── 6. Обновление документов ──────────────────────────────────────────────
collection.update(
ids=["doc_0"],
documents=[Python в настоящее время — самый популярный язык программирования, широко используемый в ИИ, анализе данных и веб-разработке],
metadatas=[{"source": "tutorial", "index": 0, "updated": True}]
)
# ─── 7. Удаление документов ──────────────────────────────────────────────
collection.delete(ids=["doc_7"]) # Удалить документы, связанные с Git
# ─── 8. Просмотр статистики коллекции ─────────────────────────────────────────
print(fТекущее количество документов в коллекции: {collection.count()})
Без использования сторонних API для эмбеддингов (полностью локально)
Если вы не хотите использовать OpenAI API, вы можете работать полностью офлайн с локальными моделями эмбеддингов.
Пример
from sentence_transformers import SentenceTransformer
# Используйте локальные модели эмбеддингов (API-ключ не требуется, полностью офлайн)
model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2") # Поддерживает китайский
client = chromadb.Client()
collection = client.create_collection("local_demo")
texts = ["Сегодня хорошая погода", "Солнечно, идеально для прогулки", "Фондовый рынок резко вырос", "Завтра, возможно, будет дождь"]
# Вручную сгенерировать векторы перед вставкой
embeddings = model.encode(texts).tolist()
collection.add(
embeddings=embeddings,
documents=texts,
ids=[f"id_{i}" for i in range(len(texts))]
)
# Запрос
query_embedding = model.encode(["Какая сегодня погода?"]).tolist()
results = collection.query(query_embeddings=query_embedding, n_results=2)
print(results["documents"])
# Вывод: [['Сегодня хорошая погода', 'Солнечно и идеально для прогулки']]
Пример pgvector (для пользователей PostgreSQL)
Если ваш проект уже использует PostgreSQL, pgvector — самый лёгкий способ интеграции.
Пример
CREATE EXTENSION IF NOT EXISTS vector;
-- Создание таблицы: хранение заголовков статей и их векторов (1536 измерений)
CREATE TABLE articles (
id SERIAL PRIMARY KEY,
title TEXT NOT NULL,
content TEXT,
embedding vector(1536) -- Векторный столбец, 1536 измерений
);
-- Создание индекса HNSW для ускорения запросов
CREATE INDEX ON articles
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
-- Вставка данных (векторы генерируются на уровне приложения и передаются сюда)
INSERT INTO articles (title, embedding)
VALUES ('Руководство для начинающих по Python', '[0.12, -0.54, 0.87, ...]'::vector);
-- Семантический поиск: найти 5 наиболее похожих статей
SELECT id, title,
1 - (embedding <=> '[0.10, -0.50, 0.90, ...]'::vector) AS similarity
FROM articles
ORDER BY embedding <=> '[0.10, -0.50, 0.90, ...]'::vector
LIMIT 5;
Примечание: <=> — это оператор векторного расстояния, предоставляемый pgvector, используемый для вычисления косинусного расстояния. Вычтите косинусное расстояние из 1, чтобы получить косинусное сходство.
Типичные сценарии применения
Векторные базы данных имеют широкий спектр применения в эпоху ИИ; ниже приведён обзор шести наиболее типичных сценариев.
Архитектура RAG (Retrieval-Augmented Generation)
RAG в настоящее время является одним из основных сценариев применения векторных баз данных. Ниже представлен его основной рабочий процесс:
Рекомендации по выбору и лучшие практики
Дерево решений для выбора
В зависимости от вашей конкретной ситуации выберите подходящую векторную базу данных в соответствии со следующим деревом решений:
你的情况是什么?
│
├─── 已有 PostgreSQL,且数据量 < 500 万
│ └──> 用 pgvector,无缝集成,零额外运维
│
├─── 做 AI/LLM 应用原型,快速验证
│ └──> 用 Chroma,几行代码跑起来
│
├─── 需要生产级部署,性能优先,数据量 500 万 ~ 1 亿
│ └──> 用 Qdrant,Rust 实现,性能强
│
├─── 超大规模(> 1 亿),有 K8s 运维能力
│ └──> 用 Milvus,分布式,功能最全
│
└─── 团队没有运维能力,愿意付费
└──> 用 Pinecone 云服务,开箱即用
Выбор модели эмбеддингов
Выбор подходящей модели эмбеддингов — ключевой первый шаг в приложениях векторных баз данных.
| Требования | Рекомендуемая модель |
|---|---|
| Китайский и английский текст (высокое качество) | OpenAI text-embedding-3-small |
| Китайский текст (локально, офлайн) | BAAI/bge-large-zh-v1.5 |
| Многоязычный универсальный. | paraphrase-multilingual-MiniLM-L12-v2 |
| Мультимодальный для изображений и текста. | OpenAI CLIPсерия |
Советы по оптимизации производительности
1. Пакетная вставка: вставляйте несколько записей сразу, чтобы избежать частых одиночных записей.
Пример
collection.add(documents=docs_list, ids=ids_list)
# Не рекомендуется: перебор по одному (каждый раз переиндексирует, крайне неэффективно)
# for doc, id in zip(docs_list, ids_list):
# collection.add(documents=[doc], ids=[id])
2. Нормализация векторов: перед использованием косинусного сходства предварительная нормализация векторов может ускорить вычисления.
Пример
def normalize(v):
"""Выполняет L2-нормализацию векторов так, чтобы норма была равна 1"""
return v / np.linalg.norm(v)
3. Разумно задавайте n_results: не устанавливайте слепо очень большое top_k; для сценариев RAG обычно достаточно 3~10 результатов.
4. Эффективно используйте фильтрацию метаданных: во время поиска комбинируйте её с условиями where, чтобы сузить область поиска.
Пример
collection.query(
query_texts=["Обработка исключений Python"],
where={"category": "tech_doc"},
n_results=5
)
5. Регулярно перестраивайте индексы: после увеличения объёма данных своевременно перестраивайте индекс HNSW, чтобы поддерживать производительность запросов.
Типичные ошибки
Ниже приведены наиболее распространённые проблемы, с которыми сталкиваются новички при использовании векторных баз данных, а также способы их решения.
| Проблема | Описание | Решение |
|---|---|---|
| Согласованность модели эмбеддингов | Для вставки и запроса должна использоваться одна и та же модель | Зафиксируйте версию модели в файле конфигурации |
| Несовпадение размерности | Переключили модели, но не пересоздали коллекцию | Удалите и пересоздайте коллекцию при смене модели |
| Слишком длинный текст | У большинства моделей есть ограничение на количество токенов (512~8192) | Сначала разбейте слишком длинный текст на фрагменты |
| Неточное сходство | Текст не разбит на части, поэтому семантика размывается | Разделяйте документы по абзацам или фиксированной длине |
| Медленный холодный старт | Когда объём данных велик, начальная загрузка индекса занимает время | Прогревайте заранее или используйте постоянные индексы |
Итог
Давайте рассмотрим ключевые моменты этого руководства:
Векторные базы данных — важнейшая часть инфраструктуры эпохи ИИ.
Она решает проблему семантического поиска по сходству, с которой не справляются традиционные базы данных, и является ключевым компонентом для построения RAG-систем, рекомендательных систем и мультимодального поиска.
Рекомендации по пути обучения
- Шаг 1: Разберитесь с понятиями векторов и эмбеддингов и запустите пример Chroma из этой статьи.
- Шаг 2: Попробуйте построить простую систему вопросов и ответов по документам с помощью LangChain + Chroma.
- Шаг 3: Изучите алгоритмы индексации, такие как HNSW, и поймите компромисс между точностью и скоростью.
- Шаг 4: Исходя из фактических требований проекта, выберите подходящую векторную базу данных и разверните её в производственной среде.