ベクトルデータベース(Vector Database)
ベクトルデータベース(Vector Database)は、高次元ベクトルデータの保存、インデックス化、検索に特化したデータベースシステムです。
これは、意味が近いものをまとめて保存し、それに最も似ているものをすばやく見つける仕組みだと理解できます。
従来のデータベースが完全一致で検索する(WHERE name = 'Alice')のに対し、ベクトルデータベースは類似度で検索します(この画像に最も似ている10枚の画像を見つける)。
直感的な類似例
図書館の場面を想像してみてください:
| データベースの種類 | 検索方法 | たとえ |
|---|---|---|
| 従来型データベース | 書番号・書名で完全一致検索 | 指定された番号の本を探す |
| ベクトルデータベース | 内容の関連性で検索 | 「『三体』と作風が似ているすべてのSF小説」を探す |
このような意味上の類似性こそが、ベクトルデータベースが解決する中核的な問題です。
なぜベクトルデータベースが必要か
技術的な詳細に入る前に、ベクトルデータベースがどのような問題を解決するのかを理解しましょう。
従来型データベースの限界
従来のリレーショナルデータベース(MySQL、PostgreSQL)は構造化データの処理に非常に優れていますが、以下のようなニーズに対しては力不足です:
- 画像検索(視覚的に類似した画像を見つける)
- セマンティック検索(ユーザーが「アップルフォン」で検索しても「iPhone」の関連コンテンツが見つかる)
- レコメンドシステム(「好きな曲と似た雰囲気の曲」を見つける)
- 異常検知(「正常な動作との差が最も大きいログ」を見つける)
これらの問題に共通する特徴は、内容の「意味」を理解する必要があり、文字通りのマッチングではないことです。
従来手法の問題点
用 LIKE '%苹果%' 搜索 → 找不到 "iPhone"、"Apple" 用全文索引搜索 → 找不到语义相关但用词不同的内容
比較の模式図
以下の図は、従来型データベースとベクトルデータベースの検索方法における根本的な違いを直感的に示しています。
中核概念:ベクトルと埋め込み(Embedding)
ベクトルと埋め込みを理解することは、ベクトルデータベースを習得するための第一歩です。
ベクトル(Vector)とは
数学において、ベクトルとは順序付けられた数値の集まりです。
[0.12, -0.54, 0.87, 0.03, ..., 0.61] ← 这就是一个向量
機械学習において、この数値の集まりはあるオブジェクトの意味的特徴を表し、次元数は通常128〜4096です。
埋め込み(Embedding)とは
埋め込み(Embedding)とは、現実世界のオブジェクト(テキスト、画像、音声など)をベクトルに変換するプロセスとその結果です。
この変換は埋め込みモデルによって行われ、その中核的な考え方は「意味が近いオブジェクトほど、そのベクトル空間上の距離も近い」というものです。
意味が近いとベクトルも近い
2次元の簡略化した例で理解しましょう(実際は数百〜数千次元):
重要な理解:ベクトル空間で距離が近い2つのベクトルは、その元の内容も意味的により近くなります。これはベクトルデータベースのすべての能力の基盤です。
類似度計算方法
「最も類似したベクトル」を見つける核心は、2つのベクトルの距離または類似度を計算することです。以下に、最も一般的な3つの方法を示します。
コサイン類似度(Cosine Similarity)
コサイン類似度は2つのベクトルの方向の角度を測定し、長さを無視します。これは最も一般的な方法で、特にテキストシナリオに適しています。
公式:
\[ \text{CosineSimilarity}(A, B) = \frac{A \cdot B} {\|A\|\|B\|} = \frac{\sum_{i=1}^{n} A_i B_i} {\sqrt{\sum_{i=1}^{n} A_i^2}\sqrt{\sum_{i=1}^{n} B_i^2}} \]
- 結果の範囲:-1 から 1、値が大きいほど類似度が高い
- 適用シナリオ:テキストの意味検索、文書類似度
ユークリッド距離(Euclidean Distance)
ユークリッド距離は2点間の直線距離を測定し、距離が小さいほど類似度が高くなります。
公式:
\[ d(A,B) = \sqrt{\sum_{i=1}^{n}(A_i-B_i)^2} \]
- 結果の範囲:0 から ∞、値が小さいほど類似度が高い
- 適用シナリオ:画像検索、地理位置情報関連アプリケーション
ドット積(内積)(Dot Product)
ドット積はベクトルの要素を掛け合わせて合計したもので、方向と長さの情報を組み合わせたものです。
公式:
\[ A \cdot B = \sum_{i=1}^{n} A_i B_i \]
- 適用シナリオ:レコメンドシステム(ベクトルが正規化されている場合はコサイン類似度と同等)
3つの方法の比較
Python コード例
以下の例では、3つの類似度計算方法のPython実装を示します:
例
# コサイン類似度:方向の類似性を測定
def cosine_similarity(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# ユークリッド距離:絶対的な位置の差を測定
def euclidean_distance(a, b):
return np.linalg.norm(a - b)
# ドット積:方向と長さを組み合わせる
def dot_product(a, b):
return np.dot(a, b)
# サンプルベクトル
v1 = np.array([0.12, -0.54, 0.87, 0.03])
v2 = np.array([0.10, -0.50, 0.90, 0.05])
v3 = np.array([-0.80, 0.20, -0.30, 0.70])
print(f"v1 vs v2 コサイン類似度: {cosine_similarity(v1, v2):.4f}") # 約 0.9997(非常に類似)
print(f"v1 vs v3 コサイン類似度: {cosine_similarity(v1, v3):.4f}") # 約 -0.55(類似していない)
v1 vs v2 余弦相似度: 0.9997 v1 vs v3 余弦相似度: -0.5512
ベクトルインデックスアルゴリズム
データ量が多い場合(百万、億単位)、各データに対して類似度計算(総当たり検索)を行うのは遅すぎます。ベクトルデータベースは、専用のインデックスアルゴリズムを使用してクエリを高速化します。
総当たり検索(Flat / Brute-force)
総当たり検索はすべてのベクトルを走査し、一つずつ類似度を計算します。
| 項目 | 説明 |
|---|---|
| 原理 | すべてのベクトルを走査し、類似度を一つずつ計算 |
| 利点 | 結果は100%正確 |
| 欠点 | データ量が多いと非常に遅い、O(n) の計算量 |
| 適用 | データ量が10万未満、精度への要求が非常に高い |
IVF(転置ファイルインデックス)
IVF の実行手順:
- トレーニング段階:K-Means を使用してすべてのベクトルを N 個のクラスタにまとめ、各クラスタの中心を記録する
- クエリ段階:まず距離が最も近い複数のクラスタの中心を見つけ、それらのクラスタ内でのみ正確な検索を行う
HNSW(階層型ナビゲーション・スモールワールドグラフ)
HNSW は現在最も主流のベクトルインデックスアルゴリズムであり、速度と精度を両立しています。
HNSW の核となる考え方:
- 多層グラフ構造を構築し、上位層は疎、下位層は密
- クエリ時は最上位層のエントリから開始し、「マス跳びゲーム」を行う:各層で貪欲により近いノードへジャンプし、次の層に降りる
- 比較が必要なノード数を大幅に削減し、時間計算量は O(log n) に近似
その他の一般的なインデックス
| インデックスタイプ | 特徴 | 適用シーン |
|---|---|---|
| Flat(総当たり) | 正確だが遅い | 小規模データセット、精度優先 |
| IVF_Flat | クラスタリング後に正確な検索、高速 | 中〜大規模、メモリ十分 |
| IVF_PQ | 量子化圧縮、メモリ節約 | 超大規模、メモリ制限あり |
| HNSW | 速度が速い、精度が高い、メモリ使用量が多い | 最も一般的、最初の推奨 |
| ScaNN | Google製、スループット最適化 | 高並行の本番環境 |
主要ベクトルデータベースの比較
以下の表は、現在最も主流のベクトルデータベースの横断比較です。さまざまなシーンで選択する際の参考になります。
初心者へのアドバイス:Chroma または pgvector から始めましょう。前者はAIアプリのプロトタイプに適しており、後者は既存のPostgreSQLプロジェクトに適しています。
クイックスタート:Python 例
以下では Chroma(最も入門しやすい)を使って、CRUD操作の完全な流れをデモします。
インストール
例
完全な例:文書セマンティック検索システムの構築
以下のコードは、Chroma を使用してセマンティックベースのドキュメント検索システムを構築する方法を最初から最後まで示しています。
例
from chromadb.utils import embedding_functions
# ─── 1. クライアントの初期化 ───────────────────────────────────────────
# ローカルに永続化(推奨)
client = chromadb.PersistentClient(path="./my_vector_db")
# OpenAI 埋め込みモデルを使用(ローカルモデルに変更も可能)
openai_ef = embedding_functions.OpenAIEmbeddingFunction(
api_key="your-openai-api-key", # 必須:自分のAPIキーに置き換えてください
model_name="text-embedding-3-small" # 1536次元、コストパフォーマンスが高い
)
# ─── 2. コレクションの作成(リレーショナルDBの「テーブル」に類似)────────────────────────
collection = client.get_or_create_collection(
name="my_documents", # コレクション名
embedding_function=openai_ef, # 埋め込み関数をバインド
metadata={"hnsw:space": "cosine"} # コサイン類似度を使用
)
# ─── 3. ドキュメントの挿入 ──────────────────────────────────────────────
documents = [
"Python はオブジェクト指向のインタプリタ型プログラミング言語で、データサイエンスとAI開発に広く使用されています",
"機械学習は人工知能のサブ分野であり、コンピュータにデータから規則を学習させます",
"深層学習は多層ニューラルネットワークを使用し、画像認識やNLPタスクで優れた性能を発揮します",
"ベクトルデータベースは高次元ベクトルを専門に保存し、セマンティック類似度検索をサポートします",
"PostgreSQL は強力なオープンソースのリレーショナルデータベースです",
"Redis はメモリベースの高性能キーバリューデータベースで、キャッシュによく使用されます",
"Docker コンテナ化技術により、アプリケーションはどのような環境でも一貫して実行できます",
"Git は分散バージョン管理システムであり、現代のソフトウェア開発の基盤ツールです",
]
ids = [f"doc_{i}" for i in range(len(documents))]
# 一括挿入(Chroma が自動的に埋め込みモデルを呼び出し、ベクトルに変換して保存)
collection.add(
documents=documents,
ids=ids,
metadatas=[{"source": "tutorial", "index": i} for i in range(len(documents))]
)
print(f"{len(documents)} 件のドキュメントを挿入しました")
已插入 8 条文档
例
query = "Python で人工知能をどうやって作るか"
results = collection.query(
query_texts=[query],
n_results=3, # 最も類似した3件を返す
include=["documents", "distances", "metadatas"]
)
print(f"\nクエリ:{query}")
print("-" * 50)
for i, (doc, dist) in enumerate(zip(
results["documents"][0],
results["distances"][0]
)):
similarity = 1 - dist # コサイン距離を類似度に変換
print(f"第 {i+1} 位(類似度 {similarity:.4f}):")
print(f" {doc}")
print()
查询:如何用 Python 做人工智能 -------------------------------------------------- 第 1 名(相似度 0.9231):Python 是一种面向对象的解释型编程语言... 第 2 名(相似度 0.8874):机器学习是人工智能的子领域... 第 3 名(相似度 0.8612):深度学习使用多层神经网络...
例
results_filtered = collection.query(
query_texts=["データベース技術"],
n_results=2,
where={"source": "tutorial"}, # source=tutorial のドキュメントのみ検索
include=["documents", "distances"]
)
# ─── 6. ドキュメントの更新 ──────────────────────────────────────────────
collection.update(
ids=["doc_0"],
documents=[特に、強化学習はエージェントが環境との継続的な相互作用を通じて、試行錯誤とフィードバックによって最適な行動戦略を学習できる技術です。これはまさに「データ駆動型知性」という概念の完璧な解釈であり、現代のAI分野で最も活発な研究分野の一つです。],
metadatas=[{"source": "tutorial", "index": 0, "updated": True}]
)
# ─── 7. ドキュメントの削除 ──────────────────────────────────────────────
collection.delete(ids=["doc_7"]) # Git 関連ドキュメントを削除
# ─── 8. コレクション統計の確認 ──────────────────────────────────────────
print(f現在のコレクションのドキュメント数:{collection.count()})
サードパーティの埋め込みAPIを使用しない(完全ローカル)
OpenAI API を使いたくない場合は、ローカルの埋め込みモデルで完全にオフラインで実行できます。
例
from sentence_transformers import SentenceTransformer
# ローカル埋め込みモデルを使用(APIキー不要、完全オフライン)
model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2") # 中国語に対応
client = chromadb.Client()
collection = client.create_collection("local_demo")
texts = ["今日は天気がとても良い", "日差しが明るく、お出かけに適している", "株式市場が大幅に上がった", "明日は雨が降るかもしれない"]
# ベクトルを手動生成してから挿入
embeddings = model.encode(texts).tolist()
collection.add(
embeddings=embeddings,
documents=texts,
ids=[f"id_{i}" for i in range(len(texts))]
)
# クエリ
query_embedding = model.encode(["今日の天気はどうですか"]).tolist()
results = collection.query(query_embeddings=query_embedding, n_results=2)
print(results["documents"])
# 出力: [['今日は天気がとても良い', '日差しが明るく、お出かけに適している']]
pgvector の例(PostgreSQL ユーザー向け)
プロジェクトで既に PostgreSQL を使用している場合、pgvector が最も軽量な導入方法です。
例
CREATE EXTENSION IF NOT EXISTS vector;
-- テーブル作成:記事タイトルとそのベクトル(1536次元)を格納
CREATE TABLE articles (
id SERIAL PRIMARY KEY,
title TEXT NOT NULL,
content TEXT,
embedding vector(1536) -- ベクトル列、1536次元
);
-- HNSW インデックスを作成してクエリを高速化
CREATE INDEX ON articles
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
-- データ挿入(ベクトルはアプリケーション層で生成後に渡す)
INSERT INTO articles (title, embedding)
VALUES ('Python 入門ガイド', '[0.12, -0.54, 0.87, ...]'::vector);
-- 意味検索:最も類似した5件の記事を探す
SELECT id, title,
1 - (embedding <=> '[0.10, -0.50, 0.90, ...]'::vector) AS similarity
FROM articles
ORDER BY embedding <=> '[0.10, -0.50, 0.90, ...]'::vector
LIMIT 5;
注意:<=> は pgvector が提供するベクトル距離演算子で、コサイン距離を計算するために使います。1 からコサイン距離を引くとコサイン類似度が得られます。
代表的なユースケース
ベクトルデータベースはAI時代において応用範囲が非常に広く、以下は最も代表的な6つのシナリオの概要です。
RAG(検索拡張生成)アーキテクチャ
RAG は現在、ベクトルデータベースの最も主要な用途の1つです。以下はその中核となるワークフローです:
選定のアドバイスとベストプラクティス
選定の決定木
あなたの具体的な状況に応じて、以下の決定木に従って適切なベクトルデータベースを選択してください:
你的情况是什么?
│
├─── 已有 PostgreSQL,且数据量 < 500 万
│ └──> 用 pgvector,无缝集成,零额外运维
│
├─── 做 AI/LLM 应用原型,快速验证
│ └──> 用 Chroma,几行代码跑起来
│
├─── 需要生产级部署,性能优先,数据量 500 万 ~ 1 亿
│ └──> 用 Qdrant,Rust 实现,性能强
│
├─── 超大规模(> 1 亿),有 K8s 运维能力
│ └──> 用 Milvus,分布式,功能最全
│
└─── 团队没有运维能力,愿意付费
└──> 用 Pinecone 云服务,开箱即用
埋め込みモデルの選択
適切な埋め込みモデルを選ぶことは、ベクトルデータベースアプリケーションの重要な第一歩です。
| 要件 | 推奨モデル |
|---|---|
| 中英テキスト(高品質) | OpenAI text-embedding-3-small |
| 中国語テキスト(ローカルオフライン) | BAAI/bge-large-zh-v1.5 |
| 多言語汎用 | paraphrase-multilingual-MiniLM-L12-v2 |
| 画像・テキストのマルチモーダル | OpenAI CLIPシリーズ |
パフォーマンス最適化のヒント
1. 一括挿入:複数件を一度に挿入し、1件ずつの書き込みを避けます。
例
collection.add(documents=docs_list, ids=ids_list)
# 非推奨:ループで1件ずつ(毎回インデックスが再作成され、効率が極めて低い)
# for doc, id in zip(docs_list, ids_list):
# collection.add(documents=[doc], ids=[id])
2. ベクトル正規化:コサイン類似度を使用する前に、ベクトルを事前に正規化すると計算を高速化できます。
例
def normalize(v):
"""ベクトルを L2 正規化し、ノルムを 1 にする"""
return v / np.linalg.norm(v)
3. n_results を適切に設定:むやみに大きな top_k を設定せず、一般的な RAG シナリオでは 3〜10 件で十分です。
4. メタデータフィルタリングを活用:検索時に where 条件を組み合わせて、検索範囲を絞り込みます。
例
collection.query(
query_texts=["Python 例外処理"],
where={"category": "tech_doc"},
n_results=5
)
5. 定期的なインデックス再構築:データ量が増えたら、適宜 HNSW インデックスを再構築してクエリ性能を維持します。
よくある落とし穴
以下は、初心者がベクトルデータベースを使用する際に最も陥りやすい問題とその解決策です。
| 問題 | 説明 | 解決策 |
|---|---|---|
| 埋め込みモデルを統一する | 挿入とクエリは同じモデルを使う必要がある | 設定ファイルでモデルバージョンを固定する |
| 次元の不一致 | モデルを変更したがコレクションを再構築していない | モデル変更時はコレクションを削除して再構築する |
| テキストが長すぎる | ほとんどのモデルにはトークン制限がある(512〜8192) | 長すぎるテキストはまずチャンク分割する |
| 類似度が不正確 | テキストが分割されておらず、意味が希釈される | 段落または固定長でドキュメントを分割する |
| コールドスタートが遅い | データ量が多い場合、初回のインデックス読み込みに時間がかかる | 事前にウォームアップするか、永続インデックスを使用する |
まとめ
このチュートリアルの核心的な知識ポイントを振り返りましょう:
ベクトルデータベースはAI時代のインフラストラクチャの重要な一環です。
従来のデータベースでは処理できない意味的類似性検索の問題を解決し、RAGシステム、レコメンドシステム、マルチモーダル検索を構築する中核コンポーネントです。
学習ロードマップの提案
- ステップ1:ベクトルと埋め込みの概念を理解し、この記事のChromaの例を実行する
- ステップ2:LangChain + Chromaを使った簡単なドキュメントQ&Aシステムの構築を試す
- ステップ3:HNSWなどのインデックスアルゴリズムを学び、精度と速度のトレードオフを理解する
- ステップ4:実際のプロジェクトの要件に応じて、適切なベクトルデータベースを選択し、本番環境にデプロイする