LangChain LangSmith — 可観測性
LangSmith は LangChain 公式の可観測性プラットフォームで、Agent の実行プロセスを追跡し、パフォーマンスを監視し、問題をデバッグするのに役立ちます。
LangSmith とは何か
Agent がバックグラウンドで実行されているとき、内部で何が起こっているかは見えません。どのモデルが呼び出されたか、どのツールが実行されたか、各ステップでどれだけの Token が消費されたか。LangSmith はこの「ブラックボックス」問題を解決します。
| 機能 | 説明 |
|---|---|
| 実行トレース | Agent の各ステップの実行軌跡を記録します |
| パフォーマンス監視 | 各呼び出しの所要時間と Token 消費量を統計します |
| デバッグ再生 | 過去の実行の詳細情報を表示します |
| 評価テスト | テストセットを作成して Agent のパフォーマンスを評価します |
クイックスタート
登録とインストール
$ pip install langsmith
にsmith.langchain.comアカウントを登録して API Key を取得し、.env で設定します:
例
# .env ファイル
LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=lsv2_pt_your_key_here
LANGCHAIN_PROJECT=my-agent-project
LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=lsv2_pt_your_key_here
LANGCHAIN_PROJECT=my-agent-project
自動トレース
例
from dotenv import load_dotenv
load_dotenv() # LangSmith 設定は自動的にロードされます
from langchain.agents import create_agent
from langchain.chat_models import init_chat_model
from langchain.messages import HumanMessage
from langchain.tools import tool
# 環境変数を設定すると、すべての Agent 実行が自動的にトレースされます
# 追加のコードは不要です!
@tool
def search_course(keyword: str) -> str:
"""コースを検索"""
return f"検索結果:{keyword} 関連コース"
model = init_chat_model("deepseek:deepseek-v4-flash", temperature=0)
agent = create_agent(
model=model,
tools=[search_course],
system_prompt="あなたはサンプル のアシスタントです。",
)
# この実行は自動的に LangSmith に記録されます
result = agent.invoke({
"messages": [HumanMessage(content="Python コースを検索")]
})
# https://smith.langchain.com を開いてトレース記録を確認します
print("完了しました。LangSmith コンソールでトレースの詳細を確認してください")
load_dotenv() # LangSmith 設定は自動的にロードされます
from langchain.agents import create_agent
from langchain.chat_models import init_chat_model
from langchain.messages import HumanMessage
from langchain.tools import tool
# 環境変数を設定すると、すべての Agent 実行が自動的にトレースされます
# 追加のコードは不要です!
@tool
def search_course(keyword: str) -> str:
"""コースを検索"""
return f"検索結果:{keyword} 関連コース"
model = init_chat_model("deepseek:deepseek-v4-flash", temperature=0)
agent = create_agent(
model=model,
tools=[search_course],
system_prompt="あなたはサンプル のアシスタントです。",
)
# この実行は自動的に LangSmith に記録されます
result = agent.invoke({
"messages": [HumanMessage(content="Python コースを検索")]
})
# https://smith.langchain.com を開いてトレース記録を確認します
print("完了しました。LangSmith コンソールでトレースの詳細を確認してください")
トレース記録の確認
LangSmith コンソールでは、各 Agent 実行の完全な軌跡を確認できます:
- 実行タイムライン:モデル呼び出し → ツール呼び出し → モデル再呼び出しの完全なタイムライン
- 入力/出力:各ステップの入力メッセージとモデルの返り値
- Token 使用量:各モデル呼び出しの Token 消費量とコスト見積もり
- レイテンシ分析:各ステップの所要時間の分布
- エラー情報:あるステップでエラーが発生した場合、完全なエラースタックを確認できます
手動でのトレース作成
例
from langsmith import traceable
# @traceable デコレータを使用してトレース対象の関数をマークします
@traceable
def process_user_query(query: str) -> dict:
"""ユーザークエリを処理(この関数は個別にトレースされます)"""
# 前処理
cleaned = query.strip().lower()
# Agent を呼び出し
result = agent.invoke({"messages": [HumanMessage(content=cleaned)]})
return {
"query": cleaned,
"answer": result["messages"][-1].content,
}
# LangSmith では process_user_query が独立したステップとして表示されます
result = process_user_query(" Python コースのおすすめ ")
print(result["answer"])
# @traceable デコレータを使用してトレース対象の関数をマークします
@traceable
def process_user_query(query: str) -> dict:
"""ユーザークエリを処理(この関数は個別にトレースされます)"""
# 前処理
cleaned = query.strip().lower()
# Agent を呼び出し
result = agent.invoke({"messages": [HumanMessage(content=cleaned)]})
return {
"query": cleaned,
"answer": result["messages"][-1].content,
}
# LangSmith では process_user_query が独立したステップとして表示されます
result = process_user_query(" Python コースのおすすめ ")
print(result["answer"])
よく使う設定
| 環境変数 | 説明 | 例 |
|---|---|---|
| LANGCHAIN_TRACING_V2 | トレースを有効にする(true に設定する必要があります) | true |
| LANGCHAIN_API_KEY | LangSmith API Key | lsv2_pt_xxx |
| LANGCHAIN_PROJECT | プロジェクト名(トレースをグループ化するために使用) | my-agent |
| LANGCHAIN_ENDPOINT | API エンドポイント(デフォルトで問題ありません) | https://api.smith.langchain.com |
その他の拡張本番環境では LangSmith のトレースサンプリングレートを低く設定することをお勧めします(すべてのリクエストを記録するとコストが高くなるため)。デバッグが必要な場合のみ完全なトレースを有効にしてください。