LangChain LangSmith — 可観測性

LangSmith は LangChain 公式の可観測性プラットフォームで、Agent の実行プロセスを追跡し、パフォーマンスを監視し、問題をデバッグするのに役立ちます。


LangSmith とは何か

Agent がバックグラウンドで実行されているとき、内部で何が起こっているかは見えません。どのモデルが呼び出されたか、どのツールが実行されたか、各ステップでどれだけの Token が消費されたか。LangSmith はこの「ブラックボックス」問題を解決します。

機能説明
実行トレースAgent の各ステップの実行軌跡を記録します
パフォーマンス監視各呼び出しの所要時間と Token 消費量を統計します
デバッグ再生過去の実行の詳細情報を表示します
評価テストテストセットを作成して Agent のパフォーマンスを評価します

クイックスタート

登録とインストール

$ pip install langsmith

にsmith.langchain.comアカウントを登録して API Key を取得し、.env で設定します:

例

# .env ファイル
LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=lsv2_pt_your_key_here
LANGCHAIN_PROJECT=my-agent-project

自動トレース

例

from dotenv import load_dotenv
load_dotenv()  # LangSmith 設定は自動的にロードされます

from langchain.agents import create_agent
from langchain.chat_models import init_chat_model
from langchain.messages import HumanMessage
from langchain.tools import tool

# 環境変数を設定すると、すべての Agent 実行が自動的にトレースされます
# 追加のコードは不要です!

@tool
def search_course(keyword: str) -> str:
    """コースを検索"""
    return f"検索結果:{keyword} 関連コース"

model = init_chat_model("deepseek:deepseek-v4-flash", temperature=0)
agent = create_agent(
    model=model,
    tools=[search_course],
    system_prompt="あなたはサンプル のアシスタントです。",
)

# この実行は自動的に LangSmith に記録されます
result = agent.invoke({
    "messages": [HumanMessage(content="Python コースを検索")]
})

# https://smith.langchain.com を開いてトレース記録を確認します
print("完了しました。LangSmith コンソールでトレースの詳細を確認してください")

トレース記録の確認

LangSmith コンソールでは、各 Agent 実行の完全な軌跡を確認できます:

  • 実行タイムライン:モデル呼び出し → ツール呼び出し → モデル再呼び出しの完全なタイムライン
  • 入力/出力:各ステップの入力メッセージとモデルの返り値
  • Token 使用量:各モデル呼び出しの Token 消費量とコスト見積もり
  • レイテンシ分析:各ステップの所要時間の分布
  • エラー情報:あるステップでエラーが発生した場合、完全なエラースタックを確認できます

手動でのトレース作成

例

from langsmith import traceable

# @traceable デコレータを使用してトレース対象の関数をマークします
@traceable
def process_user_query(query: str) -> dict:
    """ユーザークエリを処理(この関数は個別にトレースされます)"""
    # 前処理
    cleaned = query.strip().lower()
    # Agent を呼び出し
    result = agent.invoke({"messages": [HumanMessage(content=cleaned)]})
    return {
        "query": cleaned,
        "answer": result["messages"][-1].content,
    }

# LangSmith では process_user_query が独立したステップとして表示されます
result = process_user_query(" Python コースのおすすめ ")
print(result["answer"])

よく使う設定

環境変数説明例
LANGCHAIN_TRACING_V2トレースを有効にする(true に設定する必要があります)true
LANGCHAIN_API_KEYLangSmith API Keylsv2_pt_xxx
LANGCHAIN_PROJECTプロジェクト名(トレースをグループ化するために使用)my-agent
LANGCHAIN_ENDPOINTAPI エンドポイント(デフォルトで問題ありません)https://api.smith.langchain.com

本番環境では LangSmith のトレースサンプリングレートを低く設定することをお勧めします(すべてのリクエストを記録するとコストが高くなるため)。デバッグが必要な場合のみ完全なトレースを有効にしてください。

その他の拡張