LangChain Sistema de preguntas y respuestas de base de conocimientos personal

Este capítulo construye un sistema de base de conocimientos personal que puede cargar archivos Markdown, documentos PDF y responder preguntas basándose en este contenido.


Diseño del sistema

  • Carga de documentos: admite múltiples formatos: Markdown, TXT, PDF
  • Búsqueda vectorial: almacenamiento persistente de Chroma, compatible con actualizaciones incrementales
  • Fuentes citadas: las respuestas incluyen el documento de origen y la ubicación del fragmento
  • Salida en streaming: muestra la respuesta token por token

Código completo

Antes de ejecutar, es necesario.envconfigurar en el archivoDEEPSEEK_API_KEY(modelo Chat) yDASHSCOPE_API_KEY(Alibaba Cloud Bailian, utilizado para la vectorización de texto de la base de conocimientos). Para el método de solicitud y la resolución de problemas comunes, consulte«LangChain Chatbot de atención al cliente inteligente»sección.

Ejemplo

# Ruta del archivo: knowledge_qa.py
# pip install langchain langchain-deepseek langchain-openai langchain-community langchain-chroma chromadb pypdf
from dotenv import load_dotenv
load_dotenv()

import os
from pathlib import Path
from langchain.tools import tool
from langchain.agents import create_agent
from langchain.chat_models import init_chat_model
from langchain.messages import HumanMessage
from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader, PyPDFLoader


class KnowledgeBase:
    """Administrador de base de conocimientos personal"""

    def __init__(self, persist_dir: str = "./my_knowledge_db"):
        self.persist_dir = persist_dir

        # La API de Embedding de Alibaba Cloud Bailian es compatible con la especificación de OpenAI; use langchain-openai
        # para llamar a OpenAIEmbeddings, no es necesario instalar el paquete
        # DashScopeEmbeddings, que ya no recibe mantenimiento.
        # check_embedding_ctx_length=False: desactiva la tokenización previa de tiktoken y envía el texto original directamente
        # (la API de Bailian no acepta matrices de token id).
        # chunk_size=10: la API de Embedding de Bailian acepta como máximo 10 textos por solicitud.
        self.embeddings = OpenAIEmbeddings(
            model="text-embedding-v4",
            api_key=os.getenv("DASHSCOPE_API_KEY"),
            base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
            check_embedding_ctx_length=False,
            chunk_size=10,
        )
        self.text_splitter = RecursiveCharacterTextSplitter(
            chunk_size=500, chunk_overlap=50,
            separators=["\n\n", "\n", "。", "!", "?", ". ", "! ", "? ", " "],
        )
        self.vector_store = None
        self._load_or_create()

    def _load_or_create(self):
        """Cargar la base vectorial existente o crear una nueva (Chroma usa los mismos parámetros,
la existencia o no del directorio solo afecta el mensaje informativo, no la lógica de creación)."""

        is_existing = os.path.exists(self.persist_dir) and os.listdir(self.persist_dir)

        self.vector_store = Chroma(
            embedding_function=self.embeddings,
            persist_directory=self.persist_dir,
        )

        if is_existing:
            print(f"Base vectorial cargada: {self.vector_store._collection.count()} bloques de documentos")
        else:
            print("Nueva base vectorial creada")

    def add_file(self, file_path: str) -> int:
        """Agregar un archivo a la base de conocimientos y devolver el número de bloques de documentos agregados

Seleccionar automáticamente el Loader adecuado según la extensión del archivo:
- .pdf usa PyPDFLoader (depende de la biblioteca pypdf para analizar el PDF y devuelve varios Document por página)
- Para el resto (archivos de texto plano como .md, .txt, etc.) usa TextLoader para leer el texto original
        """

        suffix = Path(file_path).suffix.lower()
        if suffix == ".pdf":
            loader = PyPDFLoader(file_path)
        else:
            loader = TextLoader(file_path, encoding="utf-8")

        docs = loader.load()

        # Añadir uniformemente el origen del nombre de archivo; cada Document cargado por PyPDFLoader también incluye
        # el campo page (número de página), que se puede usar junto con la búsqueda para localizar la posición del fragmento.
        for doc in docs:
            doc.metadata["source"] = Path(file_path).name

        chunks = self.text_splitter.split_documents(docs)
        self.vector_store.add_documents(chunks)
        print(f"Agregados {Path(file_path).name}: {len(chunks)} bloques de documentos")
        return len(chunks)

    def add_text(self, text: str, source: str = "Agregar manualmente") -> int:
        """Agregar texto directamente a la base de conocimientos"""
        chunks = self.text_splitter.create_documents(
            [text], metadatas=[{"source": source}]
        )
        self.vector_store.add_documents(chunks)
        return len(chunks)

    def search(self, query: str, k: int = 3) -> list:
        """Buscar en la base de conocimientos"""
        return self.vector_store.similarity_search(query, k=k)

    def get_retriever(self):
        """Obtener el recuperador"""
        return self.vector_store.as_retriever(search_kwargs={"k": 3})

ActualmenteTextLoader、PyPDFLoaderEste tipo de cargadores de archivos locales aún no tiene un paquete de mantenimiento independiente; solo se puede importar desdelangchain_community.document_loadersAl importarlo, es posible que vea un DeprecationWarning general de langchain-community en tiempo de ejecución: esta advertencia se puede ignorar por ahora; migre cuando el equipo oficial publique un paquete independiente de cargadores de documentos. Esto es diferente del caso anterior de embedding, donde ya existía un reemplazo disponible pero no se cambió.

Continúe con la parte del Agente:

Ejemplo

# ========== Crear la base de conocimientos y agregar datos de ejemplo ==========

kb = KnowledgeBase("./my_knowledge_db")

# Agregar algunos conocimientos de ejemplo
kb.add_text(
    "El tutorial básico de Python3 de EJEMPLO contiene los siguientes capítulos:"
    "1. Introducción a Python y configuración del entorno 2. Tipos de datos básicos 3. Operadores y expresiones "
    "4. Condicionales if-else 5. Bucles for/while 6. Definición e invocación de funciones "
    "7. Módulos y paquetes 8. Operaciones con archivos 9. Manejo de excepciones 10. Programación orientada a objetos",
    source="Esquema del tutorial de Python3"
)

kb.add_text(
    "Para convertirse en un buen desarrollador de Python, se recomienda estudiar siguiendo esta ruta:"
    "Primer paso, dominar la sintaxis básica de Python (1-2 semanas);"
    "Segundo paso, aprender estructuras de datos y fundamentos de algoritmos (2-3 semanas);"
    "Tercer paso, elegir un área para profundizar (desarrollo web/análisis de datos/IA);"
    "Cuarto paso, realizar 2-3 proyectos prácticos para consolidar los conocimientos.",
    source="Ruta de aprendizaje de Python"
)

kb.add_text(
    "El entorno de programación en línea de EJEMPLO admite Python, JavaScript, Java, C++ y otros lenguajes."
    "Los usuarios no necesitan instalar ningún software; basta con abrir el navegador para escribir y ejecutar código."
    "El entorno en línea también admite resaltado de código, autocompletado y avisos de errores.",
    source="Descripción del entorno de programación en línea"
)

# También se pueden cargar archivos locales; PDF, Markdown/TXT se detectan automáticamente:
# kb.add_file("./docs/产品手册.pdf")
# kb.add_file("./docs/常见问题.md")


# ========== Crear el Agente RAG ==========

@tool
def search_knowledge(query: str) -> str:
    """Busca información relevante en la base de conocimientos personal. Usa la pregunta completa o frases clave al buscar.

    Args:
query: pregunta de búsqueda o frase clave
    """

    docs = kb.search(query, k=3)
    if not docs:
        return "No se encontró información relevante en la base de conocimientos."

    results = []
    for i, doc in enumerate(docs, 1):
        source = doc.metadata.get("source", "Fuente desconocida")
        page = doc.metadata.get("page")
        location = f"{source}" + (f" Página {page + 1}" if page is not None else "")
        content = doc.page_content[:200]
        results.append(f"[{i}] Fuente: {location}\n{content}")

    return "\n\n---\n\n".join(results)


model = init_chat_model("deepseek:deepseek-v4-flash", temperature=0)
agent = create_agent(
    model=model,
    tools=[search_knowledge],
    system_prompt="""Eres un asistente de base de conocimientos personal.

## Reglas
1. Todas las preguntas deben buscar primero en la base de conocimientos con la herramienta search_knowledge
2. Al responder, indica la fuente de la información (nombre del documento, y si es PDF también el número de página)
3. Si la base de conocimientos no contiene contenido relevante, dilo claramente
4. Las respuestas deben estar estructuradas, usando listas numeradas o párrafos separados."""
,
)


# ========== Prueba: sin streaming, y ver el contenido recuperado ==========

def ask(question: str):
    """Haz una pregunta e imprime tanto los fragmentos originales recuperados como la respuesta final, para facilitar la depuración"""
    print(f"\n{'='*60}")
    print(f"Q: {question}")
    print(f"{'='*60}")

    result = agent.invoke({
        "messages": [HumanMessage(content=question)]
    })

    # Mostrar el contenido recuperado
    for msg in result["messages"]:
        if msg.type == "tool":
            print(f"\n[Contenido recuperado]")
            print(msg.content[:300])

    print(f"\n[Respuesta]")
    print(result["messages"][-1].content)


# ========== Prueba: streaming, correspondiente a la "salida en streaming" del diseño del sistema ==========

def ask_stream(question: str):
    """Haz una pregunta e imprime la respuesta token por token en streaming, logrando un efecto de máquina de escribir"""
    print(f"\n{'='*60}")
    print(f"Q: {question}")
    print(f"{'='*60}")
    print("\n[Respuesta] ", end="", flush=True)

    for chunk, metadata in agent.stream(
        {"messages": [HumanMessage(content=question)]},
        stream_mode="messages",
    ):
        # metadata["langgraph_node"] == "model" indica que este chunk proviene de la generación del modelo
        # el nodo de la respuesta final; filtra otros tipos de chunk, como las llamadas a herramientas.
        if metadata.get("langgraph_node") == "model" and chunk.content:
            print(chunk.content, end="", flush=True)
    print()


ask("¿Qué capítulos incluye el tutorial básico de Python3?")
ask("¿Cómo planificar la ruta de aprendizaje de Python?")
ask_stream("¿Qué funciones admite el entorno de programación en línea de EJEMPLO?")

Resultado de la ejecución:

============================================================
Q: Python3 基础教程包含哪些章节?
============================================================

[检索到的内容]
[1] 来源:Python3 教程大纲
Ejemplo 的 Python3 基础教程包含以下章节:...

[回答]
Python3 基础教程包含以下章节(来源:Python3 教程大纲):
1. Python 简介与环境搭建
2. 基本数据类型
3. 运算符与表达式
...

============================================================
Q: 如何规划 Python 学习路线?
============================================================

[回答]
根据知识库中的 Python 学习路线建议(来源:Python 学习路线):
第一步:掌握基础语法(1-2 周)
第二步:学习数据结构和算法(2-3 周)
第三步:选择方向深入学习(Web/数据分析/AI)
第四步:做 2-3 个实战项目巩固

============================================================
Q: Ejemplo的在线编程环境支持哪些功能?
============================================================

[回答] 根据知识库中的说明(来源:在线编程环境说明),Ejemplo的在线编程环境:
1. 支持 Python、JavaScript、Java、C++ 等多种语言
2. 无需安装任何软件,打开浏览器即可编写和运行代码
3. 支持代码高亮、自动补全和错误提示功能

La última pregunta se realizó conask_stream(), durante la ejecución real, el texto después de "[Respuesta]" se irá imprimiendo de a un carácter (o varios caracteres a la vez), como un efecto de máquina de escribir; arriba, para mayor claridad, se muestra directamente el texto final tras la impresión.

Otras extensiones