Reasoning & Planung

Beim Aufbau autonomer KI-Agenten: Wenn das große Sprachmodell (LLM) das Gehirn des Agenten ist und die Werkzeugnutzung seine Hände und Füße sind, dann istReasoning & Planningdie Kern-Engine, die ihn von einer einfachen Frage-und-Antwort-Maschine zu einem autonomen Problemlöser aufwertet.

Komplexe reale Aufgaben lassen sich oft nicht durch eine einmalige Generierung erledigen. KI benötigt die Fähigkeit, Ziele zu zerlegen, logische Schlussfolgerungen anzustellen, Pfade zu erkunden, sich selbst zu korrigieren und Werkzeuge zu orchestrieren.

Die folgenden sind die heute in der Branche am weitesten verbreiteten Reasoning- und Planungsframeworks.


Gedankenkette (Chain of Thought, CoT)

Schritt-für-Schritt-Reasoning-Fähigkeit

Traditionelle LLMs generieren Antworten oft intuitiv in einem Schritt.

Die Kernidee von Chain of Thought (CoT) ist:Das Modell dazu zu zwingen, explizit Zwischenschritte der Schlussfolgerung auszugeben (Let's think step by step). Dieser Ansatz kann das Potenzial des Modells bei komplexer Mathematik, logischem Schlussfolgern und Alltags-Frage-und-Antwort-Aufgaben deutlich aktivieren.

CoT gibt dem Modell nicht nur mehr Rechenzeit (die Token-Anzahl repräsentiert den Rechenaufwand), sondern ermöglicht es auch der nachfolgenden Generierung, auf der korrekten Logik aus früheren Schritten aufzubauen.

Beispiel: Few-Shot-CoT-Prompt-Design

# Das Modell durch Beispiele, die den Reasoning-Prozess enthalten, zur Durchführung von CoT-Reasoning anleiten.
prompt = """
Problem: Roger hat 5 Tennisbälle. Er kauft 2 weitere Dosen Tennisbälle. Jede Dose enthält 3 Tennisbälle. Wie viele Tennisbälle hat er insgesamt?
Lösung: Roger hat zunächst 5 Tennisbälle. 2 Dosen Tennisbälle mit je 3 ergeben 2 * 3 = 6 Tennisbälle. 5 + 6 = 11. Die Antwort ist 11.

Problem: Die Cafeteria hat 23 Äpfel. Wenn sie 20 für das Mittagessen verwenden und 6 weitere kaufen, wie viele Äpfel sind dann jetzt dort?
Lösung: Die Cafeteria hatte ursprünglich 23 Äpfel. Nach Verwendung von 20 bleiben 23 - 20 = 3 übrig. Nach dem Kauf von 6 weiteren sind es nun 3 + 6 = 9. Die Antwort ist 9.

Problem: {user_question}
Lösung: """


ReAct-Framework (Reasoning + Acting)

Reasoning + Acting-Schleife

Wenn CoT nur das Bauen eines Wagens hinter verschlossenen Türen innerhalb des Modells ist, dann istReAct (Reason + Act)das, was das Modell seine Augen öffnen und die Welt sehen lässt. Es verwebt interne logische Schlussfolgerung (Thought) mit externer Werkzeuginteraktion (Action) zu einem dynamischen geschlossenen Rückkopplungssystem.

Unter dem ReAct-Paradigma folgt der Agent derThought -> Action -> ObservationSchleife, bis er zu einer endgültigen Schlussfolgerung gelangt.

ReAct Loop Architecture Diagram Shows the loop relationship among Thought, Action, and Observation. Thought Analyze the current state and goals Action Call external tools/APIs Observation User Query

Einschränkungen:ReAct schneidet bei kurzfristigen Aufgaben mit klaren Schritten hervorragend ab. Da jedoch die gesamte Historie von Gedanken und Aktionen in dasselbe Kontextfenster gepackt wird, ist es bei zu langer Aufgabenkette sehr leicht, in eine Endlosschleife zu geraten oder wegen Kontextüberlastung das ursprüngliche Ziel zu vergessen.


Plan-and-Execute (Plan-first-Ausführungsmodus)

Um die Schwäche von ReAct bei langfristigen Aufgaben zu beheben, entkoppelt Plan-and-Execute Denken und Handeln und verwendet eine Strategie, die der ähnelt, mit der Menschen große Projekte bearbeiten:Zuerst einen Zeitplan erstellen, dann Aufgaben nacheinander ausführen.。

Das System ist normalerweise in zwei unabhängige Rollen unterteilt:

  1. Planner: Verantwortlich für den Empfang des übergeordneten Ziels und die Erzeugung einer detaillierten, schrittweisen Liste von Teilaufgaben.
  2. Executor: Verantwortlich für die Ausführung dieser Teilaufgaben in der richtigen Reihenfolge. Der Executor ist normalerweise ein kleiner ReAct-Agent, der sich jeweils nur auf das Erreichen des aktuellen kleinen Ziels konzentriert.
Plan-and-Execute Architecture Diagram Complex Goal Planner Scrape web pages Extract data Generate report Executor Process subtasks one by one (Each with independent context) Final delivery

Tree of Thoughts (ToT) und baumartige Multipfad-Exploration

Baumartige Multipfad-Exploration

Ob es CoT oder Plan-and-Execute ist, es ist im WesentlichenlinearePfadexploration. Wenn Menschen jedoch Code schreiben, mathematische Probleme lösen oder kreativ schreiben, stellen sie sich oft mehrere Optionen vor, bewerten sie, wählen die beste aus und gehen sogar zurück, wenn Fehler gefunden werden.

ToT (Tree of Thoughts)Es modelliert den Denkprozess als Baum: Knoten sind die aktuellen Gedankenzustände. An jedem Verzweigungspunkt generiert das Modell mehrere Kandidaten-Thoughts und verwendet dann einen internen Evaluator, um diese Knoten zu bewerten (z. B. machbar, potenziell riskant, nicht machbar). Kombiniert mit demBFS (Breadth-First Search)oderDFS (Depth-First Search)Algorithmus entscheidet es, ob tiefer fortgefahren oder zurückgegangen und erneut versucht wird.


Aufgabenplanung & MCTS (Monte Carlo Tree Search)

Komplexe Aufgabenzerlegung und Suche

Bei Strategiespielen oder extrem schwierigen Reasoning-Aufgaben (wie Verifikation an der mathematischen Forschungsfront und Refactoring komplexer Codebasen) ist einfaches ToT noch nicht effizient genug. Die Industrie hat begonnen, LLMs mit traditionellen Reinforcement-Learning-Suchalgorithmen zu kombinierenMCTS (Monte Carlo Tree Search)Kombination dieser Verfahren (ähnlich der Kernlogik von AlphaGo).

  • LLM als Policy-Netzwerk: Bietet heuristische Vorschläge für die nächste Aktion und reduziert bedeutungslose Verzweigungsexpansion.
  • LLM/Code-Umgebung als Value-Netzwerk: Durch simulierte Ausführung (Rollout) sagt es die endgültige Gewinnrate oder Erfolgsrate einer Aktionssequenz voraus.
  • Vorteile: In einem riesigen Lösungsraum kann es den Planungspfad mit dem größten Potenzial für globale Optimalität finden.

Reflexion: Selbstreflexion und Fehlerkorrektur

Wenn Menschen Aufgaben ausführen und beim ersten Versuch scheitern, fassen sie die gelernten Lektionen zusammen und vermeiden Fehler beim nächsten Versuch.

ReflexionDieses Framework verleiht dem Agenten ähnliche Fähigkeiten.

Im geschlossenen Reflexion-Kreislauf, wenn die Ausgabe des Agenten als Fehlschlag bewertet wird (z. B. Testfälle fehlschlagen, API-Fehler auftreten), löst er einenReviewer-Mechanismus aus。

Das LLM wird gebeten, eine umgangssprachliche Reflexion (Reflection) basierend auf historischen Aktionen und Fehlerfeedback zu verfassen, zum Beispiel:"Ich habe gerade das falsche API-Parameterformat verwendet. Nächstes Mal sollte ich die Dokumentation konsultieren, bevor ich JSON übergebe."Diese Reflexion wird als kontextuelle Prompts für den nächsten Versuch im episodischen Gedächtnis gespeichert, wodurch die Selbstheilungsfähigkeiten des Agenten stark verbessert werden.

Beispiel: Design des Reflexions-Prompts von Reflexion

reflection_prompt = """
Du bist ein KI-Assistent, der versucht, einen Python-Crawler zu schreiben.
Dies ist der Code, den du gerade ausgeführt hast: {previous_code}
Dies ist die Fehlermeldung, die von der Laufzeitumgebung zurückgegeben wurde: {error_traceback}

Bitte reflektiere gründlich:
1. Was ist die Grundursache des Fehlers?
2. Was ist deine konkrete Änderungsstrategie für den nächsten Versuch?

Bitte halte die Reflexion fest, um nachfolgende Aktionen zu leiten.
"""


Strategien zur Aufgabenzerlegung und Engineering-Praktiken

In der realen produktionsreifen KI-Agenten-Entwicklung ist es instabil, sich bei komplexer Planung allein auf LLM "Zero-Shot" zu verlassen. Gängige hybride Interventionsstrategien umfassen:

Interventionsstrategie Kernansatz Geeignete Szenarien
Teilaufgaben-Vorlagen (SOP) Anstatt das LLM frei planen zu lassen, werden vordefinierte Standardverfahren (SOPs) verwendet, damit das LLM innerhalb einer festen Zustandsmaschine abläuft. Kundenservicesysteme, standardisierte Datenbereinigungs-Pipelines.
HITL (Mensch-in-der-Schleife) Nachdem der Planner die Aufgabenliste erstellt hat, die Ausführung unterbrechen und verlangen, dass ein menschlicher Benutzer bestätigt, ändert oder genehmigt, und sie dann zur Ausführung an den Executor übergeben. Hochriskante Operationen: wie das Löschen von Datenbankeinträgen, das Versenden von Massen-E-Mails und große Geldtransfers.
RLHF-gesteuerte Planung Bestärkendes Lernen und menschliches Präferenzfeedback nutzen, um die Planungsfähigkeit großer Modelle feinabzustimmen, sodass sie eher sichere und effiziente Schrittkombinationen generieren. Die Trainingsphase der zugrunde liegenden Large-Language-Model-Basis (z. B. OpenAIs o1-Modelltraining).

Zusammenfassung des Framework-Vergleichs

Muster Kernmechanismus Vorteile Nachteile
CoT Schrittweises lineares Schlussfolgern Minimale Implementierung, verbessert die grundlegende Schlussfolgerungsgenauigkeit erheblich Kann keine externen Tools aufrufen, gerät leicht auf einen Sackgassenpfad
ReAct Abwechselnde Denk- und Aktionsschleife Passt sich dynamisch an die Umgebung an, kann sich durch Beobachtungen in Echtzeit anpassen Der Kontext explodiert leicht, wenn Schritte sich anhäufen, und das ursprüngliche Ziel gerät aus dem Blick
Plan-and-Execute Zuerst in Teilaufgaben zerlegen, dann isoliert ausführen Äußerst geeignet für langfristige komplexe Aufgaben, klarer Kontext Nicht flexibel genug bei plötzlichen Änderungen (wenn der Plan selbst falsch ist)
ToT / MCTS Baumsuche, Bewertung und Backtracking Kann die schwierigsten komplexen Logikprobleme lösen Der Rechenaufwand ist extrem hoch, und der Token-Verbrauch ist exponentiell.
Reflexion Reflektierendes Gedächtnis basierend auf Fehlerfeedback erzeugen. Besitzt die Fähigkeit zur Selbstkorrektur und kontinuierlichen Weiterentwicklung. Verlässt sich auf explizite Feedbacksignale (wie Compilerfehler im Code)
Weitere Erweiterungen