Ollama-Chat- und Generierungsparameter

Dieses Kapitel geht ins Detail bei der Verwendung von Ollama im Konversationsmodus: mehrere Chat-Modi, Generierungsparameter, die die "Persönlichkeit" des Modells steuern, Kontextfenster, Denkmodus und multimodale Konversationen.


Drei Chat-Modi: Interaktiv, One-Shot und Pipeline

Der gleiche run-Befehl hat unterschiedliche Verwendungen und eignet sich für unterschiedliche Szenarien.

Interaktiver Modus: Multi-Turn-Chat

Direkt ausführen, um eine Konversation zu starten; das Modell merkt sich den Kontext der aktuellen Sitzung, wodurch es sich für Folgefragen eignet:

Beispiel

# Interaktive Multi-Turn-Konversation starten
ollama run qwen3.5

One-Shot-Frage-und-Antwort: Eine Frage, eine Antwort

Die Frage direkt als Argument anhängen; nach Erhalt der Antwort sofort beenden. Geeignet für Einmalaufgaben:

Beispiel

# One-Shot-Frage-und-Antwort ohne die interaktive Oberfläche zu betreten
ollama run qwen3.5 "Stelle Python in einem Satz vor"

Pipeline-Eingabe: Einbettung in Skripte

Text über eine Pipe an das Modell übergeben, sodass er sich leicht mit anderen Befehlen kombinieren lässt:

Beispiel

# Den Dateiinhalt dem Modell zur Zusammenfassung geben
cat README.md | ollama run qwen3.5 "Fasse diesen Inhalt zusammen"

Wenn Sie außerdem drei doppelte Anführungszeichen in einer Unterhaltung eingeben, wird mehrzeiliger Text umschlossen; das Drücken der Eingabetaste für einen Zeilenumbruch wird nicht als Absenden behandelt.


Generierungsparameter: Die "Persönlichkeit" des Modells steuern

Jedes Mal, wenn das Modell ein Wort (Token) generiert, durchläuft es dieselbe interne Pipeline; die Generierungsparameter greifen in verschiedenen Phasen dieser Pipeline ein.

token 采样流程:概率分布、temperature 调整、截断过滤、采样输出

temperature macht die Wahrscheinlichkeitsverteilung steiler oder flacher; top_k / top_p / min_p entfernen Kandidaten geringer Qualität; schließlich wählt eine Zufallsstichprobe das nächste Token aus.

Häufige Parameter sind unten zusammengefasst (Standardwerte aus der offiziellen Dokumentation):

ParameterStandardwertWirkungTypische Verwendung
temperature0.8Ein höherer Wert ist kreativer, ein niedrigerer ist strenger.Verwenden Sie 0~0.3 zum Schreiben von Code und zur Informationsextraktion; etwa 1.0 für kreatives Schreiben.
top_k40Nur aus den Top-k-Kandidaten nach Wahrscheinlichkeit Stichproben ziehen.Verringern Sie ihn, um die Ausgabe konservativer zu machen.
top_p0.9Nur aus Kandidaten Stichproben entnehmen, deren kumulative Wahrscheinlichkeit p erreicht.Als Alternative zu top_k zur Feinabstimmung verwenden.
min_p0.0Legen Sie einen Kandidaten-Mindestwert auf Basis des Anteils der höchsten Wahrscheinlichkeit fest.0.05 wird oft als Ersatz für top_p verwendet.
repeat_penalty1.0Wiederholten Inhalt bestrafen.1.1 mildert wiederholtes Abschweifen.
seed0Fixieren Sie den Zufallsstartwert, um Reproduzierbarkeit zu gewährleisten.Ergebnisse während Tests und Debugging fixieren.
stopKeineDie Generierung sofort abbrechen, sobald eine angegebene Zeichenkette auftritt.Entfernen Sie unnötige Höflichkeitsfloskeln oder feste Formatierungen.
num_predict-1Maximale Anzahl generierter Token; -1 bedeutet keine Begrenzung.Begrenzen Sie die Ausgabelänge langer Antworten.

Passen Sie sie jederzeit mit integrierten Befehlen im interaktiven Modus an:

Beispiel

>>> /set parameter temperature 0.3
>>> /set parameter seed 42

Um Parameter dauerhaft wirksam zu machen, schreiben Sie sie in eine Modelfile, um ein "voreingestelltes" Modell zu erstellen. Dies ist die Kernverwendung von Modelfile im nächsten Artikel.

Ein kleines Experiment, um den Seed-Effekt zu überprüfen: Fixieren Sie den Seed und stellen Sie dieselbe Frage zweimal; die Ausgaben werden identisch sein. Geben Sie den Seed frei, und jede Antwort wird sich unterscheiden.


Kontextfenster num_ctx: Das Arbeitsgedächtnis des Modells

Das Kontextfenster bestimmt, wie viel Inhalt das Modell auf einmal "sehen" kann, einschließlich des System-Prompts, des Gesprächsverlaufs und Ihrer Frage, gemessen in Token.

Inhalte, die nicht in das Fenster passen, werden abgeschnitten; dies ist die Grundursache dafür, dass das Modell "den Anfang vergisst, während das Gespräch fortschreitet."

Ollama wählt die Standard-Kontextlänge automatisch anhand des VRAM aus: unter 24GiB standardmäßig 4K, 24-48GiB standardmäßig 32K und über 48GiB standardmäßig 256K. Cloud-Modelle verwenden standardmäßig den maximalen Kontext.

Es gibt drei Möglichkeiten, es manuell anzupassen:

Beispiel

# Methode 1: Die aktuelle Sitzung im interaktiven Modus anpassen
/set parameter num_ctx 8192

# Methode 2: Beim Starten des Dienstes einen globalen Standard festlegen
OLLAMA_CONTEXT_LENGTH=8192 ollama serve

# Methode 3: Bei API-Anfragen bei Bedarf angeben (options.num_ctx, siehe API-Kapitel)

Die Kosten für die Vergrößerung des Fensters sind ein höherer Speicherverbrauch; verwende ollama ps aus dem vorherigen Kapitel, um die Spalte CONTEXT zu prüfen und den aktuellen Wert zu bestätigen.

Bei der Integration von Ollama in Agenten, Coding-Tools oder Web-Such-Szenarien wird offiziell empfohlen, den Kontext auf mindestens 64K einzustellen; andernfalls verdrängt die große Menge an Inhalten, die von Tools zurückgegeben werden, den Gesprächsraum.


Denkmodus: Das Modell erst denken lassen, bevor es antwortet

Reasoning-Modelle (wie qwen3.5, deepseek-r1) unterstützen es, zuerst einen Denkprozess auszugeben und dann eine Antwort zu geben, geeignet für Mathematik- und Logikaufgaben.

Ollama aktiviert das Denken standardmäßig und bietet außerdem vollständige Steuerungsschalter:

Beispiel

# Denken erzwingen
ollama run qwen3.5 --think "Was ist 17 mal 23?"

# Denken ausschalten und die Antwort direkt geben
ollama run qwen3.5 --think=false "Stelle Python in einem Satz vor"

# Wie gewohnt denken, aber den Denkprozess nicht im Terminal anzeigen
ollama run qwen3.5 --hidethinking "Was ist größer, 9.9 oder 9.11?"

Im interaktiven Modus verwenden Sie/set thinkund/set nothink, um jederzeit umzuschalten.

Einige Modelle unterstützen Stufen für den Denkaufwand; zum Beispiel akzeptiert gpt-oss nur drei Stufen: low, medium und high. Verwenden Sie--think=medium, um es in dieser Form anzugeben.

Das Ausschalten des Denkens kann die Antwortzeit erheblich verkürzen, aber die Genauigkeit von Reasoning-Aufgaben kann sinken. Szenarien, bei denen die Antwortgeschwindigkeit im Vordergrund steht, wie Coding-Assistenten, wählen oft hidethinking – wodurch die Denkqualität erhalten bleibt und verhindert wird, dass das Terminal mit dem Prozess überschwemmt wird.


Multimodal: Lassen Sie das Modell Bilder sehen

qwen3.5 unterstützt Bildeingabe nativ; in der Kommandozeile setzen Sie einfach den Bildpfad hinter die Frage:

Beispiel

# Bildpfad + Frage, vollständige Bild-Q&A in einer Zeile
ollama run qwen3.5 ./screenshot.png Welche Seite ist in diesem Screenshot zu sehen?

Die Nutzung von API und SDK ist etwas komplexer (Base64-Kodierung) und wird im Kapitel zur Vision-Fähigkeit demonstriert. Sie kann auch mit strukturierter Ausgabe kombiniert werden, um "Bild zu strukturierten Daten" zu machen.


Strukturierte Ausgabe: Antworten in zuverlässiges JSON umwandeln

Wenn ein Programm Modellantworten parsen soll, ist die größte Sorge, dass das Format jedes Mal anders ist. Ollama unterstützt das Erzwingen, dass das Modell gemäß einem JSON-Schema ausgibt.

Beispiel

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5",
"messages": [{ "role": "user", "content": "Introduce Python" }],
  "format": {
    "type": "object",
    "properties": {
      "name": { "type": "string" },
      "category": { "type": "string" },
      "free": { "type": "boolean" }
    },
    "required": ["name", "category", "free"]
  },
  "stream": false
}'

Der zurückgegebene Inhalt ist eine JSON-Zeichenkette, die strikt dem Schema entspricht und direkt in ein Programmobjekt deserialisiert werden kann.

In Python ist die Verwendung von Pydantic zum Definieren des Schemas und anschließenden Validieren des Ergebnisses die praktischste Kombination; die vollständige Praxis steht im Kapitel zur Modellfähigkeit.

Zwei praktische Details: Es ist stabiler, die Temperatur während der strukturierten Ausgabe auf 0 zu senken; wenn man nur format schreibt, ohne die Anforderungen im Prompt zu erklären, kann der Effekt beeinträchtigt sein. Am besten beschreibt man im Prompt auch die Bedeutung der Felder.


Kontextverwaltung und häufige Fallstricke in Multi-Turn-Gesprächen

Im interaktiven Modus fügt Ollama für jede Gesprächsrunde den vollständigen Verlauf in das Kontextfenster ein und sendet ihn an das Modell. Das hat zwei Konsequenzen, die Sie kennen müssen.

Erstens: Innerhalb einer Sitzung hat das Modell ein Gedächtnis; nach dem Beenden (/bye) wird das Gedächtnis gelöscht. Ein erneuter Start beginnt eine ganz neue Sitzung; das Modell erinnert sich nicht daran, was Sie beim letzten Mal gesagt haben.

Zweitens: Wenn der Verlauf zu lang ist, wird der älteste Inhalt zuerst aus dem Fenster verdrängt, was so erscheint, als würde das Modell plötzlich die Vereinbarungen vom Anfang "vergessen".

Entsprechende praktische Strategien:

SymptomUrsacheGegenmaßnahme
Modell vergisst nach dem erneuten Öffnen der Unterhaltung vollständigSitzungskontext wird nicht prozessübergreifend beibehaltenSchreiben Sie wichtige Vereinbarungen in das SYSTEM-Feld einer Modelfile oder verwenden Sie die API, um den Nachrichtenverlauf selbst zu verwalten
Die zweite Hälfte einer langen Unterhaltung beginnt, "das Gedächtnis zu verlieren"Das Kontextfenster ist voll; alter Inhalt wird abgeschnittenErhöhen Sie num_ctx; oder starten Sie regelmäßig eine neue Sitzung und übernehmen Sie nur die wichtigsten Schlussfolgerungen
Antworten werden nach dem Einfügen eines langen Dokuments langsamer und schlechterUmfangreicher Inhalt verdrängt den KontextFügen Sie nur relevante Auszüge ein; übergeben Sie das gesamte Dokument einer RAG-Wissensdatenbank-Lösung

Um diese Einschränkungen für persistenten Speicher zu umgehen, müssen Sie die API verwenden, um das messages-Array selbst zu pflegen; darauf liegt der Schwerpunkt des API-Kapitels.


Kurzreferenz für integrierte Befehle im interaktiven Modus

Die integrierten Befehle, die direkt am Konversations-Prompt verfügbar sind, sind wie folgt. Geben Sie jederzeit /? ein, um die tatsächliche Liste für die aktuelle Version zu sehen.

BefehlBeschreibung
/?Hilfe und alle verfügbaren Befehle anzeigen
/set parameter <name> <value>Generierungsparameter wie temperature, num_ctx anpassen
/set system "<prompt>"Den System-Prompt vorübergehend ändern
/set think / /set nothinkDenkmodus aktivieren / deaktivieren
/clearDen aktuellen Sitzungskontext löschen und von vorn beginnen
/load <model>Zu einem anderen Modell wechseln, ohne das Terminal zu beenden
/save <name>Die aktuelle Sitzung (einschließlich System-Prompt und Parameter) als neues Modell speichern
/show info / /show parametersAktuelle Modellinformationen / derzeit aktive Parameter anzeigen
/byeDie Unterhaltung beenden

/save verdient besondere Erwähnung: Es friert eine Unterhaltung mit abgestimmten Parametern direkt in ein neues Modell ein, was einer schnellen Anpassung ohne das Schreiben einer Modelfile entspricht. Das nächste Kapitel vergleicht es mit dem Modelfile-Ansatz.

Weitere Erweiterungen