Ollama-Befehl – Vollständiges Handbuch

Dieses Kapitel stellt die Befehle für die Verwendung von Ollama vor, einschließlich Installation, Modellverwaltung, Laufzeitparametern, Modelfile, REST-API, Umgebungsvariablen und allgemeiner Fehlerbehebung. Alle Inhalte basieren auf Ollama 0.17.x.


Installation und Start

Alle drei Plattformen verfügen über Standardinstallationsmethoden. Nach der Installation läuft Ollama automatisch als Hintergrunddienst und lauscht auf127.0.0.1:11434。

PlattformInstallationsmethodeBeschreibung
macOSbrew install ollamaSie können auch den DMG-Installer von der offiziellen Website herunterladen.
Linuxcurl -fsSL https://ollama.com/install.sh | shOffizielles Ein-Klick-Skript, das den systemd-Dienst automatisch konfiguriert.
WindowsInstaller von der offiziellen Website herunterladen.Über den Assistenten installieren; registriert sich automatisch als Systemdienst.
Dockerdocker run -d -v ollama:/root/.ollama -p 11434:11434 ollama/ollamaDas Daten-Volume ollama speichert Modelle dauerhaft.

In den meisten Fällen müssen Sie den Dienst nicht manuell starten, aber es ist nützlich bei der Fehlersuche oder beim temporären Ändern der Konfiguration.ollama serve。

Beispiel

# Startet den Dienst im Vordergrund; Logs werden direkt im Terminal ausgegeben. Wird am häufigsten zur Fehlersuche verwendet.
ollama serve

# Überprüfen Sie, ob der Dienst bereit ist: Es ist normal, wenn er "Ollama is running" zurückgibt
curl http://localhost:11434

Wenn eine Meldung erscheint, dass der Port belegt ist, läuft der Hintergrunddienst bereits. Wenn Sie `ollama serve` in einem anderen Terminal ausführen, wird dann ein Fehler gemeldet, was normal ist. Verwenden Sie einfach direkt die Kommandozeile oder die API.


Vollständige Tabelle der Befehle zur Modellverwaltung

Die Modellverwaltung ist der Hauptteil der Ollama-Kommandozeile, mit etwa zehn Befehlen, die alle in der folgenden Tabelle aufgeführt sind.

BefehlFunktionBeispiel
ollama pull <model>Laden Sie ein Modell aus der Modellbibliothek herunter; wenn kein Tag angegeben wird, wird standardmäßig `latest` verwendet.ollama pull qwen3.5:4b
ollama run <model>Ein Modell interaktiv ausführen; falls es lokal nicht verfügbar ist, wird es automatisch heruntergeladen.ollama run qwen3.5
ollama list / ollama lsLokale Modelle, Größen und Änderungszeiten auflisten.ollama list
ollama show <model>Modelldetails anzeigen: Parameter, Vorlage, System-Prompt usw.ollama show qwen3.5
ollama psIn den Speicher geladene Modelle und ihre verbleibende Time-to-Live anzeigen.ollama ps
ollama stop <model>Ein laufendes Modell sofort stoppen und entladen.ollama stop qwen3.5
ollama cp <src> <dst>Ein Modell kopieren oder umbenennen.ollama cp qwen3.5 example-clone
ollama rm <model>Ein lokales Modell löschen, um Festplattenspeicher freizugeben.ollama rm qwen3.5:0.8b
ollama create <name> -f <file>Erstelle ein benutzerdefiniertes Modell basierend auf einem Modelfile.ollama create example-coder -f Modelfile
ollama push <model>Ein Modell in eine entfernte Modellbibliothek pushen; vorher ist eine Anmeldung erforderlich.ollama push myteam/example-coder
ollama serveStarte den Hintergrunddienst; er läuft normalerweise automatisch mit dem System.ollama serve

Die am häufigsten verwendete Kombination in der täglichen Arbeit ist `run`, `list`, `ps` und `rm`: Modelle ausführen, Bestand prüfen, Speicher überprüfen und Speicherplatz freigeben.

Beispiel

# Ein Modell einer bestimmten Größe herunterladen
ollama pull qwen3.5:0.8b

# Eine Kopie erstellen und ihr einen eigenen Namen geben
ollama cp qwen3.5 example-clone

# Nachdem die Kopie erfolgreich war, die nicht mehr benötigte Größe löschen
ollama rm qwen3.5:0.8b

`rm` löscht die Modelldateien, die zu diesem Tag gehören. Wenn andere Tags dieselben zugrunde liegenden Gewichte (Blobs) teilen, wird der Speicherplatz erst freigegeben, nachdem das letzte Tag, das auf sie verweist, gelöscht wurde.


run-Befehl und interaktiver Modus

`run` kann als einmaliges Frage-und-Antwort-Werkzeug verwendet werden, in den interaktiven Modus für Multi-Turn-Konversationen wechseln und unterstützt auch das Ändern von Parametern zur Laufzeit.

Kommandozeilenargumente

Argumente werden nach dem Modellnamen geschrieben; sie wirken nur für den aktuellen Lauf und werden nicht in die Modellkonfiguration geschrieben.

Beispiel

# Interaktive Konversation
ollama run qwen3.5

# Einmalige Frage-und-Antwort: Prompt folgt auf den Modellnamen; wird nach der Beantwortung automatisch beendet
ollama run qwen3.5 "Stelle Python in einem Satz vor."

# Token-Statistiken anzeigen: Gesamtzeit, Token pro Sekunde und weitere Leistungskennzahlen
ollama run qwen3.5 --verbose

# Das Modell zur Ausgabe im JSON-Format zwingen
ollama run qwen3.5 --format json

# Das Kontextfenster vergrößern (Einheit: Token)
ollama run qwen3.5 --num-ctx 8192

# So viele Modellschichten wie möglich auf die GPU auslagern (999 bedeutet kein Limit)
ollama run qwen3.5 --num-gpu 999

Slash-Befehle im interaktiven Modus

Nach dem Betreten des interaktiven Modus passen Befehle, die mit einem Slash beginnen, den Sitzungszustand an; diese Anpassungen wirken sich nur auf die aktuelle Sitzung aus.

BefehlFunktion
/set parameter <name> <value>Inferenzparameter vorübergehend anpassen, wie z. B. `temperature`.
/set system <prompt>System-Prompt vorübergehend festlegen.
/show infoInformationen über das aktuelle Modell anzeigen.
/show modelfileDas zum aktuellen Modell gehörende Modelfile anzeigen.
/save <name>Die aktuellen Sitzungseinstellungen als neues Modell speichern.
/load <name>Ein gespeichertes Modell oder eine gespeicherte Sitzung laden.
/clearDen aktuellen Gesprächskontext löschen und von vorn beginnen.
/byeInteraktiven Modus beenden.

Wenn du über Slash-Befehle festgelegte Parameter dauerhaft behalten möchtest, verwende `/save`, um sie als neues Modell zu speichern; im Hintergrund wird dabei eine Modelfile für dich generiert.

Ein weiteres Tastenkürzel zum Beenden des interaktiven Modus ist das Drücken von Ctrl+D, das dieselbe Wirkung wie `/bye` hat.


Modelfile – Benutzerdefinierte Modelle

Modelfile verwendet eine Dockerfile-ähnliche Syntax, um ein 'Basismodell + Parameter + System-Prompt' in ein neues Modell zu verpacken.

Beispiel

# Dateipfad: Modelfile
# FROM gibt das Basismodell an (erforderlich); es kann auch ein lokaler GGUF-Dateipfad sein
FROM qwen3.5

# Allgemeine Inferenzparameter (optional)
PARAMETER temperature 0.2
PARAMETER num_ctx 8192

# System-Prompt; legt die Rolle und das Verhalten des Modells fest (optional)
SYSTEM Du bist ein Senior-Python-Ingenieur. Gib prägnanten, typannotierten, testbaren Code aus.

Beispiel

# Ein neues Modell mit einer Modelfile erstellen
ollama create example-coder -f Modelfile

# Wie ein normales Modell ausführen
ollama run example-coder "Schreibe einen Quicksort, inklusive Tests."

Um lokale GGUF-Gewichte zu importieren, verweisen Sie FROM einfach auf den Dateipfad; dies wird häufig verwendet, um Modelldateien auszuführen, die aus der Open-Source-Community heruntergeladen wurden.

Beispiel

# Dateipfad: Modelfile
# FROM verweist auf eine lokale GGUF-Gewichtsdatei
FROM ./model-file.gguf

Alle Modelfile-Direktiven sind in der folgenden Tabelle aufgeführt; die ersten drei Zeilen sind die am häufigsten verwendete Kombination.

DirektiveZweckErforderlich
FROMBasismodell oder GGUF-Dateipfad angeben.Erforderlich
PARAMETERLegen Sie Inferenzparameter fest: temperature, num_ctx, top_p, stop usw.Optional
SYSTEMLegen Sie den System-Prompt fest.Optional
TEMPLATEPassen Sie die Prompt-Vorlage für die Konversation an.Optional
ADAPTERLaden Sie einen LoRA-Adapter.Optional
MESSAGEVordefinierte Konversationsbeispiele zur Umsetzung einer Few-Shot-Anleitung.Optional
LICENSEGeben Sie die Lizenz des Modells an.Optional

Wenn Sie ein vorhandenes Modell ändern möchten und nicht von Grund auf neu beginnen wollen, führen Sie zuerst ausollama show --modelfile 模型名um das vollständige Rezept zu exportieren; nach der Bearbeitung `create` erneut ausführen.


REST-API-Kurzreferenz

Nach dem Start des Ollama-Dienstes lauscht er standardmäßig aufhttp://localhost:11434, und alles, was die CLI kann, kann die API ebenfalls.

EndpunktMethodeFunktion
/api/generatePOSTEinzel-Turn-Textgenerierung; gibt standardmäßig einen Stream zurück.
/api/chatPOSTMulti-Turn-Konversation; Verlauf über das `messages`-Array übergeben.
/api/embedPOSTTextvektor-Embeddings für den RAG-Abruf erzeugen.
/api/tagsGETLokale Modelle auflisten; entspricht `ollama list`.
/api/showPOSTModelldetails anzeigen; entspricht `ollama show`.
/api/pullPOSTEin Modell abrufen; entspricht `ollama pull`.
/api/deleteDELETEEin Modell löschen; entspricht `ollama rm`.

Beispiel

# Einzel-Turn-Generierung (Streaming)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5",
"prompt": "Schreibe ein Hello World in Python"
}'


# Multi-Turn-Konversation
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5",
"messages": [{"role": "user", "content": "Erkläre, was eine REST-API ist."}]
}'


# Vektor-Embeddings erzeugen
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text",
"input": "Dein Textinhalt"
}'


# Lokale Modelle auflisten
curl http://localhost:11434/api/tags

# Modelldetails anzeigen
curl http://localhost:11434/api/show -d '{"model": "qwen3.5"}'

# Modell löschen
curl -X DELETE http://localhost:11434/api/delete -d '{"model": "qwen3.5"}'

OpenAI-kompatible Schnittstelle

Ollama stellt einen OpenAI-kompatiblen Endpunkt bereit./v1/chat/completions, vorhandener Code aus dem OpenAI-Ökosystem kann direkt verwendet werden, indem base_url auf lokal gesetzt wird.

Beispiel

# Dateipfad: openai_compat.py
from openai import OpenAI

# base_url zeigt auf lokales Ollama; api_key kann eine beliebige nichtleere Zeichenkette sein
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

resp = client.chat.completions.create(
    model="qwen3.5",  # Name des lokal heruntergeladenen Modells
    messages=[{"role": "user", "content": "Hallo, bitte stellen Sie ein Beispiel vor"}],
)
print(resp.choices[0].message.content)
$ python3 openai_compat.py
你好!example(Example)是一个面向初学者的编程学习网站,提供大量免费的基础技术教程。

Umgebungsvariablen – Kurzreferenz

Umgebungsvariablen sind der wichtigste Weg, um das Verhalten des Ollama-Dienstes zu konfigurieren. Änderungen werden erst nach einem Neustart des Dienstes wirksam.

VariableBeschreibungStandardwert
OLLAMA_HOSTDienst-Listenadresse; 0.0.0.0 ermöglicht LAN-Zugriff127.0.0.1:11434
OLLAMA_MODELSModellspeicherpfad; wird häufig verwendet, wenn auf eine größere Festplatte gewechselt wird~/.ollama/models
OLLAMA_NUM_GPUAnzahl der in die GPU ausgelagerten Modellschichten; 999 bedeutet alleAuto
OLLAMA_NUM_PARALLELAnzahl paralleler Anfragen für dasselbe ModellAuto
OLLAMA_MAX_LOADED_MODELSMaximale Anzahl gleichzeitig im Speicher residenter ModelleAuto
OLLAMA_FLASH_ATTENTIONFlash Attention aktivieren; empfohlen für lange KontexteAus
OLLAMA_KEEP_ALIVEWie lange ein Modell im Leerlauf bleibt, bevor es aus dem Speicher entladen wird5m
OLLAMA_DEBUGDebug-Protokolle aktivieren, um detailliertere Laufzeitinformationen auszugebenAus

Beispiel

# LAN-Zugriff erlauben + Modelle auf Datenlaufwerk verschieben
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_MODELS=/data/ollama-models
ollama serve

Wenn OLLAMA_KEEP_ALIVE auf 0 gesetzt wird, wird das Modell sofort nach jeder Anfrage entladen, wodurch Speicher gespart, aber bei jeder Anfrage neu geladen wird; auf -1 setzen, damit es resident bleibt. Die Syntax dieses Werts variiert je nach Version; siehe `ollama serve --help` und die offizielle Dokumentation.


Allgemeine Fehlerbehebung

Wenn Fehler auftreten, verwenden Sie zunächst die folgende Tabelle, um das Problem zu lokalisieren. Die meisten Probleme fallen in drei Kategorien: falscher Modellname, Dienst läuft nicht oder unzureichende Ressourcen.

ProblemVorgehensweise zur Fehlerbehebung
Unzureichender VRAM / Speicher (OOM)Wechseln Sie zu einer kleineren Modellgröße oder einer niedrigeren Quantisierungsgenauigkeit, z. B. verwenden Sie 4b statt 9b
Fehler meldet, dass das Modell nicht gefunden wurdePrüfen Sie, ob Modellname und Tag korrekt sind. Tags werden durch einen Doppelpunkt getrennt, z. B. qwen3.5:4b, nicht qwen3.5-4b.
Verbindung abgelehntÜberprüfen Sie, ob der Dienst läuft, und prüfen Sie, ob Port 11434 belegt ist.
Langsame AntwortVerwenden Sie `ollama ps`, um die Spalte PROCESSOR zu prüfen und zu bestätigen, ob das Modell tatsächlich auf der GPU läuft; reduzieren Sie num_ctx entsprechend.
Verwechslung bei mehreren ModellversionenWenn kein Tag angegeben ist, wird gemäß internen Regeln die "latest"-Version ausgewählt; es wird empfohlen, immer den vollständigen Tag explizit anzugeben.

Kurzreferenz-Spickzettel

Abschließend sind die am häufigsten verwendeten Befehle in einer Tabelle zusammengefasst, bereit zum Kopieren und Verwenden.

BefehlFunktion
ollama pull <model>Modell herunterladen
ollama run <model>Modell ausführen / interaktive Unterhaltung starten
ollama listHeruntergeladene Modelle anzeigen
ollama show <model>Modelldetails anzeigen
ollama psLaufende Modelle anzeigen
ollama stop <model>Modell stoppen und entladen
ollama rm <model>Modell löschen
ollama cp <old> <new>Modell kopieren / umbenennen
ollama create <name> -f ModelfileEin benutzerdefiniertes Modell mit einer Modelfile erstellen
ollama serveDienst starten

Ollama wird schnell aktualisiert, und einige Parameter und Verhaltensweisen von Befehlen können sich je nach Version ändern. Bevor Sie handeln, lesen Sie `ollama --help` und die offizielle Dokumentation.

Weitere Erweiterungen