Ollama-Befehl – Vollständiges Handbuch
Dieses Kapitel stellt die Befehle für die Verwendung von Ollama vor, einschließlich Installation, Modellverwaltung, Laufzeitparametern, Modelfile, REST-API, Umgebungsvariablen und allgemeiner Fehlerbehebung. Alle Inhalte basieren auf Ollama 0.17.x.
Installation und Start
Alle drei Plattformen verfügen über Standardinstallationsmethoden. Nach der Installation läuft Ollama automatisch als Hintergrunddienst und lauscht auf127.0.0.1:11434。
| Plattform | Installationsmethode | Beschreibung |
|---|---|---|
| macOS | brew install ollama | Sie können auch den DMG-Installer von der offiziellen Website herunterladen. |
| Linux | curl -fsSL https://ollama.com/install.sh | sh | Offizielles Ein-Klick-Skript, das den systemd-Dienst automatisch konfiguriert. |
| Windows | Installer von der offiziellen Website herunterladen. | Über den Assistenten installieren; registriert sich automatisch als Systemdienst. |
| Docker | docker run -d -v ollama:/root/.ollama -p 11434:11434 ollama/ollama | Das Daten-Volume ollama speichert Modelle dauerhaft. |
In den meisten Fällen müssen Sie den Dienst nicht manuell starten, aber es ist nützlich bei der Fehlersuche oder beim temporären Ändern der Konfiguration.ollama serve。
Beispiel
ollama serve
# Überprüfen Sie, ob der Dienst bereit ist: Es ist normal, wenn er "Ollama is running" zurückgibt
curl http://localhost:11434
Wenn eine Meldung erscheint, dass der Port belegt ist, läuft der Hintergrunddienst bereits. Wenn Sie `ollama serve` in einem anderen Terminal ausführen, wird dann ein Fehler gemeldet, was normal ist. Verwenden Sie einfach direkt die Kommandozeile oder die API.
Vollständige Tabelle der Befehle zur Modellverwaltung
Die Modellverwaltung ist der Hauptteil der Ollama-Kommandozeile, mit etwa zehn Befehlen, die alle in der folgenden Tabelle aufgeführt sind.
| Befehl | Funktion | Beispiel |
|---|---|---|
| ollama pull <model> | Laden Sie ein Modell aus der Modellbibliothek herunter; wenn kein Tag angegeben wird, wird standardmäßig `latest` verwendet. | ollama pull qwen3.5:4b |
| ollama run <model> | Ein Modell interaktiv ausführen; falls es lokal nicht verfügbar ist, wird es automatisch heruntergeladen. | ollama run qwen3.5 |
| ollama list / ollama ls | Lokale Modelle, Größen und Änderungszeiten auflisten. | ollama list |
| ollama show <model> | Modelldetails anzeigen: Parameter, Vorlage, System-Prompt usw. | ollama show qwen3.5 |
| ollama ps | In den Speicher geladene Modelle und ihre verbleibende Time-to-Live anzeigen. | ollama ps |
| ollama stop <model> | Ein laufendes Modell sofort stoppen und entladen. | ollama stop qwen3.5 |
| ollama cp <src> <dst> | Ein Modell kopieren oder umbenennen. | ollama cp qwen3.5 example-clone |
| ollama rm <model> | Ein lokales Modell löschen, um Festplattenspeicher freizugeben. | ollama rm qwen3.5:0.8b |
| ollama create <name> -f <file> | Erstelle ein benutzerdefiniertes Modell basierend auf einem Modelfile. | ollama create example-coder -f Modelfile |
| ollama push <model> | Ein Modell in eine entfernte Modellbibliothek pushen; vorher ist eine Anmeldung erforderlich. | ollama push myteam/example-coder |
| ollama serve | Starte den Hintergrunddienst; er läuft normalerweise automatisch mit dem System. | ollama serve |
Die am häufigsten verwendete Kombination in der täglichen Arbeit ist `run`, `list`, `ps` und `rm`: Modelle ausführen, Bestand prüfen, Speicher überprüfen und Speicherplatz freigeben.
Beispiel
ollama pull qwen3.5:0.8b
# Eine Kopie erstellen und ihr einen eigenen Namen geben
ollama cp qwen3.5 example-clone
# Nachdem die Kopie erfolgreich war, die nicht mehr benötigte Größe löschen
ollama rm qwen3.5:0.8b
`rm` löscht die Modelldateien, die zu diesem Tag gehören. Wenn andere Tags dieselben zugrunde liegenden Gewichte (Blobs) teilen, wird der Speicherplatz erst freigegeben, nachdem das letzte Tag, das auf sie verweist, gelöscht wurde.
run-Befehl und interaktiver Modus
`run` kann als einmaliges Frage-und-Antwort-Werkzeug verwendet werden, in den interaktiven Modus für Multi-Turn-Konversationen wechseln und unterstützt auch das Ändern von Parametern zur Laufzeit.
Kommandozeilenargumente
Argumente werden nach dem Modellnamen geschrieben; sie wirken nur für den aktuellen Lauf und werden nicht in die Modellkonfiguration geschrieben.
Beispiel
ollama run qwen3.5
# Einmalige Frage-und-Antwort: Prompt folgt auf den Modellnamen; wird nach der Beantwortung automatisch beendet
ollama run qwen3.5 "Stelle Python in einem Satz vor."
# Token-Statistiken anzeigen: Gesamtzeit, Token pro Sekunde und weitere Leistungskennzahlen
ollama run qwen3.5 --verbose
# Das Modell zur Ausgabe im JSON-Format zwingen
ollama run qwen3.5 --format json
# Das Kontextfenster vergrößern (Einheit: Token)
ollama run qwen3.5 --num-ctx 8192
# So viele Modellschichten wie möglich auf die GPU auslagern (999 bedeutet kein Limit)
ollama run qwen3.5 --num-gpu 999
Slash-Befehle im interaktiven Modus
Nach dem Betreten des interaktiven Modus passen Befehle, die mit einem Slash beginnen, den Sitzungszustand an; diese Anpassungen wirken sich nur auf die aktuelle Sitzung aus.
| Befehl | Funktion |
|---|---|
| /set parameter <name> <value> | Inferenzparameter vorübergehend anpassen, wie z. B. `temperature`. |
| /set system <prompt> | System-Prompt vorübergehend festlegen. |
| /show info | Informationen über das aktuelle Modell anzeigen. |
| /show modelfile | Das zum aktuellen Modell gehörende Modelfile anzeigen. |
| /save <name> | Die aktuellen Sitzungseinstellungen als neues Modell speichern. |
| /load <name> | Ein gespeichertes Modell oder eine gespeicherte Sitzung laden. |
| /clear | Den aktuellen Gesprächskontext löschen und von vorn beginnen. |
| /bye | Interaktiven Modus beenden. |
Wenn du über Slash-Befehle festgelegte Parameter dauerhaft behalten möchtest, verwende `/save`, um sie als neues Modell zu speichern; im Hintergrund wird dabei eine Modelfile für dich generiert.
Ein weiteres Tastenkürzel zum Beenden des interaktiven Modus ist das Drücken von Ctrl+D, das dieselbe Wirkung wie `/bye` hat.
Modelfile – Benutzerdefinierte Modelle
Modelfile verwendet eine Dockerfile-ähnliche Syntax, um ein 'Basismodell + Parameter + System-Prompt' in ein neues Modell zu verpacken.
Beispiel
# FROM gibt das Basismodell an (erforderlich); es kann auch ein lokaler GGUF-Dateipfad sein
FROM qwen3.5
# Allgemeine Inferenzparameter (optional)
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
# System-Prompt; legt die Rolle und das Verhalten des Modells fest (optional)
SYSTEM Du bist ein Senior-Python-Ingenieur. Gib prägnanten, typannotierten, testbaren Code aus.
Beispiel
ollama create example-coder -f Modelfile
# Wie ein normales Modell ausführen
ollama run example-coder "Schreibe einen Quicksort, inklusive Tests."
Um lokale GGUF-Gewichte zu importieren, verweisen Sie FROM einfach auf den Dateipfad; dies wird häufig verwendet, um Modelldateien auszuführen, die aus der Open-Source-Community heruntergeladen wurden.
Beispiel
# FROM verweist auf eine lokale GGUF-Gewichtsdatei
FROM ./model-file.gguf
Alle Modelfile-Direktiven sind in der folgenden Tabelle aufgeführt; die ersten drei Zeilen sind die am häufigsten verwendete Kombination.
| Direktive | Zweck | Erforderlich |
|---|---|---|
| FROM | Basismodell oder GGUF-Dateipfad angeben. | Erforderlich |
| PARAMETER | Legen Sie Inferenzparameter fest: temperature, num_ctx, top_p, stop usw. | Optional |
| SYSTEM | Legen Sie den System-Prompt fest. | Optional |
| TEMPLATE | Passen Sie die Prompt-Vorlage für die Konversation an. | Optional |
| ADAPTER | Laden Sie einen LoRA-Adapter. | Optional |
| MESSAGE | Vordefinierte Konversationsbeispiele zur Umsetzung einer Few-Shot-Anleitung. | Optional |
| LICENSE | Geben Sie die Lizenz des Modells an. | Optional |
Wenn Sie ein vorhandenes Modell ändern möchten und nicht von Grund auf neu beginnen wollen, führen Sie zuerst ausollama show --modelfile 模型名um das vollständige Rezept zu exportieren; nach der Bearbeitung `create` erneut ausführen.
REST-API-Kurzreferenz
Nach dem Start des Ollama-Dienstes lauscht er standardmäßig aufhttp://localhost:11434, und alles, was die CLI kann, kann die API ebenfalls.
| Endpunkt | Methode | Funktion |
|---|---|---|
| /api/generate | POST | Einzel-Turn-Textgenerierung; gibt standardmäßig einen Stream zurück. |
| /api/chat | POST | Multi-Turn-Konversation; Verlauf über das `messages`-Array übergeben. |
| /api/embed | POST | Textvektor-Embeddings für den RAG-Abruf erzeugen. |
| /api/tags | GET | Lokale Modelle auflisten; entspricht `ollama list`. |
| /api/show | POST | Modelldetails anzeigen; entspricht `ollama show`. |
| /api/pull | POST | Ein Modell abrufen; entspricht `ollama pull`. |
| /api/delete | DELETE | Ein Modell löschen; entspricht `ollama rm`. |
Beispiel
curl http://localhost:11434/api/generate -d '{
"model": "qwen3.5",
"prompt": "Schreibe ein Hello World in Python"
}'
# Multi-Turn-Konversation
curl http://localhost:11434/api/chat -d '{
"model": "qwen3.5",
"messages": [{"role": "user", "content": "Erkläre, was eine REST-API ist."}]
}'
# Vektor-Embeddings erzeugen
curl http://localhost:11434/api/embed -d '{
"model": "nomic-embed-text",
"input": "Dein Textinhalt"
}'
# Lokale Modelle auflisten
curl http://localhost:11434/api/tags
# Modelldetails anzeigen
curl http://localhost:11434/api/show -d '{"model": "qwen3.5"}'
# Modell löschen
curl -X DELETE http://localhost:11434/api/delete -d '{"model": "qwen3.5"}'
OpenAI-kompatible Schnittstelle
Ollama stellt einen OpenAI-kompatiblen Endpunkt bereit./v1/chat/completions, vorhandener Code aus dem OpenAI-Ökosystem kann direkt verwendet werden, indem base_url auf lokal gesetzt wird.
Beispiel
from openai import OpenAI
# base_url zeigt auf lokales Ollama; api_key kann eine beliebige nichtleere Zeichenkette sein
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
model="qwen3.5", # Name des lokal heruntergeladenen Modells
messages=[{"role": "user", "content": "Hallo, bitte stellen Sie ein Beispiel vor"}],
)
print(resp.choices[0].message.content)
$ python3 openai_compat.py 你好!example(Example)是一个面向初学者的编程学习网站,提供大量免费的基础技术教程。
Umgebungsvariablen – Kurzreferenz
Umgebungsvariablen sind der wichtigste Weg, um das Verhalten des Ollama-Dienstes zu konfigurieren. Änderungen werden erst nach einem Neustart des Dienstes wirksam.
| Variable | Beschreibung | Standardwert |
|---|---|---|
| OLLAMA_HOST | Dienst-Listenadresse; 0.0.0.0 ermöglicht LAN-Zugriff | 127.0.0.1:11434 |
| OLLAMA_MODELS | Modellspeicherpfad; wird häufig verwendet, wenn auf eine größere Festplatte gewechselt wird | ~/.ollama/models |
| OLLAMA_NUM_GPU | Anzahl der in die GPU ausgelagerten Modellschichten; 999 bedeutet alle | Auto |
| OLLAMA_NUM_PARALLEL | Anzahl paralleler Anfragen für dasselbe Modell | Auto |
| OLLAMA_MAX_LOADED_MODELS | Maximale Anzahl gleichzeitig im Speicher residenter Modelle | Auto |
| OLLAMA_FLASH_ATTENTION | Flash Attention aktivieren; empfohlen für lange Kontexte | Aus |
| OLLAMA_KEEP_ALIVE | Wie lange ein Modell im Leerlauf bleibt, bevor es aus dem Speicher entladen wird | 5m |
| OLLAMA_DEBUG | Debug-Protokolle aktivieren, um detailliertere Laufzeitinformationen auszugeben | Aus |
Beispiel
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_MODELS=/data/ollama-models
ollama serve
Wenn OLLAMA_KEEP_ALIVE auf 0 gesetzt wird, wird das Modell sofort nach jeder Anfrage entladen, wodurch Speicher gespart, aber bei jeder Anfrage neu geladen wird; auf -1 setzen, damit es resident bleibt. Die Syntax dieses Werts variiert je nach Version; siehe `ollama serve --help` und die offizielle Dokumentation.
Allgemeine Fehlerbehebung
Wenn Fehler auftreten, verwenden Sie zunächst die folgende Tabelle, um das Problem zu lokalisieren. Die meisten Probleme fallen in drei Kategorien: falscher Modellname, Dienst läuft nicht oder unzureichende Ressourcen.
| Problem | Vorgehensweise zur Fehlerbehebung |
|---|---|
| Unzureichender VRAM / Speicher (OOM) | Wechseln Sie zu einer kleineren Modellgröße oder einer niedrigeren Quantisierungsgenauigkeit, z. B. verwenden Sie 4b statt 9b |
| Fehler meldet, dass das Modell nicht gefunden wurde | Prüfen Sie, ob Modellname und Tag korrekt sind. Tags werden durch einen Doppelpunkt getrennt, z. B. qwen3.5:4b, nicht qwen3.5-4b. |
| Verbindung abgelehnt | Überprüfen Sie, ob der Dienst läuft, und prüfen Sie, ob Port 11434 belegt ist. |
| Langsame Antwort | Verwenden Sie `ollama ps`, um die Spalte PROCESSOR zu prüfen und zu bestätigen, ob das Modell tatsächlich auf der GPU läuft; reduzieren Sie num_ctx entsprechend. |
| Verwechslung bei mehreren Modellversionen | Wenn kein Tag angegeben ist, wird gemäß internen Regeln die "latest"-Version ausgewählt; es wird empfohlen, immer den vollständigen Tag explizit anzugeben. |
Kurzreferenz-Spickzettel
Abschließend sind die am häufigsten verwendeten Befehle in einer Tabelle zusammengefasst, bereit zum Kopieren und Verwenden.
| Befehl | Funktion |
|---|---|
| ollama pull <model> | Modell herunterladen |
| ollama run <model> | Modell ausführen / interaktive Unterhaltung starten |
| ollama list | Heruntergeladene Modelle anzeigen |
| ollama show <model> | Modelldetails anzeigen |
| ollama ps | Laufende Modelle anzeigen |
| ollama stop <model> | Modell stoppen und entladen |
| ollama rm <model> | Modell löschen |
| ollama cp <old> <new> | Modell kopieren / umbenennen |
| ollama create <name> -f Modelfile | Ein benutzerdefiniertes Modell mit einer Modelfile erstellen |
| ollama serve | Dienst starten |
Weitere ErweiterungenOllama wird schnell aktualisiert, und einige Parameter und Verhaltensweisen von Befehlen können sich je nach Version ändern. Bevor Sie handeln, lesen Sie `ollama --help` und die offizielle Dokumentation.