Ollama-Modellbibliothek und Modellauswahl

Dieses Kapitel betrachtet vergleichend, wie man die Ollama-Modellbibliothek liest, die Positionierung der gängigen Modellfamilien und die Abwägungen bei der Quantisierungsgenauigkeit, und gibt Ihnen letztlich eine praktische Methode zur Auswahl von Modellen nach Aufgabe an die Hand.

Wenn das Modell richtig gewählt wird, gibt es die Hälfte der Leistungsprobleme nicht mehr.


So liest man die Modellbibliothek: Fähigkeits-Tag-System

Die Ollama-Modellbibliothek (ollama.com/search) verwendet ein Tag-System, um die Fähigkeiten jedes Modells zu kennzeichnen. Der erste Schritt bei der Modellauswahl ist das Filtern nach Tags.

TagBedeutungTypische Verwendung
visionUnterstützt BildeingabeFragen und Antworten zu Bildern, Verständnis von Screenshots, Dokumentenerkennung
toolsUnterstützt Tool-AufrufeAgent, Funktionsaufrufe, Automatisierung
thinkingUnterstützt DenkmodusMathematik, Logik, komplexes Schlussfolgern
EmbeddingText zu VektorRAG, semantische Suche, Wissensdatenbank
WolkeLäuft in der Cloud, keine lokale Rechenleistung erforderlichGroße Modelle aufrufen, wenn die lokale Konfiguration nicht ausreicht

Am Beispiel von qwen3.5, das in diesem Tutorial verwendet wird: Es trägt die Tags Vision, Tools und Thinking gleichzeitig in der Modellbibliothek und ist damit ein "Allrounder". Das ist auch der Grund, warum das gesamte Buch es als Testmodell wählt.

Jede Modellseite listet außerdem alle Tags, die Download-Größe, das Kontextfenster, die Eingabetypen und die Aktualisierungszeit auf. Eine Minute, die man vor dem Download mit dem Lesen verbringt, kann viel Trial-and-Error-Zeit ersparen.


Überblick über gängige Modellfamilien

Ollama ist kein Modell, sondern eine Plattform zum Ausführen verschiedener Open-Source-Modelle. Nachfolgend sind einige der derzeit gebräuchlichsten Familien aufgeführt:

FamilieHerstellerPositionierung & MerkmaleGeeignete Szenarien
Qwen (Tongyi Qianwen)AlibabaVollständige Größenauswahl, starke chinesische Fähigkeiten, vollständige multimodale und Tool-Calling-UnterstützungChinesische Aufgaben, allgemeine Entwicklung, Beispiele in diesem Tutorial
DeepSeekDeepSeekDie Reasoning-Serie (R1) zeichnet sich durch Chain-of-Thought ausMathematik, Logik, Aufgaben, die tiefes Reasoning erfordern
GemmaGoogleHervorragende Leistung bei leichten Größen, multimodalGeräte mit niedriger Spezifikation, leichte Aufgaben
LlamaMetaBreitestes Ökosystem, reichhaltige Community-RessourcenAllgemeine Aufgaben, englische Szenarien
GPT-OSSOpenAIOpenAIs Open-Source-Serie, unterstützt Thinking-LevelAllgemeine Aufgaben, Agent-Experimente
MistralMistral AIVertreter des europäischen Lagers, effiziente kleine ModelleLeichtgewichtige Bereitstellung, mehrsprachig

Die Iterationsgeschwindigkeit von Modellen wird in Wochen gemessen; konkrete verfügbare Größen und Fähigkeiten richten sich nach den Echtzeitseiten der Modellbibliothek. Die Auswahl-Denkweise überdauert konkrete Schlussfolgerungen: Bestimmen Sie zuerst die Aufgabe und die Fähigkeits-Tags, und prüfen Sie dann die Übereinstimmung zwischen Größe und Hardware.


Quantisierungspräzision: Abwägung zwischen Größe und Qualität

Quantisierung ist eine Technik, die Modellgewichte von hochpräzisen Dezimalzahlen in Speicher mit geringer Bitbreite komprimiert. Sie ist der Schlüssel dazu, "große Modelle auf kleinen GPUs laufen zu lassen".

Für verschiedene quantisierte Versionen desselben Modells sieht die Beziehung zwischen Größe und Qualität ungefähr wie folgt aus:

PrecisionRelative GrößeQualitätsleistungGeeignete Szenarien
fp16 / fp32Baseline (größte)VerlustfreiOriginalgewichte vor Training und Quantisierung
q8_0Etwa 1/2Nahezu verlustfreiBevorzugt, wenn VRAM reichlich vorhanden ist
q4_K_MEtwa 1/4Leichte Verringerung, bestes Preis-Leistungs-VerhältnisWahl für die überwiegende Mehrheit lokaler Bereitstellungen
q4_K_SEtwas kleiner als q4_K_MEtwas niedriger als q4_K_MExtreme VRAM-Optimierung

Modelle in der Modellbibliothek sind standardmäßig bereits quantisiert (üblicherweise q4_K_M) und nach dem Download sofort einsatzbereit; Sie müssen sich nicht selbst darum kümmern.

Um die tatsächliche Präzision eines lokalen Modells zu bestätigen, können Sie die Quantisierungsstufe mithilfe der show-Befehlsserien oder der API abfragen; wenn Sie ein fp16-Modell selbst auf eine kleine Größe komprimieren möchten, verwenden Sie einfach den Parameter quantize des create-Befehls. Das nächste Modelfile-Kapitel enthält eine vollständige Demonstration.


Modelle nach Aufgabe auswählen

Verwandeln Sie die "Modellauswahl" in ein Klassifikationsproblem: Bestimmen Sie zuerst die Aufgabe, vergleichen Sie dann mit den Empfehlungen.

按任务选择模型的决策树

AufgabeEmpfohlenes ModellHardware-ReferenzHinweise
Alltägliche Konversation, Schreibenqwen3.5:4b ~ 9bLäuft mit 16GB RAMBestes Preis-Leistungs-Verhältnis, vollständige Fähigkeits-Tags
Codegenerierungqwen3-coder24GB oder mehr VRAM empfohlenErfordert 64K-Kontext bei Verwendung mit Coding-Tools
Mathematik, logisches Denkendeepseek-r1 / qwen3.5 DenkmodusReguläre Konfiguration je nach GrößeStabiler, aber langsamer nach Aktivierung von Think
Bilder ansehen, Screenshots verstehenqwen3.5 (native Vision)Entspricht der KonversationsgrößeBildpfad direkt auf der Kommandozeile übergeben
RAG, semantische Sucheembeddinggemma / qwen3-embeddingKleine Größe, geringe AnforderungenEmbedding-Modelle können nicht zum Chatten verwendet werden

Embedding-Modelle und generative Modelle sind zwei verschiedene Dinge: Erstere wandeln Text nur in Vektoren für Retrieval und Ähnlichkeitsberechnung um und geben keine Textantworten aus. Beim Aufbau einer Wissensdatenbank brauchen Sie beide; verwechseln Sie sie nicht.


Größe auf Hardware abstimmen

Das Ausschlussverfahren ist nützlicher als Auswendiglernen: Bestimmen Sie zuerst mit einer groben Regel, ob es ausgeführt werden kann, und nehmen Sie dann Feinjustierungen vor.

Grobe Regel: Die Downloadgröße des Modells entspricht ungefähr dem minimalen RAM/VRAM-Bedarf. Reservieren Sie für den tatsächlichen Betrieb zusätzlich 1-2GB Overhead; je größer das Kontextfenster, desto mehr müssen Sie hinzufügen.

Ihr verfügbarer RAM / VRAMMaximale Größe, die ausgeführt werden kannEmpfehlung
8GBqwen3.5:0.8b ~ 2bErfahrungsorientiert, akzeptiere die Leistungsobergrenze
16GBqwen3.5:4b ~ 9bOptimale Wahl für den täglichen Gebrauch
8GB VRAM (dedizierte GPU)qwen3.5:9b100% GPU für Geschwindigkeit beibehalten
24GB VRAMqwen3.5:27b / qwen3-coderFortgeschrittene Entwicklungs- und Programmieraufgaben
48GB VRAM oder mehr35b+ und Multi-GPU-KombinationenDer Standardkontext erhöht sich ebenfalls automatisch

Sobald es läuft, verwenden Sieollama psÜberprüfung: Wenn die Spalte PROCESSOR 100% GPU anzeigt, bedeutet das, dass alles im VRAM liegt; erscheint ein gemischtes CPU/GPU-Verhältnis, reicht der VRAM nicht aus und das Modell wird aufgeteilt, was zu einem spürbaren Geschwindigkeitsverlust führt. In diesem Fall sollten Sie auf eine kleinere Größe umsteigen, statt es auszusitzen.


Cloud-Modelle und Außerbetriebnahme-Mechanismus

Wenn die lokale Rechenleistung nicht ausreicht, Sie aber dennoch sehr große Modelle verwenden möchten, bietet Ollama einen dritten Weg: Cloud-Modelle mit dem Tag cloud.

Beispiele

# Beim Ollama-Konto anmelden (für Cloud-Modelle erforderlich)
ollama signin

# Cloud-Modelle wie lokale Modelle ausführen, ohne Gewichte herunterladen zu müssen
ollama run qwen3.5:cloud

Cloud-Modelle werden genau wie lokale Modelle verwendet: dieselben Befehle, dieselbe API, dieselben Tool-Integrationen – nur dass die Inferenz auf den Servern von Ollama stattfindet.

Beachten Sie, dass Cloud-Modelle einem Außerbetriebnahme-Mechanismus unterliegen: Das offizielle Team nimmt regelmäßig alte Modelle außer Betrieb und stellt empfohlene Alternativen bereit; Benutzer werden per E-Mail und Ankündigungen auf der offiziellen Website informiert. Automatisierte Workflows, die von einem Cloud-Modell abhängen, sollten solche Mitteilungen beachten.

Lokale Modelle sind vom Außerbetriebnahme-Mechanismus völlig unberührt. Auf die Festplatte heruntergeladene Gewichte können jederzeit verwendet werden – genau das macht reine lokale Lösungen für Teams besonders beruhigend.

Andere Erweiterungen