Ollama-Installation

Ollama unterstützt mehrere Betriebssysteme, darunter macOS, Windows, Linux und die Ausführung über Docker-Container.

Ollama hat geringe Systemanforderungen und kann Modelle mit reiner CPU ausführen, aber ob Sie eine dedizierte GPU haben, bestimmt direkt die Generierungsgeschwindigkeit.

PlattformSystemanforderungenGPU-Unterstützung
macOSmacOS Sonoma (v14) oder neuerApple-M-Serie-Chips werden über Metal beschleunigt; Intel-Chips sind nur CPU.
WindowsWindows 10 22H2 oder neuer (Home/Pro)NVIDIA-Treiber 551.61+; AMD erfordert ROCm v7 oder Vulkan-Treiber
LinuxGängige Distributionen (Ubuntu, Debian, CentOS usw.)NVIDIA / AMD ROCm v7 / Vulkan, unterstützt auch reine CPU
DockerEine funktionierende Docker-UmgebungLinux und Windows (WSL2) unterstützen GPU-Passthrough; macOS nicht.

Modelldateien umfassen einige GB bis hin zu mehreren hundert GB. Bitte reservieren Sie vor der Installation ausreichend Speicherplatz. Modelle werden standardmäßig im Home-Verzeichnis des Benutzers gespeichert. Wenn der Speicherplatz nicht ausreicht, können Sie die UmgebungsvariableOLLAMA_MODELSverwenden, um sie auf eine andere Festplatte zu verschieben.

Einzeiliger Installationsbefehl für Linux/macOS:

curl -fsSL https://ollama.com/install.sh | sh

Einzeiliger Installationsbefehl für Windows:

irm https://ollama.com/install.ps1 | iex

Sie können den Installer auch direkt herunterladen. Offizielle Download-Adresse:https://ollama.com/download。

Sie können das entsprechende Paket für Ihr System herunterladen. Für Serverumgebungen wird das Linux-Skript oder Docker empfohlen.

Ollama 安装方式选择流程图

Die Ollama-Oberfläche sieht wie folgt aus:


1. Windows-Installation

Öffnen Sie einen Browser und besuchen Sie die Ollama-Website:https://ollama.com/downloadund laden Sie das Installationsprogramm für Windows herunter.

Die Download-Adresse ist:https://ollama.com/download/OllamaSetup.exe。

Nach Abschluss des Downloads doppelklicken Sie auf das Installationsprogramm und folgen Sie den Anweisungen, um die Installation abzuschließen.

Nach der Installation kann der Befehl ollama direkt in cmd oder Windows Terminal verwendet werden.

Sie können auch über die Kommandozeile installieren:

irm https://ollama.com/install.ps1 | iex

Installation überprüfen

Öffnen Sie die Eingabeaufforderung oder PowerShell und geben Sie den folgenden Befehl ein, um zu überprüfen, ob die Installation erfolgreich war:

ollama --version

Wenn eine Versionsnummer angezeigt wird, war die Installation erfolgreich.

Installationspfad ändern (optional)

Wenn Sie Ollama in einem vom Standard abweichenden Pfad installieren möchten, können Sie den Pfad während der Installation über die Kommandozeile angeben, zum Beispiel:

OllamaSetup.exe /DIR="d:\some\location"

Dadurch wird Ollama im angegebenen Verzeichnis installiert.


2. macOS-Installation

Öffnen Sie einen Browser und besuchen Sie die offizielle Ollama-Website:https://ollama.com/downloadund laden Sie den Installer für macOS herunter.

Die Download-Adresse lautet:https://ollama.com/download/Ollama.dmg。

Sie können auch mit einem einzeiligen Befehl installieren:

curl -fsSL https://ollama.com/install.sh | sh
Nach Abschluss des Downloads doppelklicken Sie auf das Installer-Paket und folgen Sie den Anweisungen, um die Installation abzuschließen.

Überprüfen Sie nach der Installation mit dem folgenden Befehl:

ollama --version

Wenn eine Versionsnummer angezeigt wird, war die Installation erfolgreich.


3. Linux-Installation

Unter Linux können Sie das einzeilige Installationsskript verwenden. Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:

curl -fsSL https://ollama.com/install.sh | bash

Überprüfen Sie nach der Installation mit dem folgenden Befehl:

ollama --version

Wenn eine Versionsnummer angezeigt wird, war die Installation erfolgreich.


Docker-Bereitstellung

Docker eignet sich für Server und Szenarien, die Umgebungsisolation erfordern. Das offizielle Image ist sofort einsatzbereit, und eine CPU-Umgebung kann mit einem einzigen Befehl gestartet werden.

# 启动 Ollama 容器:数据卷持久化模型,映射 11434 端口
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

NVIDIA-GPU-Passthrough

Damit der Container eine NVIDIA-GPU verwenden kann, müssen Sie zuerst das NVIDIA Container Toolkit installieren. Am Beispiel von Ubuntu/Debian:

# 1. 配置软件仓库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

# 2. 安装工具包
sudo apt-get install -y nvidia-container-toolkit

# 3. 配置 Docker 运行时并重启
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Fügen Sie dann den Parameter--gpus=allhinzu, um den Container zu starten:

# 带 GPU 的启动命令
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

AMD-GPU-Passthrough

Verwenden Sie für AMD-GPUs ein Image mit dem rocm-Tag und mounten Sie die Geräte:

# AMD ROCm 版本,挂载 GPU 设备
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Modelle in einem Container ausführen

Nach dem Start des Containers verwenden Sie exec, um ollama-Befehle innerhalb des Containers auszuführen:

# 在容器内拉取并运行 qwen3.5
docker exec -it ollama ollama run qwen3.5

Zum Beispiel:

$ docker exec -it ollama ollama run qwen3.5
>>> 用一句话介绍 Example
Example是一个面向编程初学者的中文教程网站。
>>> /bye

Docker Desktop für macOS unterstützt kein GPU-Passthrough; Container können nur CPU-Inferenz durchführen. Apple-Silicon-Nutzer, die GPU-Beschleunigung wünschen, sollten direkt den nativen Installer verwenden.


Installation überprüfen

Egal, welche Methode Sie zur Installation verwenden, verifizieren Sie abschließend mit drei einheitlichen Schritten: die Version prüfen, eine Unterhaltung führen und sich mit der API verbinden.

Schritt 1: Die Version bestätigen

# 输出版本号说明命令行可用
ollama -v

Schritt 2: Das interaktive Menü öffnen

Wenn Sie ollama direkt ohne Argumente eingeben, gelangen Sie in das interaktive Menü, in dem Sie ein Modell auswählen können, um eine Unterhaltung zu starten:

$ ollama
Welcome to Ollama

  Run a model     Start an interactive chat
  Launch tools    Claude Code, VS Code, and more

Schritt 3: Den API-Dienst überprüfen

Nach der Installation stellt Ollama eine API auf dem lokalen Port 11434 bereit. Verwenden Sie curl, um den Version-Endpunkt abzufragen, um zu bestätigen, dass der Dienst lauscht:

# 本地 API 默认地址,返回 JSON 版本信息
curl http://localhost:11434/api/version
{"version":"0.17.0"}

Unter macOS und Windows läuft Ollama nach der Installation im Hintergrund (Menüleiste / Tray-Symbol), und die API ist automatisch verfügbar. Unter Linux ist sie bei Verwendung des systemd-Dienstes ebenfalls beim Start verfügbar; nur die manuelle Methode mit ollama serve erfordert, dass das Terminal geöffnet bleibt.


Upgrade und Deinstallation

Das Aktualisieren ist einfach, aber das Deinstallieren unterscheidet sich je nach Plattform. Sei besonders vorsichtig, damit heruntergeladene Modelle nicht versehentlich gelöscht werden.

Auf eine neue Version aktualisieren

PlattformAktualisierungsmethode
macOS / WindowsUpdates werden automatisch heruntergeladen. Klicke in der Menüleiste oder im Tray-Symbol auf „Restart to update“, um sie anzuwenden.
Linux (Skriptinstallation)Führe das Installationsskript erneut aus
Linux (manuelle Installation)Lösche zuerst die alte Bibliothek, lade dann das neue Paket erneut herunter und entpacke es.
DockerHole das neueste Image und baue den Container neu; Daten-Volumes behalten die Modelle.

Deinstallieren: macOS

Unter macOS musst du die Anwendung und verbleibende Dateien manuell bereinigen. Führe jede Zeile aus:

Beispiel

# Die App und die Befehlszeile löschen
sudo rm -rf /Applications/Ollama.app
sudo rm /usr/local/bin/ollama

# Restdateien der App löschen
rm -rf "~/Library/Application Support/Ollama"
rm -rf "~/Library/Caches/com.electron.ollama/"
rm -rf ~/Library/Caches/ollama

# Modelle und Konfiguration löschen (große Dateigröße, nur löschen, wenn Sie sicher sind, dass Sie sie nicht benötigen)
rm -rf ~/.ollama

Deinstallieren: Windows

Suchen Sie in den Einstellungen unter 'Apps - Installierte Apps' nach Ollama und klicken Sie auf Deinstallieren.

Wenn Sie Modelle über OLLAMA_MODELS in ein anderes Verzeichnis verschoben haben, löscht das Deinstallationsprogramm diese Modelldateien nicht; Sie müssen sie manuell bereinigen.

Deinstallation: Linux

Beispiel

# Systemdienst stoppen und entfernen
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

# Programmdateien löschen (das lib-Verzeichnis kann /usr/local/lib, /usr/lib oder /lib sein)
sudo rm -r $(which ollama | tr 'bin' 'lib')
sudo rm $(which ollama)

# Dienstbenutzer und Modelldaten löschen
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama

Häufige Installationsprobleme

Die meisten Probleme während der Installation hängen mit dem Netzwerk, der Festplatte und der Terminalumgebung zusammen. Die folgende Tabelle fasst die häufigsten zusammen.

SymptomUrsacheLösung
Das Terminal meldet, dass der Befehl ollama nicht existiertDie CLI ist nicht in PATHUnter macOS die Ollama-App einmal neu starten und der Erstellung des Links /usr/local/bin zustimmen; unter Windows ein neues Terminalfenster öffnen.
Der Modell-Download ist langsam oder schlägt fehlDie Netzwerkverbindung zum Ursprungsserver ist instabilKonfigurieren Sie den HTTPS_PROXY-Proxy; unterbrochene Downloads werden automatisch ab Unterbrechungspunkten fortgesetzt, führen Sie einfach pull erneut aus.
Der Download ist unter WSL2 besonders langsamProblem mit der Netzwerkadapterfunktion von Win10 WSLDeaktivieren Sie Large Send Offload V2 (IPv4/IPv6) auf dem vEthernet (WSL)-Adapter.
Windows-Terminal zeigt fehlerhafte quadratische Zeichen anDie alte Terminal-Schriftart unterstützt keine FortschrittszeichenÄndern Sie die Terminal-Schriftart oder wechseln Sie zu Windows Terminal
Meldung bei unzureichendem SpeicherplatzDas Laufwerk, auf dem sich das Benutzerverzeichnis befindet, hat begrenzten SpeicherplatzVerwenden Sie OLLAMA_MODELS, um Modelle auf einen Datenträger mit großer Kapazität zu migrieren (ausführlich im Abschnitt zu Umgebungsvariablen)

Legen Sie bei der Proxy-Konfiguration nurHTTPS_PROXYfest. Das ist alles. Legen Sie HTTP_PROXY nicht fest: Ollama lädt Modelle nur über HTTPS. Das Hinzufügen eines HTTP-Proxys kann stattdessen die Verbindung zwischen Client und Server unterbrechen.

Weitere Erweiterungen