DeepSeek Harness Multimodal

DeepSeek hat ein experimentelles multimodales Vision-Verständnis-Modell, DeepSeek-V4-Flash-Vision-Exp, eingeführt und gleichzeitig multimodale API-Dienste und eine kostenlose Files-API geöffnet.

Installieren Sie vor der Verwendung die neueste Version:

npm install -g @deepseek-ai/dsh@latest

Nach dem Update auf die neueste Version sehen Sie, dass die Modellliste bereits DeepSeek-V4-Flash-Vision-Exp enthält:

Wechseln Sie zum Vision-Modell, dann können wir Bilder oder PPT-Dateien direkt in das Dokument ziehen, damit es sich den Inhalt der Bilder ansieht ( Testbild herunterladen):

Was ist multimodal

Um Multimodalität zu verstehen, müssen wir zunächst das Wort „Modalität“ verstehen. Modalität bezeichnet verschiedene Formen der Informationsdarstellung: Text ist eine Modalität, und Bilder, Audio und Video sind ebenfalls jeweils unterschiedliche Modalitäten.

ModalitätHäufige FormenEntsprechende KI-Fähigkeiten
TextArtikel, Code, GesprächeGroßes Sprachmodell (LLM)
imageFotos, Screenshots, Design-Mockups, DiagrammeModell für visuelles Verständnis
AudioSprache, MusikModelle zur Spracherkennung und -generierung
VideoKurze Videos, Bildschirmaufnahmen, ÜberwachungsaufnahmenModell zum Videoverständnis

Früher verarbeiteten große Sprachmodelle nur eine einzige Modalität – Text. Alles, was man ihnen sandte, musste zuerst in Text umgewandelt werden.

Multimodale Modelle können gleichzeitig Bilder und Text empfangen und sie einheitlich in Token-Sequenzen umwandeln, bevor sie gemeinsam verarbeitet werden.

多模态模型处理图片与文本的流程图

Der entscheidende Punkt: Bilder werden vom Modell nicht „direkt gesehen“. Stattdessen schneidet ein Vision-Encoder sie zunächst in Patches und wandelt sie in Vektoren um, die dann mit Text-Tokens zu derselben Sequenz verkettet werden.

Bilder verbrauchen ebenfalls Tokens. Ein Bild belegt bis zu 384 Tokens – genau das ist die Quelle der später erwähnten multimodalen Abrechnungsregeln.

Für Agents bringt Multimodalität einen qualitativen Wandel, nicht nur eine Nice-to-have-Verbesserung.

VergleichspunktNur-Text-ModellMultimodales Modell
EingabeformNur TextText und Bilder gemischt
Codefehler behebenErfordert, dass Benutzer Fehlermeldungen manuell in Text transkribierenFehler-Screenshots direkt senden
Das Design-Mockup reproduzierenVisuelle Entwürfe können nicht referenziert werdenSeiten direkt aus Design-Mockups schreiben
Datencharts analysierenBilder innerhalb von Bildern können nicht gelesen werdenDas Bild ansehen und direkt Schlussfolgerungen ziehen

V4-Flash-Vision-Exp: Multimodales Vision-Modell jetzt verfügbar

DeepSeek-V4-Flash-Vision-Exp ist ein experimentelles multimodales Modell zum Bildverständnis und jetzt auf der DeepSeek-API-Plattform verfügbar.

Benutzer können übermodel='deepseek-v4-flash-vision-exp'festlegen. Danach kann auf das Modell zugegriffen werden.

Seine Fähigkeitspositionierung lässt sich in einem Satz zusammenfassen: Textfähigkeiten ohne Kompromisse, visuelle Fähigkeiten mit einem großen Sprung.

Bei reinen Textfähigkeiten (Agent, Reasoning, Weltwissen usw.) ist es auf Augenhöhe mit der offiziellen DeepSeek-V4-Flash-Version.

Bei Agent-Benchmarks, die visuelles Verständnis erfordern, wurde ein bedeutender Sprung gegenüber DeepSeek-V4-Flash erzielt, und die multimodalen Agent-Fähigkeiten nähern sich jetzt Opus-4.8 an.

FähigkeitsdimensionDeepSeek-V4-FlashDeepSeek-V4-Flash-Vision-Exp
Reine Text-Agent-AufgabenRelease-BasisAuf Augenhöhe mit der offiziellen Version
Reasoning und WeltwissenRelease-BasisAuf Augenhöhe mit der offiziellen Version
Agent-Aufgaben zum visuellen VerständnisNicht unterstützt; multimodale Elemente werden bei der Auswertung ignoriertEin großer Sprung, nahe an Opus-4.8
ModellpositionierungOffizielle VersionExperimentelle Version

Hinweis zur Evaluierungsmethodik: Für Textaufgaben des Code Agent in öffentlichen Benchmark-Sets werden DeepSeek-Serienmodelle mit dem DeepSeek Harness Minimalmodus als Framework getestet, mit max-Einstellung, temperature=1.0, topp=0.95.

In den Evaluierungen ApexBench und Agents' Last Exam ignoriert das Textmodell DeepSeek-V4-Flash die darin enthaltenen multimodalen Elemente.


Multimodale API – Schnellstart

Die multimodale API unterstützt drei Aufrufformate: Chat Completions, Messages und Responses, was die Integration mit verschiedenen Agent-Tools erleichtert.

Die drei Formate haben identische Fähigkeiten – wählen Sie einfach dasjenige, das dem Ihnen vertrauten Schnittstellenstil entspricht.

AufrufformatOberflächenstilFür wen ist es gedacht?
Chat CompletionsKlassische OpenAI-Chat-SchnittstelleEntwickler, die bereits OpenAI-SDK-Code haben
MessagesAnthropic-Messages-Schnittstelle, base_url ist https://api.deepseek.com/anthropicEntwickler, die bereits Code oder Toolchains im Anthropic-Stil haben
ResponsesOpenAIs neue Responses-APIEntwickler, die das neue SDK verwenden und prägnante Eingabestrukturen bevorzugen

Alle drei Formate unterstützen gemischte Bild-Text-Eingaben. Bilder können auf drei Arten übergeben werden: base64 inline, externe URL oder Files API.

base64 内联、外部 URL 与 Files API 三种图片传入方式对比图

ÜbergabemethodeRequest-Body-GrößeOb ein Bildhosting-Dienst benötigt wirdAnwendbare Szenarien
base64 inlinegroßNicht erforderlichLokale Bilder, einmalige kleine Bilder
Externe URLgeringerfordertBilder, die bereits auf öffentlich zugänglichen Servern bereitgestellt sind
Files APIgeringNicht erforderlichDasselbe Bild wird mehrfach verwendet, hochfrequente Batch-Aufgaben

Methode 1: base64 inline

Nach der Kodierung eines lokalen Bildes als base64-Zeichenkette schreiben Sie es direkt als data URL in den Anfragekörper.

Beispiel

# Dateipfad: vision_base64_demo.py
# Abhängigkeit: pip install openai
import base64
from openai import OpenAI

# DeepSeek-Endpunkt ist mit OpenAI SDK kompatibel, ändern Sie einfach base_url zum Umschalten
client = OpenAI(
    api_key="sk-your-secret-key",                  # Erforderlich: durch eigenen DeepSeek-API-Schlüssel ersetzen
    base_url="https://api.deepseek.com"    # Erforderlich: Offizieller DeepSeek-Endpunkt
)

# Lokales Bild einlesen, in einen Base64-String kodieren
with open("example-logo.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode("utf-8")

response = client.chat.completions.create(
    model="deepseek-v4-flash-vision-exp",  # Erforderlich: Multimodales Modell für visuelles Verständnis
    messages=[
        {
            "role": "user",
            "content": [
                # Text und Bilder wechseln sich in der Array-Reihenfolge ab, und das Modell versteht sie in dieser Reihenfolge.
                {"type": "text", "text": "Wie lautet der Text im Bild?"},
                {
                    "type": "image_url",
                    # Base64 inline: data:image-Format;base64,kodierter Inhalt
                    "image_url": {"url": f"data:image/png;base64,{b64}"}
                }
            ]
        }
    ],
    stream=False                           # Optional: ob die Ausgabe gestreamt werden soll, Standard: False
)

print(response.choices[0].message.content)

Ausgabe:

图片中的文字是 "EXAMPLE"。

Methode 2: Externe URL

Bilder werden auf öffentlich zugänglichen Servern bereitgestellt, und die Anfrage enthält nur einen URL-String, wodurch der Request-Body sehr klein bleibt.

Beispiel

# Externe URL-Methode: ${DEEPSEEK_API_KEY} ist eine im Voraus exportierte Umgebungsvariable
curl https://api.deepseek.com/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${DEEPSEEK_API_KEY}" \
  -d '{
  "model": "deepseek-v4-flash-vision-exp",
  "messages": [
    {
      "role": "user",
      "content": [
{"type": "text", "text": "Fassen Sie den Trend dieses Diagramms in einem Absatz zusammen."},
        {"type": "image_url", "image_url": {"url": "https://static.example.com/images/chart-demo.png"}}
      ]
    }
  ]
}'

Die URL muss eine öffentliche Adresse sein, die von der Plattform aus erreichbar ist. Interne Netzwerkadressen und lokale Loopback-Adressen können nicht abgerufen werden.

Sowohl die base64- als auch die URL-Methode unterstützen das Hinzufügen eines optionalen detail-Felds in image_url zur Steuerung der Präzision der Bildauflösung.

detail-WertVerhaltenAnwendbare Szenarien
lowVor dem Parsen auf 512×512 skalieren, geringerer Token-VerbrauchNur ein grober Blick nötig: Bildtyp erkennen, Hauptmotiv finden
hochEntspricht dem OriginalDetails müssen klar erkennbar sein
originalAnalyse unter Beibehaltung der Präzision des OriginalbildsText lesen, kleine Symbole betrachten, Diagramme analysieren
autoDerzeit entspricht es dem OriginalStandardwert, Verhalten, wenn detail nicht übergeben wird

Das Setzen von detail auf low beim Ausführen von Screenshot-Aufgaben in Stapeln ist der direkteste Weg, die multimodalen Kosten zu steuern.

Messages- und Responses-Format

Wer bereits Code für Anthropic oder im neuen OpenAI-Stil hat, kann nahezu nahtlos auf DeepSeek multimodal umsteigen.

Das Messages-Format verwendet Bild-Inhaltsblöcke, und Bilder werden über das Feld source übergeben.

Beispiel

# Messages-Format: abgestimmt auf den Stil der Anthropic Messages API
# Der Endpunkt verwendet DeepSeeks Anthropic-kompatiblen Pfad /anthropic, und die Header-Felder stimmen ebenfalls mit Anthropic überein
curl https://api.deepseek.com/anthropic/v1/messages \
  -H "Content-Type: application/json" \
  -H "x-api-key: ${DEEPSEEK_API_KEY}" \
  -d '{
  "model": "deepseek-v4-flash-vision-exp",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image",
          "source": {
            "type": "url",
            "url": "https://static.example.com/images/code-screenshot.png"
          }
        },
{"type": "text", "text": "Dieser Code meldet beim Ausführen einen Fehler; welche Zeile ist das Problem?"}
      ]
    }
  ]
}'

Das Responses-Format verwendet ein Eingabe-Array, wobei input_text für Text und input_image für Bilder verwendet wird.

Beispiel

# Dateipfad: vision_responses_demo.py
# Die Methode zur Client-Erstellung ist dieselbe wie im obigen base64-Beispiel.
response = client.responses.create(
    model="deepseek-v4-flash-vision-exp",  # Erforderlich: Multimodales Modell für visuelles Verständnis
    input=[
        {
            "role": "user",
            "content": [
                # Verwenden Sie input_text für Text und input_image für Bilder
                {"type": "input_text", "text": "Organisieren Sie die Tabelle im Screenshot in Markdown"},
                {
                    "type": "input_image",
                    "image_url": "https://static.example.com/images/table.png"
                }
            ]
        }
    ]
)

# Verwenden Sie für das Responses-Format einfach output_text
print(response.output_text)

Files API: zuerst hochladen, dann referenzieren

Die Files API ist jetzt geöffnet, und diese API ist kostenlos.

Benutzer können Bilder zuerst auf die Plattform hochladen und dann in Anfragen über file_id referenzieren.

Dies hat zwei direkte Vorteile: Anfragen enthalten keine großen base64-Blöcke mehr, wodurch Anfragebandbreite gespart wird; dasselbe Bild muss nicht über mehrere Anfragen hinweg wiederholt hochgeladen werden.

Schritt 1: Laden Sie das Bild hoch und rufen Sie die file_id ab.

Beispiel

# Bild hochladen: purpose unterstützt derzeit nur user_data
# Der Upload selbst ist kostenlos und verursacht keine Gebühren.
curl https://api.deepseek.com/files \
  -H "Authorization: Bearer ${DEEPSEEK_API_KEY}" \
  -F "purpose=user_data" \
  -F "file=@example-chart.png"

Nach erfolgreichem Upload gibt die Plattform die Metadaten der Datei zurück.

Beispiel

{
  "id": "file-api-qw3x8v2m6n",
  "object": "file",
  "filename": "example-chart.png",
  "purpose": "user_data",
  "bytes": 154320,
  "created_at": 1787300000,
  "expires_at": 1789900000
}
FieldsBeschreibung
idDatei-ID, beginnt mit file-api-, wird verwendet, um das Bild in späteren Anfragen zu referenzieren.
filenameUrsprünglicher Dateiname beim Hochladen
purposeDateizweck, aktuell wird nur user_data unterstützt
bytesDateigröße, in bytes
created_atUpload-Zeit, Unix-Zeitstempel
expires_atAblaufzeit, optional, wird nur zurückgegeben, wenn beim Hochladen ein Gültigkeitszeitraum festgelegt wurde

Beim Hochladen können Sie auch den Parameter expires_after verwenden, um einen Gültigkeitszeitraum anzugeben, der von 1 Stunde bis 30 Tage reicht. Wenn er nicht übergeben wird, bleibt die Datei dauerhaft gültig.

Schritt 2: Verweisen Sie mithilfe von file_id in der multimodalen Anfrage auf das Bild.

{
  "model": "deepseek-v4-flash-vision-exp",
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "这个图表的整体趋势是什么?"},
        {"type": "file", "file_id": "file-api-qw3x8v2m6n"}
      ]
    }
  ]
}

Wann sollte die Files API verwendet werden?

Wenn dasselbe Bild über mehrere Anfragen hinweg wiederverwendet werden muss (zum Beispiel Agent-Aufgaben, die in Batches auf demselben Satz Screenshots ausgeführt werden), spart einmaliges Hochladen und Referenzieren überall mehr Bandbreite und ist schneller, als jedes Mal base64 zu übergeben.

Der Datei-Block unterstützt außerdem file_data für direktes Inline-Base64 (schließt sich gegenseitig mit file_id aus, kann mit dem Feld filename kombiniert werden), geeignet für Szenarien, in denen Sie gelegentlich den Upload-Schritt überspringen möchten.

Wenn Sie eine file_id über den Anthropic-kompatiblen Messages-Endpunkt referenzieren, müssen Sie zusätzlich den Anfrage-Header anthropic-beta: files-api-2025-04-14 angeben.


Abrechnungshinweise und Anmerkungen

Multimodale Anfragen werden nach Token abgerechnet. Bilder werden in Token umgewandelt und fließen dann in die Abrechnung ein.

AbrechnungspostenRegeln
BildabrechnungBilder werden in Token umgewandelt und nach Token abgerechnet
Maximum pro BildBis zu 384 Token
PreiseKonsistent mit dem DeepSeek-V4-Flash-Modell
Files APIKostenlos

Bild-Token belegen Platz im Kontextfenster. Bei Aufgaben mit mehreren Bildern sollten Sie den Gesamtverbrauch beachten: 10 Bilder können bis zu 3840 Token belegen.

Bilder werden vor der Eingabe in das Modell automatisch skaliert: Bilder, die kleiner als etwa 384×384 sind, werden vergrößert, während größere Bilder auf ungefähr die entsprechende Gesamtpixelzahl von 800×800 verkleinert werden.

Daher hängt der Token-Verbrauch nur von den skalierten Abmessungen ab; ein Bild mit 2000×2000 und ein Bild mit 5000×5000 verbrauchen die gleiche Menge; bei Anfragen mit mehreren Bildern wird jedes Bild unabhängig nach derselben Regel berechnet.

base64 vergrößert den Request-Body deutlich. Bei großen Bildern oder häufigen Aufrufen sollten Sie stattdessen externe URLs oder die Files API in Betracht ziehen.

Multimodale Anfragen haben außerdem einige harte Limits. Bei Überschreitung wird direkt ein 400-Fehler zurückgegeben.

EinschränkungRegeln
BildformatJPEG, PNG, GIF, WebP; bestimmt durch den tatsächlichen Dateiinhalt, nicht durch die Dateiendung
Länge externer URLsNicht mehr als 8192 Zeichen, und das Bild muss innerhalb von 60 Sekunden herunterladbar sein
Request-Body-GrößeNicht mehr als 48 MiB
Größe eines einzelnen Bildesbase64- und URL-Methode max. 32 MiB, Files API max. 64 MiB
Anzahl der Bilder pro AnfrageBis zu 600 Bilder
Maximale Bildseitenlänge8192 Pixel; wenn eine Anfrage 15 oder mehr Bilder enthält, sinkt der Wert auf 4096 Pixel
BildpositionKann nur in Benutzernachrichten platziert werden. Das Einfügen von Bildern in System- und Assistentennachrichten führt zu einem Fehler.

V4-Flash-Vision-Exp ist ein experimentelles Modell. Funktionen und Service-Spezifikationen können sich mit Versionsiterationen ändern. Für kritische Produktionspipelines wird empfohlen, auch offizielle Modelle zu evaluieren.

Für vollständigere Nutzungshinweise lesen Sie bitte die offizielle API-Dokumentation:API-Leitfaden – Bildverständnis、API-Leitfaden – Dateien-API。


Zusammenfassung

V4-Flash-Vision-Exp bringt multimodale Fähigkeiten in DeepSeeks Agent-Ökosystem mit der Positionierung "Text ohne Kompromisse, Vision mit einem großen Sprung."

Für Entwickler sind die Einstiegskosten sehr niedrig: Ändern Sie einfach einen Modellnamen, und Agents in DeepSeek Harness können Screenshots, Design-Mockups und Diagramme verstehen.

Es wird empfohlen, zuerst die drei offiziellen Beispiele auszuprobieren, um ein Gefühl dafür zu bekommen, und dann Ihre eigenen Geschäftsbilder einzubringen und Ihre erste Agent-Aufgabe nach dem Motto "Bild ansehen und Arbeit erledigen" zum Laufen zu bringen.

Weitere Erweiterungen