KI-Industrie-Ökosystem

Wenn Sie ein KI-Tool auswählen, entscheiden Sie sich eigentlich für einen technologischen Pfad.

Closed Source oder Open Source wählen? Cloud-Service oder lokale Bereitstellung wählen? US-Unternehmen oder chinesische Unternehmen wählen? Diese Entscheidungen beeinflussen Ihre Arbeitseffizienz, Datensicherheit und langfristigen Kosten.

Noch wichtiger ist: Wenn Sie Ihre Karriereentwicklung planen, müssen Sie wissen, welche Unternehmen die Technologie anführen und welche Richtungen die Zukunft repräsentieren.

Dieser Artikel wird Sie nicht mit langweiligen Branchennachrichten vollstopfen, sondern Ihnen helfen, einen Rahmen zum Verständnis der KI-Branche aufzubauen.

Das Verständnis des Branchenökosystems dient nicht dem Mitläufertum, sondern soll Ihnen Sicherheit bei Entscheidungen geben.


Übersicht der wichtigsten KI-Unternehmen

Die Akteure in der KI-Branche lassen sich in mehrere Kategorien unterteilen: führende US-Unternehmen, führende chinesische Unternehmen und Einhorn-Unternehmen.

Jede Kategorie von Unternehmen hat unterschiedliche Technologiepfade und Produktstrategien.

Führende US-Unternehmen

Die USA nehmen eine führende Position in der Technologie großer Modelle ein, wobei vier Unternehmen am repräsentativsten sind.

UnternehmenKernmodellEigenschaftenRepräsentative Produkte
OpenAIGPT-4、GPT-4oTechnologisch führend, ausgereifte KommerzialisierungChatGPT、GPTs
AnthropicClaude 3、Claude 3.5Sicherheit an erster Stelle, starke Fähigkeiten bei langen TextenClaude.ai
Google DeepMindGeminiStark in Multimodalität, solide ForschungsstärkeGemini App
Meta AILlama-SerieHauptkraft von Open Source, frei verfügbarLlama 3、Llama 3.1

OpenAIEs ist der Entwickler von ChatGPT und ein treibender Faktor, um KI der breiten Masse zugänglich zu machen. Seine Merkmale sind schnelle Technologie-Updates und eine gute Produkterfahrung, aber Datenschutz und Preisstrategien sorgen oft für Kontroversen.

AnthropicGegründet von ehemaligen OpenAI-Mitarbeitern, konzentriert es sich auf „sichere KI“. Das Claude-Modell leistet hervorragende Arbeit bei der Verarbeitung langer Dokumente (zehntausende Zeichen) und hat eine relativ milde Inhaltsmoderation.

Google DeepMindEs ist der Schöpfer von AlphaGo und konzentriert sich heute auf die Gemini-Modellreihe. Seine Vorteile liegen in multimodalen Fähigkeiten (Bild, Video, Audio) und tiefgreifender Forschungsarbeit.

Meta AIEs schlägt einen völlig anderen Weg ein – Open Source. Die Llama-Modellreihe steht Entwicklern kostenlos zur Verfügung, und jeder kann sie herunterladen, modifizieren und bereitstellen. Das verschafft Meta einen enormen Einfluss in der Open-Source-Community.

Führende chinesische Unternehmen

Chinesische KI-Unternehmen holen ebenfalls schnell auf und bilden ein eigenes Ökosystem.

UnternehmenKernmodellEigenschaftenRepräsentative Produkte
BaiduWenxin Large Model Series (ERNIE)Das früheste inländische Large-Model-Deployment, tiefgreifend engagiert in Multimodalität, Suche und Unternehmensdiensten, mit zahlreichen Regierungs- und UnternehmensimplementierungsfällenWenxin Yiyan, Wenxin Qianfan, Wenxin Yige
AlibabaTongyi Qianwen Series (Qwen)Führende Open-Source-Aktivitäten mit einer vollständigen Palette von leichtgewichtigen und ultra-großen Parametermodellen, tief integriert in das E-Commerce- und Cloud-Computing-Ökosystem.Tongyi Qianwen, Tongyi Wanxiang, Alibaba Cloud Bailian
TencentHunyuan large modelNutzt Social-Networking-, Gaming- und Video-Geschäfte und zeichnet sich durch Bild-Text-, Videogenerierung, digitale Menschen und verbraucherorientierte Social-Integration-Szenarien aus.Tencent Hunyuan Assistant, Hunyuan Painting, Tencent Zhiying
ByteDanceDoubao-GroßmodellHervorragende Vorteile bei multimodaler und Kurzvideo-Inhaltsergenerierung, die persönliche Konversation, KI-Kreation und Büroassistenz abdecken.Doubao AI, Dreamina, Coze (Kouzi)
Moonshot AIMoonshot series large modelsKonzentriert sich auf ultra-lange Kontextfenster, unterstützt verlustfreies Lesen von millionenfachem Text mit klaren Vorteilen in Dokumenten- und Wissensbasis-Szenarien.Kimi intelligent assistant
Zhipu AIGLM (Zhipu Qingyan)Starker akademischer Hintergrund, der allgemeine Dialoge, Code und wissenschaftliche Forschungsszenarien abdeckt, mit ausgereifter privater Unternehmensbereitstellung.Zhipu Qingyan, Zhipu Code, Zhipu Qingyan Enterprise Edition
MiniMax (Xiyu Technology)01 large modelHervorragende Fähigkeiten in den Bereichen Sprache, digitale Menschen und Videogenerierung, mit einem gut etablierten ausländischen Kommerzialisierungslayout.Hailuo AI, digital human video generation platform
DeepSeekDeepSeek large modelErstklassige Code-Large-Model-Leistung, groß angelegtes Open-Sourcing der gesamten Modellreihe, die auf Entwickler und Forscher abzielt.DeepSeek Chat、DeepSeek Coder

BaiduEs ist eines der ersten Unternehmen in China, das in große Modelle investiert hat. ERNIE Bot hat Vorteile beim chinesischen Verständnis.

AlibabaDie Modelle der Tongyi Qianwen (Qwen)-Serie werden sehr aktiv als Open Source bereitgestellt und reichen von 1,8 Milliarden bis 72 Milliarden Parametern, mit hoher Nutzung in der Open-Source-Community.

Dark Side of the Moon (Moonshot)Es ist ein Startup, das sich auf ultra-langen Kontext konzentriert – sein Kimi-Assistent kann Dokumente mit über einer Million chinesischen Schriftzeichen auf einmal verarbeiten, was sehr nützlich für die Handhabung von Büchern und Codebasen ist.

Unicorn Companies

Es gibt auch einige Startups, die noch nicht lange existieren, aber über markante technologische Merkmale und hohe Bewertungen verfügen.

UnternehmenCore modelsEigenschaftenHeadquarters
Mistral AIMistral seriesTechnologische Innovation, Effizienz an erster StelleFrance
CohereCommand R+Unternehmensdienste, Retrieval-AugmentedCanada
xAIGrokGegründet von Musk, auf der Suche nach der WahrheitVereinigte Staaten

Mistral AIEs ist ein französisches Unternehmen, das für seine kompakten und dennoch leistungsstarken Modelle bekannt ist. Mistral 7B ist bei gleicher Parametergröße führend in der Leistung und hat die MoE-Architektur (Mixture of Experts) eingeführt, die äußerst effizient ist.

Das Produkt welches Unternehmens Sie wählen sollten, hängt hauptsächlich von Ihren Bedürfnissen ab: Für die stärkste Leistung wählen Sie OpenAI oder Anthropic; für kostenloses Open Source wählen Sie DeepSeek, Zhipu usw.


Open Source vs Closed Source Models

Dies ist die wichtigste strategische Debatte in der KI-Branche.

Auf der einen Seite steht der Closed-Source-Weg, vertreten durch OpenAI und Anthropic – Modelle sind nur über API oder Web zugänglich, und Sie können die Modellgewichte nicht einsehen.

Auf der anderen Seite steht der Open-Source-Weg, vertreten durch DeepSeek und Alibaba – Sie können vollständige Modelle herunterladen und auf Ihren eigenen Geräten ausführen.

What are Open Source Models?

Open Source hat im Softwarebereich eine klare Definition, aber im KI-Bereich ist die Situation etwas anders.

Echtes Open Source bedeutet, dass Sie Folgendes frei tun können:

  • Herunterladen der Modellgewichte
  • Nutzung für kommerzielle Zwecke
  • Änderung der Modellarchitektur
  • Erneute Veröffentlichung abgeleiteter Versionen

Aber viele sogenannte Open-Source-Modelle sind eigentlich Open-Weight – Sie können sie herunterladen und verwenden, aber es gibt Einschränkungen für die kommerzielle Nutzung.

Typical Open Source Models

Model seriesDeveloperLizenzEigenschaften
Llama 3/3.1MetaBusiness-friendlyVollständigstes Ökosystem, gute Community-Unterstützung
MistralMistral AIApache 2.0Hohe Effizienz, viele Innovationen
QwenAlibabaApache 2.0Starke chinesische Sprachfähigkeit
Yi01.AIBusiness-friendlyAusgeglichen in Chinesisch und Englisch

Closed Source vs Open Source Comparison

Die beiden Wege haben jeweils Stärken und Schwächen; es gibt kein absolut gutes oder schlechtes – es hängt von Ihrem Szenario ab.

DimensionClosed-source modelsOpen-source models
Capability ceilingNormalerweise stärker (GPT-4, Claude 3)Holt auf, aber die Lücke schließt sich
Data privacyDaten werden an Dritte gesendetDaten bleiben lokal
Usage costBezahlung pro TokenEinmalige Hardwareinvestition
Customization capabilityBegrenzt (nur Prompts können feinabgestimmt werden)Vollständig kontrollierbar (Feinabstimmung, Quantisierung)
Deployment difficultyNull Bereitstellung (API direkt verwenden)Erfordert technische Kenntnisse für die Bereitstellung
Update speedAnbieter aktualisiert kontinuierlichSie müssen neue Versionen selbst verfolgen

How to Choose

Wählen Sie Closed-Source, wenn:

  • Sie die stärksten Funktionen wünschen und sich nicht mit technischen Details befassen möchten
  • Ihre Daten nicht sensibel sind und an Dritte gesendet werden können
  • Ihre Nutzung gering ist, wobei Pay-per-Token kostengünstiger ist
  • Sie schnell starten müssen und keine Zeit für die Bereitstellung aufwenden möchten

Wählen Sie Open-Source, wenn:

  • Ihre Daten hochsensibel sind und das Unternehmen nicht verlassen dürfen
  • Ihre Nutzung hoch ist, wobei Pay-per-Token zu teuer ist
  • Sie eine tiefe Anpassung des Modellverhaltens benötigen
  • Sie über ein technisches Team für die Bereitstellung und Wartung verfügen

Empfohlene Strategie: Verwenden Sie Closed-Source für geringe Nutzung und Erkundung (geringe Kosten, schneller Start), erwägen Sie Open-Source für Groß- und Produktionsumgebungen (hohe Kontrollierbarkeit, geringe langfristige Kosten).


Cloud-KI vs. lokale KI

Dies ist eine weitere wichtige Entscheidung: Cloud-KI-Dienste nutzen oder Modelle auf dem eigenen Computer ausführen?

Cloud-KI: Sofort einsatzbereit

Cloud-KI bedeutet, KI-Dienste in der Cloud über Webseiten oder APIs aufzurufen.

Sie müssen sich keine Gedanken darüber machen, wo das Modell bereitgestellt wird, wie viele GPUs verwendet werden oder wie es aktualisiert wird – Sie geben einfach Inhalte ein und erhalten Ergebnisse.

Typische Cloud-KI-Produkte:

ProduktTypeZahlungsmethode
ChatGPTWeb-ChatAbonnement $20/Monat oder Pay-as-you-go
Claude.aiWeb-ChatAbonnement $20/Monat oder Pay-as-you-go
OpenAI APIAPI-SchnittstelleAbrechnung nach Token
Anthropic APIAPI-SchnittstelleAbrechnung nach Token

Lokale KI: Vollständig kontrollierbar

Lokale KI führt Open-Source-Modelle auf Ihrem eigenen Computer oder Server aus.

Daten verlassen Ihr Gerät nicht und es fallen keine laufenden Zahlungen an.

Aber Sie benötigen eine gute Grafikkarte – normalerweise eine NVIDIA-GPU; je mehr VRAM, desto besser.

Gängige Tools für lokale KI:

ToolFunktionenGeeignet für
OllamaEin-Klick-Start, BefehlszeilenbedienungEntwickler, technische Benutzer
LM StudioGUI, reichhaltige ModellbibliothekAllgemeine Benutzer, Anfänger
vLLMLeistungsstarker InferenzdienstBereitstellung in der Produktion
Text Generation WebUIAm funktionsreichsten, feinjustierbarFortgeschrittene Benutzer

Vergleich zwischen Cloud-KI und lokaler KI

DimensionCloud-KILokale KI
Anfängliche KostenNull, nutzungsbasiertHoch (Kauf einer GPU erforderlich)
Usage costKontinuierliche nutzungsbasierte ZahlungStromkosten + Hardware-Abschreibung
Data privacyDaten werden an den Dienstanbieter gesendetDaten verbleiben vollständig lokal
Deployment difficultyKeineErfordert gewisse technische Kenntnisse
AntwortgeschwindigkeitAbhängig vom NetzwerkLokale Berechnung, stabile Geschwindigkeit
Capability ceilingKann die größten Modelle verwendenBegrenzt durch den GPU-VRAM

Hybride Strategie: Das Beste aus beiden Welten

Viele Unternehmen verfolgen eine hybride Strategie:

  • Sensible Daten verwenden lokale Modelle
  • Gewöhnliche Abfragen verwenden Cloud-APIs
  • Nutzen Sie Cloud-Dienste während der Tagsspitzen, lokale Dienste für die Stapelverarbeitung in der Nacht

Dies gewährleistet Datensicherheit bei gleichzeitiger Kostenkontrolle.

Ratschlag für Privatanwender: Probieren Sie zuerst Cloud-KI aus und erwägen Sie nach der Einarbeitung eine lokale Bereitstellung, wenn Sie Datenschutzbedürfnisse haben oder die Nutzung steigt.


KI-Infrastruktur

KI ist nicht nur Software – die zugrunde liegende Rechenleistung, Chips und Cloud-Dienste bilden die Infrastruktur der gesamten Branche.

GPU-Rechenleistung: Warum NVIDIA den Markt dominiert

Das Training großer Modelle erfordert massive Berechnungen, und GPUs (Graphics Processing Units) sind derzeit die am besten geeigneten Hardwarekomponenten.

NVIDIA hat in diesem Bereich aus drei Gründen eine Beinahe-Monopolstellung:

VorteilBeschreibung
CUDA-ÖkosystemCUDA ist das Programmierframework von NVIDIA; fast alle KI-Frameworks priorisieren die Unterstützung dafür.
SpeicherkapazitätProfessionelle Karten wie H100 und A100 verfügen über 80GB oder noch mehr Speicher.
Software-UnterstützungOptimierte Bibliotheken, Compiler und Toolchains sind am vollständigsten.

Gängige NVIDIA-GPU-Positionierung:

KartenmodellGedächtnisPositionierungAnwendbare Szenarien
RTX 3090/409024GBVerbraucherklassePersönliches Lernen, kleine Modellinferenz
A10G24GBProfessioneller EinstiegsbereichLeichte Inferenz, Feinabstimmung
A10080GBProfessionelle KlasseModelltraining, groß angelegte Inferenz
H10080GBFlaggschiff-KlasseTraining großer Modelle (70B+)

Die Speichergröße ist eine Schlüsselmetrik.Im Allgemeinen gilt:

  • Ein 7B-Modell benötigt 8-16GB Speicher
  • Ein 13B-Modell benötigt 16-32GB Speicher
  • Ein 70B-Modell benötigt 60-80GB Speicher

Cloud-Computing-Anbieter: Compute as a Service

Nicht jeder kann sich eine GPU leisten, die Hunderttausende kostet – Cloud-Anbieter bieten ein „Pay-per-Hour-Mietmodell“ an.

Cloud-AnbieterFunktionenTypische Instanzen
AWSVollständigste Instanztypenp4d, p5, g5 series
AzureVollständige UnternehmensdiensteNC, ND, NV series
GCPGute TPU-UnterstützungA3, T4 series
Alibaba CloudSchneller Zugriff in Chinagn6, gn7 series

Inländische Rechenleistungsalternativen

Aufgrund von Chip-Exportbeschränkungen entwickelt China aktiv eine eigene Rechenleistung.

Hauptakteure:

AnbieterChipFunktionen
Huawei AscendAscend 910Ökosystem relativ vollständig, unterstützt das Training großer Modelle
CambriconSiyuan 590Fokus auf KI-Beschleunigung
HygonDCUKompatibel mit dem CUDA-Ökosystem

Einheimische Chips holen noch auf; das Hauptproblem ist das Software-Ökosystem – viele KI-Frameworks erfordern eine spezielle Anpassung.

Für einzelne Entwickler wird empfohlen, mit Verbraucher-GPUs von NVIDIA (z. B. RTX 4090) zu beginnen, da das Ökosystem am ausgereiftesten ist und die meisten Ressourcen bietet.


KI-Geschäftsmodelle

Wie verdienen KI-Unternehmen Geld? Derzeit gibt es drei Hauptmodelle.

B2C: Abonnementmodell

Richtet sich an Einzelbenutzer, monatliche Zahlung.

ProduktPreiseEnthaltene Leistungen
ChatGPT Plus$20/monthBevorzugter Zugriff auf GPT-4, schnellere Antworten
Claude Pro$20/monthBevorzugter Zugriff auf Claude 3, längerer Kontext
GitHub Copilot$10/monthCode-Vervollständigung, Code-Erklärung

Der Vorteil des Abonnementmodells ist ein stabiler Cashflow und eine hohe Kundentreue. Es muss jedoch kontinuierlich einen Mehrwert bieten, sonst kündigen die Benutzer.

B2B: API-Aufrufe

Pay-as-you-go – Sie bezahlen basierend darauf, wie oft Sie die API aufrufen.

Die Abrechnungseinheit ist „Token“, was als „Wort“ oder „Zeichen“ verstanden werden kann.

Typische Preisgestaltung (Mitte 2025):

ModellEingabepreisAusgabepreis
GPT-4o$5 per million tokens$15 per million tokens
Claude 3.5 Sonnet$3 per million tokens$15 per million tokens
GPT-4$30 per million tokens$60 per million tokens
Llama 3.1 405B (self-hosted)Hardwarekosten + Strom

Rechenbeispiel: Angenommen, Sie haben eine App, die 100.000 Abfragen pro Tag verarbeitet, wobei jede Abfrage 1.000 Token verwendet.

Bei GPT-4o belaufen sich die täglichen Kosten auf $5 (Eingabe) + $15 (Ausgabe) = $20, was $600 pro Monat entspricht.

Wenn die Nutzung wächst, steigen die Kosten schnell – weshalb sich viele Unternehmen letztendlich dafür entscheiden, Open-Source-Modelle selbst zu hosten.

Monetarisierung des Open-Source-Ökosystems

Open-Source-Modelle sind kostenlos, aber Unternehmen können durch Peripheriedienste Geld verdienen:

  • Hosting-Dienste: für Sie bereitstellen und warten
  • Enterprise-Edition: zusätzliche Funktionen und Support bereitstellen
  • Beratungsdienste: für Sie anpassen und optimieren
  • Schulungsdienste: Modelle mit Ihren Daten feinabstimmen

Mistral AI ist ein Vertreter dieses Modells – die Modelle sind Open Source, aber Unternehmen müssen bezahlen, um auf größere Modelle und bessere Dienste zuzugreifen.

Vergleich der drei Modelle

ModellZielbenutzerUmsatzstabilitätTechnische Anforderungen
AbonnementEinzelbenutzerMittelErfordert exzellentes Produkterlebnis
API-AufrufeEntwickler, UnternehmenHoch (nutzungsabhängig)Erfordert stabilen Dienst
Open-Source-ÖkosystemUnternehmen, EntwicklerLangsamer (erfordert Aufbau eines Ökosystems)Erfordert Community-Operations-Fähigkeiten

KI-Regulierung und -Politik

KI entwickelt sich so schnell, dass jedes Land Regulierungspolitiken formuliert. Das Verständnis dieser Richtlinien kann Ihnen helfen, Risiken zu mindern.

EU AI Act

Die EU hat die strengste Regulierung, wobei das Kernkonzept die „risikobasierte Klassifizierung“ ist.

RisikoniveauDefinitionRegulatorische Anforderungen
Unzulässiges RisikoSocial Scoring, Echtzeit-GesichtserkennungVerboten
Hohes RisikoMedizinprodukte, gerichtliche Urteile, PersonalbeschaffungStrenges Compliance-Verfahren, hohe Transparenz
Mittleres RisikoChatbots, Generierung von InhaltenKI-generierte Inhalte kennzeichnen
Geringes RisikoGaming, BildbearbeitungIm Wesentlichen keine Anforderungen

Der EU AI Act hat weltweite Auswirkungen — solange Ihr Produkt EU-Nutzer bedient, müssen Sie die Vorschriften einhalten.

Chinas KI-Regulierungsrahmen

Chinas Regulierungsrichtlinien werden ebenfalls schrittweise verfeinert, wobei zu den Kerndokumenten gehören:

  • „Interimskriterien für die Verwaltung generativer KI-Dienste“
  • „Gesetz über künstliche Intelligenz“ (Entwurf zur Kommentierung)

Hauptanforderungen:

  • Generierte Inhalte müssen wahr und genau sein und dürfen keine falschen Informationen erfinden
  • Mechanismen zur Inhaltsprüfung müssen solide sein
  • Datenquellen müssen legitim sein
  • Algorithmen müssen transparent und erklärbar sein

Dynamik der US-amerikanischen KI-Politik

Die US-Regulierung ist relativ locker und erfolgt hauptsächlich durch präsidiale Anordnungen und Selbstregulierung der Industrie.

Wichtige Schwerpunktbereiche:

  • Nationale Sicherheit: verhindern, dass KI für böswillige Zwecke verwendet wird
  • Fairness: algorithmische Diskriminierung verhindern
  • Transparenz: KI-generierte Inhalte müssen gekennzeichnet werden

Für Einzelentwickler ist Folgendes am wichtigsten: KI-generierte Inhalte sollten klar gekennzeichnet sein und sich nicht als menschliche Schöpfung ausgeben. Wenn personenbezogene Daten im Spiel sind, müssen die Datenschutzbestimmungen eingehalten werden.


Ausblick auf die Trends in der KI-Branche 2025

Ab Mitte 2026 sind einige Trends recht deutlich geworden.

Trend 1: Die Modellfähigkeiten verbessern sich weiter, jedoch mit abnehmenden Grenzerträgen

GPT-5, Claude 5, Gemini 3.0, DeepSeek 4 und GLM 5 sind alle da, aber jedes Update bringt weniger Überraschungen mit sich.

Das liegt nicht daran, dass die Technologie einen Engpass erreicht hat, sondern vielmehr daran, dass es bereits viele „gut genug“-Anwendungsfälle gibt.

Trend 2: Open-Source-Modelle holen weiter auf und verringern den Abstand zu Closed-Source-Modellen

Die Leistung von Llama 3.1 405B ist bereits nah am Niveau von GPT-4 und steht frei zur Verfügung.

In Zukunft werden sich weitere Unternehmen dem Open-Source-Lager anschließen, und das Ökosystem der Open-Source-Modelle wird zunehmend reifer.

Trend 3: Die Anwendungsschicht beginnt zu explodieren, Agents werden praktisch

Die letzten Jahre waren von Wettbewerb auf Modellebene geprägt; nun verlagert sich der Fokus auf die Anwendungsschicht.

KI-Agents — KI, die komplexe Aufgaben autonom erledigen kann —, werden den Sprung vom Konzept zur praktischen Anwendung schaffen.

Trend 4: Multimodalität wird zum Standard

Rein textbasierte Modelle werden immer seltener, und multimodale Modelle, die Text, Bilder, Audio und Video gleichzeitig verarbeiten können, werden zum Standard.

Trend 5: Regulierung wird normalisiert

Regulierungsrahmen in verschiedenen Ländern werden allmählich Gestalt annehmen und die KI-Branche von einem „ungezügelten Wachstum“ in eine Phase der „regulierten Entwicklung“ überführen.

TrendsAuswirkungen auf EinzelpersonenEmpfehlungen
Verbesserung der ModellfähigkeitenWerkzeuge werden leistungsstärkerAuf neue Funktionen achten, aber Neuheiten nicht blind hinterherjagen
Aufholen von Open-Source-ModellenLokales Deployment wird machbarerOpen-Source-Toolchain erlernen
Explosion auf der AnwendungsschichtChancen liegen auf der AnwendungsschichtKI mit dem eigenen Fachbereich kombinieren
Multimodalität als StandardKann mehr Dinge erledigenAnsätze für multimodale Anwendungen erweitern
Normalisierung der RegulierungCompliance-Anforderungen steigenRelevante Vorschriften verstehen

Code-Beispiel: Aufrufen einer Open-Source-Modell-API

Schreiben wir ein einfaches Beispiel in Python, um zu demonstrieren, wie man eine Open-Source-Modell-API aufruft.

Wir verwenden Ollama als lokalen Inferenzdienst, der mehrere Open-Source-Modelle wie Llama 3, Qwen und Mistral unterstützt.

Referenz für Ollama-bezogene Inhalte:https://www.example.com/ollama/ollama-tutorial.html。

Beispiel

# ============================================
# Beispiel für das Aufrufen einer Open-Source-Modell-API
# Demo: Lokales Ausführen des Llama-3-Modells mit Ollama
# ============================================

import requests
import json


def call_ollama_model(prompt: str, model: str = "llama3") -> str:
    """
Die API von Ollama aufrufen, um eine Modellantwort zu erhalten

Parameterbeschreibungen:
prompt: Ihre Frage oder Ihr Eingabetext
model: Der zu verwendende Modellname (Standard: llama3)
Optionale Werte: llama3, qwen2, mistral, yi usw.

Rückgabewert:
Der Antworttext des Modells
    """

    # Ollama läuft standardmäßig auf dem lokalen Port 11434
    url = "http://localhost:11434/api/generate"

    # Anfragedaten erstellen
    payload = {
        "model": model,           # Zu verwendendes Modell
        "prompt": prompt,         # Benutzereingabe
        "stream": False,          # Kein Streaming-Output verwenden (sofort zurückgeben)
        "options": {
            "temperature": 0.7,   # Temperaturparameter: höher bedeutet zufälliger, niedriger bedeutet deterministischer
            "top_p": 0.9,         # Stichprobenparameter: steuert die Vielfalt
            "num_predict": 512,   # Maximale Anzahl generierter Token
        }
    }

    try:
        # POST-Anfrage senden
        response = requests.post(url, json=payload, timeout=60)
        response.raise_for_status()  # Prüfen, ob die Anfrage erfolgreich war

        # Zurückgegebenes Ergebnis parsen
        result = response.json()
        return result.get("response", "Keine Antwort erhalten")

    except requests.exceptions.ConnectionError:
        return "Fehler: Keine Verbindung zum Ollama-Dienst möglich. Bitte starten Sie Ollama zuerst."
    except requests.exceptions.Timeout:
        return "Fehler: Zeitüberschreitung bei der Anfrage. Das Modell wird möglicherweise noch geladen."
    except Exception as e:
        return f"Fehler: {str(e)}"


def chat_with_example():
    """Beispiel für ein Multi-Turn-Gespräch mit dem KI-Beispielassistenten"""
    print("=" * 50)
    print("🚀 KI-Beispielassistent (basierend auf dem Open-Source-Modell Llama 3)")
    print("=" * 50)
    print("Tipp: Geben Sie 'quit' oder 'exit' ein, um das Gespräch zu beenden")
    print()

    # Gesprächsverlauf (zur Wahrnehmung des Kontexts)
    conversation_history = []

    while True:
        # Benutzereingabe abrufen
        user_input = input("Du: ").strip()

        # Prüfen, ob beendet werden soll
        if user_input.lower() in ["quit", "exit", "Beenden"]:
            print("KI-Beispiel: Auf Wiedersehen! Bis zum nächsten Mal.")
            break

        if not user_input:
            continue

        # Prompt mit Kontext erstellen
        full_prompt = "\n".join(conversation_history) + f"\nUser: {user_input}\nAssistant:"

        # Modell aufrufen
        print("KI-Beispiel: ", end="", flush=True)
        response = call_ollama_model(full_prompt)
        print(response)
        print()

        # Konversationsverlauf aktualisieren
        conversation_history.append(f"User: {user_input}")
        conversation_history.append(f"Assistant: {response}")

        # Nur die letzten 5 Gesprächsrunden behalten, um einen zu langen Kontext zu vermeiden
        if len(conversation_history) > 10:
            conversation_history = conversation_history[-10:]


# Beispiel 1: Einzelner Aufruf
print("--- Beispiel 1: Einzelne Frage ---")
question = "Bitte erklären Sie, was ein großes Sprachmodell ist, in einem Satz."
print(f"Frage: {question}")
answer = call_ollama_model(question)
print(f"Antwort: {answer}")
print()

# Beispiel 2: Verschiedene Modelle verwenden
print("--- Beispiel 2: Zwischen verschiedenen Modellen wechseln ---")
for model_name in ["llama3", "qwen2", "mistral"]:
    print(f"Verwende Modell {model_name}:")
    answer = call_ollama_model("Hallo, bitte stelle dich vor.", model=model_name)
    print(f"Antwort: {answer[:100]}...")  # Nur die ersten 100 Zeichen anzeigen
print()

# Beispiel 3: Multi-Turn-Gespräch (auskommentieren zum Ausführen)
# print("--- Beispiel 3: Multi-Turn-Gespräch ---")
# chat_with_example()

Bevor Sie diesen Code ausführen, müssen Sie zuerst Ollama installieren:

  • gohttps://ollama.comOllama herunterladen und installieren
  • Im Terminal ausführen:ollama pull llama3Das Modell herunterladen
  • Ausführen:ollama serveDen Dienst starten (falls noch nicht geschehen)
  • Führen Sie dann den obigen Python-Code aus

Wenn Sie keine lokale GPU haben, können Sie auch cloudbasierte Open-Source-Modell-APIs wie Together.ai, Anyscale usw. verwenden. Die Aufrufmethode ist ähnlich, mit Ausnahme der URL und der Authentifizierungsmethode.

Der Vorteil von Open-Source-Modellen besteht darin, dass Sie für die Entwicklung und das Testen zuerst lokal ein kleines Modell (7B) verwenden können und, wenn es gut funktioniert, zu einem größeren Modell (70B) oder einem Cloud-Dienst wechseln können.

Weitere Erweiterungen