Ollamas OpenAI-kompatible API

Ollama führt offene Modelle auf Ihrem eigenen Rechner aus und stellt sie über eine OpenAI-kompatible API unter http://localhost:11434/v1 bereit. Da das Drahtformat dem von OpenAI entspricht, funktioniert das offizielle OpenAI-SDK unverändert mit Ollama – und derselbe Code erreicht gehostete Frontier-Modelle, wenn Sie nur die Basis-URL ändern.

Was Ollamas OpenAI-kompatible API ist

Ollama ist ein separates Open-Source-Projekt, mit dem Modelle wie Llama, Qwen und Mistral lokal ausgeführt werden können. Neben der nativen API bietet es eine OpenAI-kompatible Schnittstelle, sodass für OpenAI entwickelte Tools ohne Neufassung funktionieren. Ollama implementiert die Endpunkte, die von den meisten Apps verwendet werden:

Die Schnittstelle unterstützt Chat, Completions und Embeddings sowie Bildeingaben bei lokalen multimodalen Modellen. Sie generiert keine Bilder, Videos oder Audio. Kunavo implementiert denselben /v1/chat/completions-Vertrag – diese Referenz dokumentiert jeden Parameter, die Form der Streaming-Deltas und das Objekt usage und enthält eine zeilenweise Paritätstabelle für Ollamas v1-Schnittstelle.

Ollama mit dem OpenAI-SDK aufrufen

Richten Sie base_url auf http://localhost:11434/v1 aus. Das SDK verlangt ein api_key, doch Ollama ignoriert dessen Wert bei lokalen Aufrufen – übergeben Sie eine beliebige Zeichenfolge. Setzen Sie model auf ein Modell, das Sie heruntergeladen haben (z. B. ollama pull llama3.2).

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama's OpenAI-compatible API
    api_key="ollama",  # required by the SDK, ignored by local Ollama
)

resp = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Oder mit curl:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello, Ollama"}]
  }'

Derselbe Code, gehostete Frontier-Modelle

Ollama eignet sich ideal für die Offline-Entwicklung und datenschutzsensible Anwendungen, doch bei anspruchsvollem logischem Denken, beim Programmieren und mit langen Kontexten liegen lokale Modelle hinter den Frontier-Modellen zurück. Da Kunavo ebenfalls OpenAI-kompatibel ist, lässt sich ein Aufruf mit zwei Änderungen auf ein gehostetes Modell umstellen: base_url und der Modell-Slug:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.kunavo.com/v1",  # only this line changes
    api_key="sk-kn-...",               # a real key now
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",  # a hosted frontier model
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Über Umgebungsvariablen wechseln

Ein gängiges Muster ist, Ollama für die lokale Entwicklung und gehostete Modelle in der Produktion zu verwenden und die Auswahl über eine Umgebungsvariable zu steuern. Client- und Request-Code bleiben identisch – nur base_url und das Modell unterscheiden sich:

import os
from openai import OpenAI

# One client, switched by environment. Local for dev, hosted for prod.
if os.getenv("APP_ENV") == "production":
    client = OpenAI(base_url="https://api.kunavo.com/v1",
                    api_key=os.environ["KUNAVO_API_KEY"])
    MODEL = "claude-haiku-4-5"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    MODEL = "llama3.2"

resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

FAQ

Nächste Schritte

• Anleitung zur OpenAI-kompatiblen API – von Ollamas lokalem Endpunkt zu gehosteten Modellen
• Was ist ein AI-Gateway? – Das Muster mit einem Endpunkt
• Referenz zu Chat Completions
• Schnellstart – Ihre erste Anfrage in 60 Sekunden