LLM-Gateway – eine API für jedes Modell: Routing, Fallback, Abrechnung und Observability (2026)

Ein LLM-Gateway ist ein einzelner API-Endpunkt, der vor vielen Anbietern großer Sprachmodelle liegt. Statt Anthropic, Google und OpenAI separat zu integrieren — drei SDKs, drei Schlüssel, drei Rechnungen — sendet Ihre Anwendung eine Anforderung in einem einheitlichen Format an eine Basis-URL mit einem Schlüssel, und das Gateway routet sie, wiederholt sie bei Fehlern, misst die Nutzung und setzt Ausgabenlimits durch. Es ist die Steuerungsebene zwischen Ihrem Produkt und den Modellen.

Was ein LLM-Gateway leistet

Ein produktives LLM-Gateway übernimmt sechs Aufgaben. Die erste macht die anderen fünf möglich: eine einheitliche, stabile API-Oberfläche.

Ein Endpunkt, jeder Anbieter

Das Gateway macht aus „Anbieter hinzufügen“ eine Änderung an einer einzigen Zeichenfolge. Derselbe Client erreicht Claude und GPT — Sie routen über das Feld model:

from openai import OpenAI

# One LLM gateway endpoint + one key fronts every provider.
gateway = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the LLM gateway
)

# Route by changing a string — no per-provider SDK, key or client.
def ask(model: str, prompt: str) -> str:
    r = gateway.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    return r.choices[0].message.content

print(ask("claude-sonnet-5", "Draft a release note."))   # Anthropic
print(ask("claude-haiku-4-5", "Classify this ticket."))    # Anthropic, cheap tier
print(ask("gpt-5-6-terra", "Summarize the thread."))             # OpenAI

LLM-Gateway vs. API-Gateway

Ein herkömmliches API-Gateway — Kong, AWS API Gateway, NGINX — routet allgemeinen HTTP-Datenverkehr und übernimmt Authentifizierung, Kontingente und Ratenbegrenzung. Ein LLM-Gateway ist speziell für Modellverkehr ausgelegt: Es versteht Token und Streaming, unterstützt Prompt-Caching und Modellrouting, misst Ausgaben pro Schlüssel und berechnet (bei Inferenz-Gateways) die Nutzung. Beide lassen sich kombinieren — einige Teams platzieren ein LLM-Gateway hinter ihrem bestehenden API-Gateway. Eine ausführliche konzeptionelle Erklärung finden Sie unter Was ist ein AI-Gateway? und den Anwendungsfall für Enterprise-API-Management unter Kunavo vs. Kong AI Gateway.

Zwei Arten von LLM-Gateways

Die Kategorie teilt sich danach, wer die Beziehung zum Anbieter hält:

BYO-Key-Gateways legen Kontrolle und Beobachtbarkeit über Ihre bestehenden Anthropic-, Google- und OpenAI-Konten — Sie behalten diese Schlüssel. Inferenz-Gateways stehen selbst vor den Anbietern: Laden Sie ein Guthaben auf und greifen Sie nie auf eine Anbieter-Konsole zu. Siehe Kunavo vs. Portkey, Helicone, LiteLLM und OpenRouter für die vollständigen Gegenüberstellungen.

Sicherheit & Compliance

Ein Gateway ist außerdem der natürliche Ort, um Sicherheit durchzusetzen: Schlüssel verlassen niemals Ihren Server, Ausgabenlimits und Ratenbegrenzungen pro Schlüssel begrenzen den Schadensradius, und eine zentrale Protokollierung bietet eine einzige Prüfspur. Für regulierte Bereitstellungen sollten Sie wissen, was Kunavo nicht anbietet: kein DPA, keine Zero Data Retention und keine Datenresidenz in der EU. Requests werden in den USA verarbeitet und an die Upstream-Modellanbieter weitergeleitet, deren eigene Aufbewahrungsrichtlinien gelten. Wenn Sie ein DPA, ZDR oder eine Datenresidenz in der EU benötigen, schließen Sie unter den Enterprise-Bedingungen direkt einen Vertrag mit Anthropic, OpenAI oder Google. Das Playbook für die einzelnen Regionen finden Sie im Leitfaden zur KI-Compliance.

Kunavo als LLM-Gateway

Kunavo ist ein Inferenz-LLM-Gateway. Es ist unter https://api.kunavo.com/v1 OpenAI-drahtformatkompatibel. Wenn Ihr Code die OpenAI-API aufrufen kann, kann er Kunavo durch Änderung der Basis-URL aufrufen. Ein sk-kn--Bearer-Token erreicht Claude, GPT und den restlichen Katalog — zu Preisen von ungefähr 30 % unter den Listenpreisen der Anbieter, nutzungsbasiert ab einer Aufladung von 10 $, über ein einziges Stripe-abgerechnetes Guthaben. Neben Text stellt es auch Bild-, Video- und Audiogenerierung über denselben Schlüssel bereit.

Beginnen Sie mit dem Schnellstart, lesen Sie im Leitfaden zur OpenAI-kompatiblen API, wie das Drahtformat den Wechsel zwischen lokalen (Ollama) und gehosteten Modellen ohne Codeänderung ermöglicht, und verwenden Sie den LLM-Kostenrechner, um die Kosten einer Arbeitslast zu schätzen — oder die übrigen kostenlosen Kostentools, die die Claude- und OpenAI-Seite nach deren eigenen Caching-Regeln berechnen. Wenn Sie einen Coding-Client zwischen Anbietern wechseln, statt sich auf einen festzulegen, behandelt die CC-Switch-Einrichtung dies von der Gateway-Seite aus.

Häufig gestellte Fragen