Jede Zusammenstellung zu diesem Thema in dieser Suche wird von einem Unternehmen veröffentlicht, das ein Gateway verkauft, und jedes Unternehmen setzt sich selbst an die Spitze oder nahe daran — diese Seite eingeschlossen. Betrachte die folgende Reihenfolge daher als das, was sie ist. Die nützlichere Korrektur lautet, dass diese Listen Produkte vergleichen, die keine Ersatzprodukte sind. „LLM-Gateway“ bezeichnet mindestens vier verschiedene Dinge: Gateways, die Modellzugriff weiterverkaufen und die Anbieter-Zugangsdaten für dich verwalten, gehostete Control Planes, die über Konten routen, die du selbst besitzt, Proxys, die du in deiner eigenen Infrastruktur bereitstellst, und Edge-Proxys, die vor deinen Schlüsseln Caching und Limits hinzufügen. Eine Funktionstabelle, die diese mischt, weist dich auf die falsche Form hin. Wähle zuerst die Kategorie; die Entscheidung innerhalb einer Kategorie ist meist einfach.
Offengelegte Voreingenommenheit: Kunavo ist unser Produkt und konkurriert genau in einer der vier folgenden Kategorien. Für die anderen drei sind wir keine Option, und die Seite sagt das jeweils ausdrücklich.
Die vier Kategorien
| Kategorie | Wer den Anbieter-Account besitzt | Wähle es, wenn | Beispiele |
|---|---|---|---|
| Gateway mit weiterverkauftem Zugriff | Das Gateway | Du möchtest eine Rechnung und überhaupt keine Anbieter-Konten | Kunavo, OpenRouter, AIMLAPI |
| Gehostete Control Plane (BYO-Key) | Sie | Du hast Konten und möchtest Routing, Governance und Beobachtbarkeit | Portkey, TrueFoundry, Helicone, Braintrust oderq.ai |
| Self-hosted Proxy | Sie | Prompt-Text darf Ihre Infrastruktur nicht verlassen | LiteLLM, MLflow AI Gateway |
| Edge-Proxy | Sie | Du möchtest nur Caching, Ratenbegrenzungen und Analysen | Cloudflare AI Gateway |
Die entscheidende Frage lautet: Wer verwaltet die Anbieter-Zugangsdaten? Diese eine Tatsache bestimmt, wofür du abgerechnet wirst, wer bei einem geleakten Schlüssel haftet, ob du ausgehandelte Anbieterpreise nutzen kannst und wie viel des Systems du selbst betreibst. Alles andere — Routing-Richtlinien, Caching, Dashboards — gibt es in jeder Kategorie und unterscheidet sich weit weniger, als das Marketing vermuten lässt.
1. Gateways mit weiterverkauftem Zugriff — keine Anbieter-Konten
Das Gateway verwaltet die Zugangsdaten zum Upstream und stellt dir die Nutzung in Rechnung; du musst dich daher weder bei Anthropic noch bei Google oder OpenAI anmelden. Diese Kategorie ist die richtige, wenn dein Problem Beschaffung und Einrichtung statt Kontrolle ist: ein Schlüssel, ein Guthaben, ein SDK.
Kunavo — eine OpenAI-kompatible Basis-URL und ein sk-kn--Schlüssel für Claude und GPT sowie Bild-, Video- und Musikmodelle mit demselben Guthaben; die meisten Modelle sind unter den offiziellen Anbieterpreisen aufgeführt. Es routet nicht deine eigenen Anbieter-Schlüssel; wenn BYO-Key erforderlich ist, ist diese gesamte Kategorie die falsche. Preise · Schnellstart
OpenRouter — die Option für Breite: Hunderte Modelle von einer großen Anbietergruppe mit einem Wallet, kostenlosen Stufen und Bring-your-own-Key-Routing, das den meisten Produkten dieser Kategorie fehlt. Wähle es gegenüber Kunavo, wenn die Breite des Katalogs wichtiger ist als der Einheitspreis. Kunavo vs. OpenRouter · die vollständige OpenRouter-Zusammenstellung
AIMLAPI — bündelt Text- und Medienmodelle mit einem Schlüssel, in derselben Form wie die beiden oben genannten. Kunavo vs. AIMLAPI
2. Gehostete Control Planes — du behältst die Konten
Du verwaltest die Anbieter-Zugangsdaten; die Plattform ergänzt Routing, Fallbacks, Leitplanken, Ausgaben-Governance und Beobachtbarkeit, und du musst sie nicht betreiben. Diese Kategorie ist für Teams mit ausgehandelten Anbieter-Verträgen gedacht, weil diese Preise mehr wert sind als alles, was ein Wiederverkäufer aufführen kann. Kunavo ist hier keine Option — wir verwalten die Upstream-Zugangsdaten absichtlich selbst, also genau entgegengesetzt.
Portkey haben wir bewertet (Kunavo vs. Portkey); Helicone liegt am Beobachtbarkeitsende desselben Bereichs (Kunavo vs. Helicone). TrueFoundry, Braintrust und orq.ai liegen am Enterprise-Ende — SLAs, Audit-Trails und Evaluierungswerkzeuge. Wir haben diese drei nicht bewertet, daher sind sie der Kategorie zugeordnet und verlinkt, statt gerankt zu werden; außerdem setzt sich jedes dieser Unternehmen in dieser Suche selbst an die erste Stelle.
3. Self-hosted Proxys — du betreibst die Software
Ein in deiner eigenen Infrastruktur bereitgestellter Open-Source-Proxy, der deine eigenen Anbieter-Schlüssel vorgelagert nutzt. LiteLLM ist die Standardwahl, und MLflow AI Gateway ist die ähnlichste Alternative. Wähle diese Kategorie, wenn Prompttext deine Infrastruktur nicht verlassen darf — eine Einschränkung, die keine gehostete Option in den anderen drei Kategorien zu irgendeinem Preis erfüllen kann.
Die Kosten sind real und sollten genannt werden: Ein selbst gehosteter Proxy ist ein Paket in deinem Build und bringt damit deine CI/CD und deinen Cluster in dessen Schadensradius. Für diese konkrete Kategorie ist das nicht hypothetisch — der Lieferkettenvorfall bei LiteLLM im März 2026 ist das ausgearbeitete Beispiel, einschließlich dessen, was LiteLLM danach geändert hat.
4. Edge-Proxys — nur Caching und Limits
Cloudflare AI Gateway ergänzt Antwort-Caching, Ratenbegrenzung, Wiederholungen und Analysen vor bereits vorhandenen Anbieter-Konten und verkauft keine Inferenz weiter. Es lässt sich mit jeder der anderen drei Kategorien kombinieren, statt eine davon zu ersetzen — Teams betreiben es häufig vor einem Gateway mit weiterverkauftem Zugriff. Kunavo vs. Cloudflare AI Gateway
In einem Durchgang auswählen
- Darf Prompttext deine Infrastruktur verlassen? Nein → Kategorie 3 und nicht weiterlesen. Ja → weiter.
- Hast du ausgehandelte Anbieterpreise oder zugesagte Ausgaben? Ja → Kategorie 2, damit du sie weiter nutzt. Nein → weiter.
- Möchtest du überhaupt Anbieter-Konten verwalten? Nein → Kategorie 1. Ja → Kategorie 2.
- Brauchst du Bild, Video oder Musik mit demselben Schlüssel? Das schränkt das Feld schneller ein als jedes andere Kriterium — prüfe dies, bevor du etwas anderes vergleichst.
- Füge Kategorie 4 zusätzlich zu deiner Auswahl hinzu, wenn Caching oder Edge-Ratenbegrenzungen wirklich erforderlich sind; sie ist keine Alternative zu den anderen.
Was all diese Listen auslassen
Zwei Dinge, konsequent. Das erste ist was passiert, wenn der Upstream-Anbieter ausfällt: Jedes Gateway wirbt mit Failover, doch nur wenige veröffentlichen, was sie tatsächlich tun — die Routing-Kette, das Timeout und ob eine fehlgeschlagene Anfrage berechnet wird. Was ein Gateway für dich übernehmen sollte ist die Funktionsmenge, die du hinterfragen solltest; die Antwort sollte konkret sein.
Das zweite ist der Migrationsaufwand. Jedes Produkt in den Kategorien 1, 2 und 4 spricht das OpenAI-Drahtprotokoll, daher sind Wechsel ein base_url- und Schlüsseltausch — die Bindung ist also gering, und die Entscheidung ist weit weniger folgenreich, als eine Vergleichstabelle mit neun Einträgen nahelegt. Der Leitfaden zur OpenAI-kompatiblen API enthält die Details auf Protokollebene.
Häufig gestellte Fragen
Was ist das beste LLM-Gateway?
Es gibt nicht das eine beste, weil „LLM-Gateway“ vier Produkte bezeichnet, die keine Ersatzprodukte sind. Wenn du überhaupt keine Anbieter-Konten möchtest, gehört ein Gateway mit weiterverkauftem Zugriff wie Kunavo oder OpenRouter in diese Kategorie. Wenn du bereits Anbieter-Konten besitzt und Routing sowie Governance darüber möchtest, ist eine gehostete Control Plane wie Portkey oder TrueFoundry gemeint. Wenn du die Software selbst betreiben möchtest: LiteLLM oder MLflow AI Gateway. Wenn du vor deinen eigenen Schlüsseln nur Caching, Ratenbegrenzungen und Analysen möchtest: Cloudflare AI Gateway. Wähle zuerst die Kategorie, bevor du Funktionstabellen vergleichst.
Was ist ein LLM-Gateway?
Ein LLM-Gateway ist ein einzelner Endpunkt zwischen deiner Anwendung und einem oder mehreren Modellanbietern, sodass dein Code auf eine API und einen Schlüssel statt auf je einen pro Anbieter zielt. Über diese gemeinsame Definition hinaus unterscheiden sich die Produkte stark: Einige verkaufen Modellzugriff weiter und verwalten die Anbieter-Zugangsdaten für dich, andere leiten Anfragen über Anbieter-Konten weiter, die du selbst besitzt, und wieder andere sind Bibliotheken, die du in deiner eigenen Infrastruktur bereitstellst.
Was ist der Unterschied zwischen einem LLM-Gateway und einem LLM-Router?
In der Praxis werden die Begriffe synonym verwendet, und die meisten als Router vermarkteten Produkte sind Gateways mit Routing-Funktionen. Wo eine Unterscheidung getroffen wird, betont „Router“ die Auswahl zwischen Modellen oder Anbietern pro Anfrage — nach Kosten, Latenz oder Verfügbarkeit — während „Gateway“ den zentralen Einstiegspunkt betont, der auch Authentifizierung, Ausgabenlimits, Protokollierung und Failover übernimmt. Kaufentscheidungen hängen selten vom Begriff ab.
Brauche ich ein LLM-Gateway, wenn ich nur einen Anbieter nutze?
Für Routing normalerweise nicht, denn genau diese Funktion rechtfertigt die meisten Gateways. Ein Anbieter und ein Schlüssel bedeuten, dass es nichts zu routen gibt. Gründe, die auch bei einem einzigen Anbieter gelten, sind Ausgabenlimits, Anfrageprotokollierung, die Verteilung von Schlüsseln an ein Team und der Failover zu einem zweiten Anbieter, falls der erste ausfällt — wobei Letzteres für mehr als einen Anbieter spricht und damit Routing wieder relevant macht.
Ist ein Open-Source-LLM-Gateway besser als ein gehostetes?
Sie erfüllen unterschiedliche Anforderungen, statt im direkten Ranking gegeneinander anzutreten. Open Source und Self-Hosting bedeuten, dass Prompttext deine Infrastruktur nie verlässt und du den Code lesen und anpassen kannst — dafür musst du einen Dienst betreiben und patchen. Ein selbst gehosteter Proxy ist ein Paket in deinem Build und bringt damit deine CI/CD und deinen Cluster in dessen Schadensradius. Ein gehostetes Gateway entfernt diese betriebliche Oberfläche und schafft eine andere Exposition: Dein Schlüssel und dein Prompttext durchlaufen einen Drittanbieter. Regulierte Daten entscheiden normalerweise zugunsten des Self-Hostings.
Welches LLM-Gateway ist am günstigsten?
Die günstigste Lösung hängt davon ab, welchen Teil der Rechnung du meinst. BYO-Key-Tools (LiteLLM, Portkey, Helicone, Cloudflare) erhöhen die Inferenzkosten wenig oder gar nicht, weil du weiterhin die eigenen Anbieterpreise zahlst — das Gateway berechnet die Control Plane, nicht die Token. Gateways mit weiterverkauftem Zugriff setzen ihre eigenen Einheitspreise fest: Kunavo führt die meisten Modelle unter den offiziellen Anbieterpreisen auf — Claude Sonnet 4.6 zu $2.10 / $10.50 pro 1M Token gegenüber $3.00 / $15.00 von Anthropic. Wenn du ausgehandelte Anbieter-Verträge hast, gewinnt BYO-Key fast immer; wenn du heute öffentliche Listenpreise zahlst, kann ein Wiederverkäufer unter dem Listenpreis günstiger sein als dein eigenes Konto.
Welche LLM-Gateways unterstützen Bild-, Video- und Audiomodelle?
Die Abdeckung variiert je Anbieter und ändert sich häufig. Prüfe daher die konkreten benötigten Modelle anhand jedes Katalogs, statt einem Kategorienamen zu vertrauen. Kunavo führt Bild-, Video- und Musikmodelle mit demselben Schlüssel und Guthaben wie Chat, und die OpenRouter-Dokumentation beschreibt Bild-, Video- und Sprachendpunkte neben Chat. Wenn Multimodalität mit einem Schlüssel erforderlich ist, schränkt diese Prüfung das Feld schneller ein als jedes andere Kriterium.