Gateway LLM — una API per ogni modello: routing, failover, fatturazione e osservabilità (2026)

Un gateway LLM è un singolo endpoint API che si trova davanti a molti provider di modelli linguistici di grandi dimensioni. Invece di integrare separatamente Anthropic, Google e OpenAI — tre SDK, tre chiavi, tre fatture — la tua app invia una richiesta con un'unica struttura a un unico base URL con una sola chiave, e il gateway la instrada, ritenta in caso di errore, misura l'utilizzo e applica i limiti di spesa. È il piano di controllo tra il tuo prodotto e i modelli.

Cosa fa un gateway LLM

Un gateway LLM di produzione svolge sei responsabilità. La prima è ciò che rende possibili le altre cinque: un'unica superficie API stabile.

Un endpoint, ogni provider

Il gateway trasforma “aggiungere un provider” in una modifica di una sola stringa. Lo stesso client raggiunge Claude e GPT — instradi impostando il campo model:

from openai import OpenAI

# One LLM gateway endpoint + one key fronts every provider.
gateway = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the LLM gateway
)

# Route by changing a string — no per-provider SDK, key or client.
def ask(model: str, prompt: str) -> str:
    r = gateway.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    return r.choices[0].message.content

print(ask("claude-sonnet-5", "Draft a release note."))   # Anthropic
print(ask("claude-haiku-4-5", "Classify this ticket."))    # Anthropic, cheap tier
print(ask("gpt-5-6-terra", "Summarize the thread."))             # OpenAI

Gateway LLM vs gateway API

Un gateway API tradizionale — Kong, AWS API Gateway, NGINX — instrada HTTP generico e gestisce autenticazione, quote e rate limiting. Un gateway LLM è progettato appositamente per il traffico dei modelli: comprende token e streaming, gestisce il caching dei prompt e l'instradamento dei modelli, misura la spesa per chiave e (per i gateway di inferenza) fattura l'utilizzo. Si combinano: alcuni team collocano un gateway LLM dietro il gateway API esistente. Per un approfondimento concettuale, consulta cos'è un gateway AI? e Kunavo vs Kong AI Gateway per il caso di gestione delle API aziendali.

Due tipi di gateway LLM

La categoria si divide in base a chi gestisce il rapporto con il provider:

I gateway BYO-key aggiungono controllo e osservabilità ai tuoi account Anthropic, Google e OpenAI esistenti — le chiavi restano tue. I gateway di inferenza si pongono davanti ai provider stessi: ricarichi un unico saldo e non accedi mai alla console di un provider. Consulta Kunavo vs Portkey, Helicone, LiteLLM e OpenRouter per il confronto completo.

Sicurezza e conformità

Un gateway è anche il luogo naturale per applicare la sicurezza: le chiavi non lasciano mai il tuo server, i limiti di spesa e di frequenza per chiave contengono il raggio d’azione di eventuali problemi e la registrazione centralizzata crea un unico audit trail. Per le implementazioni regolamentate, considera ciò che Kunavo non offre: nessun DPA, nessuna Zero Data Retention e nessuna residenza dei dati nell’UE. Le richieste vengono elaborate negli Stati Uniti e inoltrate ai provider upstream, ai quali si applicano le rispettive politiche di conservazione; se ti servono DPA, ZDR o residenza dei dati nell’UE, stipula un contratto direttamente con Anthropic, OpenAI o Google secondo i rispettivi termini enterprise. La guida operativa regione per regione è nella guida alla conformità AI.

Kunavo come gateway LLM

Kunavo è un gateway LLM di inferenza. È compatibile con il wire protocol di OpenAI su https://api.kunavo.com/v1, quindi se il tuo codice può chiamare l'API OpenAI può chiamare Kunavo modificando soltanto il base URL. Un token bearer sk-kn- raggiunge Claude, GPT e il resto del catalogo — con prezzi circa 30% inferiori alle tariffe di listino dei provider, pagamento a consumo a partire da una ricarica di $10, un unico portafoglio fatturato da Stripe. Oltre al testo, gestisce anche la generazione di immagini, video e audio con la stessa chiave.

Inizia con la guida rapida, consulta la guida all'API compatibile con OpenAI per capire come il formato wire ti permetta di passare tra modelli locali (Ollama) e ospitati senza modificare il codice, e il calcolatore dei costi LLM per stimare quanto costerà un carico di lavoro — oppure gli altri strumenti gratuiti per i costi, che calcolano i prezzi dei modelli Claude e OpenAI secondo le rispettive regole di caching. Se cambi provider in un client di programmazione invece di impegnarti con uno solo, la configurazione di CC Switch copre il caso dal lato del gateway.

Domande frequenti