Gateway de LLM — uma API para todos os modelos: roteamento, fallback, cobrança e observabilidade (2026)

Um gateway de LLM é um endpoint de API único que fica na frente de vários provedores de modelos de linguagem de grande porte. Em vez de integrar Anthropic, Google e OpenAI separadamente — três SDKs, três chaves, três faturas — seu aplicativo envia um formato de solicitação a uma única URL base com uma única chave, e o gateway faz o roteamento, tenta novamente em caso de falha, mede o uso e aplica limites de gastos. Ele é o plano de controle entre seu produto e os modelos.

O que um gateway de LLM faz

Um gateway de LLM de produção tem seis responsabilidades. A primeira é o que torna as outras cinco possíveis: uma superfície de API única e estável.

Um endpoint, todos os provedores

O gateway transforma “adicionar um provedor” em uma alteração de uma string. O mesmo cliente alcança Claude e GPT — você roteia definindo o campo model:

from openai import OpenAI

# One LLM gateway endpoint + one key fronts every provider.
gateway = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the LLM gateway
)

# Route by changing a string — no per-provider SDK, key or client.
def ask(model: str, prompt: str) -> str:
    r = gateway.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    return r.choices[0].message.content

print(ask("claude-sonnet-5", "Draft a release note."))   # Anthropic
print(ask("claude-haiku-4-5", "Classify this ticket."))    # Anthropic, cheap tier
print(ask("gpt-5-6-terra", "Summarize the thread."))             # OpenAI

Gateway de LLM versus gateway de API

Um gateway de API tradicional — Kong, AWS API Gateway, NGINX — roteia HTTP genérico e gerencia autenticação, cotas e limitação de taxa. Um gateway de LLM é criado especificamente para tráfego de modelos: entende tokens e streaming, faz cache de prompts e roteamento de modelos, mede gastos por chave e (no caso de gateways de inferência) cobra pelo uso. Eles podem ser combinados — algumas equipes colocam um gateway de LLM atrás do gateway de API existente. Para um aprofundamento conceitual, consulte o que é um gateway de IA? e Kunavo versus Kong AI Gateway para o caso de gerenciamento de APIs empresariais.

Dois tipos de gateway de LLM

A categoria se divide conforme quem mantém o relacionamento com o provedor:

Os gateways BYO-key adicionam controle e observabilidade às suas contas existentes da Anthropic, Google e OpenAI — você continua mantendo essas chaves. Os gateways de inferência ficam à frente dos próprios provedores: recarregue um único saldo e nunca acesse um console de provedor. Veja Kunavo versus Portkey, Helicone, LiteLLM e OpenRouter para as comparações completas.

Segurança e conformidade

Um gateway também é o lugar natural para aplicar segurança: as chaves nunca saem do seu servidor, limites de gasto e de taxa por chave contêm o raio de impacto, e o registro centralizado fornece uma única trilha de auditoria. Para implantações regulamentadas, saiba o que a Kunavo não oferece: não há DPA, Zero Data Retention nem residência de dados na UE. As requests são processadas nos EUA e encaminhadas aos provedores upstream de modelos, sujeitos às próprias políticas de retenção; se você precisar de DPA, ZDR ou residência na UE, contrate diretamente a Anthropic, a OpenAI ou o Google segundo seus termos enterprise. O playbook por região está no guia de conformidade de IA.

Kunavo como gateway de LLM

O Kunavo é um gateway de LLM de inferência. Ele é compatível com o protocolo da OpenAI em https://api.kunavo.com/v1, portanto, se seu código consegue chamar a API da OpenAI, consegue chamar o Kunavo alterando apenas a URL base. Um token bearer sk-kn- alcança Claude, GPT e o restante do catálogo — com preços aproximadamente 30% abaixo das tarifas de tabela dos provedores, no modelo pré-pago a partir de uma recarga de $10, em uma única carteira cobrada pela Stripe. Além de texto, ele também oferece geração de imagens, vídeos e áudio com a mesma chave.

Comece pelo guia de início rápido, consulte o guia da API compatível com OpenAI para entender como o formato de protocolo permite alternar entre modelos locais (Ollama) e hospedados sem alterar o código, e use a calculadora de custos de LLM para estimar o custo de uma carga de trabalho — ou o restante das ferramentas gratuitas de custo, que calculam os preços dos lados Claude e OpenAI segundo suas próprias regras de cache. Se você alternar um cliente de codificação entre provedores em vez de se comprometer com um só, a configuração do CC Switch explica isso pelo lado do gateway.

Perguntas frequentes