LLM geçidi — her model için tek API: yönlendirme, geri dönüş, faturalandırma ve gözlemlenebilirlik (2026)

LLM gateway, birçok büyük dil modeli sağlayıcısının önünde duran tek bir API uç noktasıdır. Anthropic, Google ve OpenAI'yi ayrı ayrı entegre etmek — üç SDK, üç anahtar, üç fatura — yerine uygulamanız tek bir temel URL'ye tek bir anahtarla tek bir istek biçimi gönderir; gateway yönlendirir, hata durumunda yeniden dener, kullanımı ölçer ve harcama sınırlarını uygular. Ürününüz ile modeller arasındaki kontrol düzlemidir.

LLM gateway ne yapar?

Üretim amaçlı bir LLM gateway altı sorumluluk taşır. Diğer beşini mümkün kılan ilk sorumluluk, tek ve kararlı bir API yüzeyidir.

Tek uç nokta, her sağlayıcı

Gateway, “sağlayıcı eklemeyi” tek dizelik bir değişikliğe dönüştürür. Aynı istemci Claude ve GPT'ye ulaşır — model alanını ayarlayarak yönlendirirsiniz:

from openai import OpenAI

# One LLM gateway endpoint + one key fronts every provider.
gateway = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the LLM gateway
)

# Route by changing a string — no per-provider SDK, key or client.
def ask(model: str, prompt: str) -> str:
    r = gateway.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    return r.choices[0].message.content

print(ask("claude-sonnet-5", "Draft a release note."))   # Anthropic
print(ask("claude-haiku-4-5", "Classify this ticket."))    # Anthropic, cheap tier
print(ask("gpt-5-6-terra", "Summarize the thread."))             # OpenAI

LLM gateway ve API gateway karşılaştırması

Geleneksel bir API gateway — Kong, AWS API Gateway, NGINX — genel HTTP'yi yönlendirir ve kimlik doğrulama, kotalar ile hız sınırlamayı yönetir. Bir LLM gateway model trafiği için özel olarak tasarlanmıştır: tokenları ve akışı anlar, istem önbelleklemesi ve model yönlendirmesi yapar, harcamayı anahtar başına ölçer ve (çıkarım gateway'lerinde) kullanımı faturalandırır. Birlikte kullanılabilirler — bazı ekipler LLM gateway'i mevcut API gateway'lerinin arkasına koyar. Kavramsal derinlemesine inceleme için AI gateway nedir? bölümüne, kurumsal API yönetimi durumu için Kunavo ve Kong AI Gateway karşılaştırmasına bakın.

İki tür LLM gateway

Kategori, sağlayıcı ilişkisini kimin yönettiğine göre ayrılır:

Kendi anahtarınızı getirdiğiniz gateway'ler, mevcut Anthropic, Google ve OpenAI hesaplarınızın üzerine kontrol ve gözlemlenebilirlik katmanı ekler — bu anahtarlar hâlâ sizdedir. Çıkarım gateway'leri sağlayıcıların önünde durur: tek bakiyeye para yükler, sağlayıcı konsoluna hiç dokunmazsınız. Tam karşılaştırmalar için Kunavo ve Portkey, Helicone, LiteLLM ve OpenRouter karşılaştırmalarına bakın.

Güvenlik ve uyumluluk

Bir ağ geçidi güvenliği uygulamak için de doğal bir yerdir: anahtarlar sunucunuzdan hiç çıkmaz, anahtar başına harcama sınırları ve hız limitleri etki alanını sınırlar, merkezi günlük kaydı ise tek bir denetim izi sağlar. Düzenlemeye tabi dağıtımlarda Kunavo'nun sunmadıklarını bilin: DPA, Zero Data Retention ve AB veri yerleşimi yoktur. İstekler ABD'de işlenir ve kendi saklama politikaları uygulanan üst model sağlayıcılarına iletilir; DPA, ZDR veya AB veri yerleşimine ihtiyacınız varsa Anthropic, OpenAI ya da Google ile kurumsal şartları altında doğrudan sözleşme yapın. Bölge bazlı uygulama kılavuzu AI uyumluluk kılavuzu bölümündedir.

LLM gateway olarak Kunavo

Kunavo bir çıkarım LLM gateway'idir. https://api.kunavo.com/v1'de OpenAI kablo biçimiyle uyumludur; dolayısıyla kodunuz OpenAI API'sini çağırabiliyorsa yalnızca temel URL'yi değiştirerek Kunavo'yu çağırabilir. Tek bir sk-kn- bearer token Claude, GPT ve kataloğun geri kalanına ulaşır — sağlayıcıların liste fiyatlarının yaklaşık 30% altında fiyatlandırılır; $10 yüklemeden itibaren kullandıkça öde modeli ve tek bir Stripe faturalı cüzdan sunar. Metnin yanı sıra aynı anahtarla görüntü, video ve ses üretimini de sağlar.

hızlı başlangıç ile başlayın; kablo biçiminin yerel (Ollama) ve barındırılan modeller arasında kod değişikliği olmadan geçiş yapmanızı nasıl sağladığını öğrenmek için OpenAI uyumlu API kılavuzuna, iş yükünün maliyetini tahmin etmek için LLM maliyet hesaplayıcısına bakın — veya Claude ve OpenAI taraflarını kendi önbellekleme kurallarıyla fiyatlandıran diğer ücretsiz maliyet araçlarını kullanın. Bir kodlama istemcisini tek bir sağlayıcıya bağlanmak yerine sağlayıcılar arasında değiştiriyorsanız CC Switch kurulumu bunu gateway tarafında ele alır.

Sık sorulan sorular