LiteLLM alternatifleri (2026) — barındırılan ağ geçitleri, kendi anahtarınızı kullanma kontrol katmanları ve ne zaman mevcut çözümde kalmalı

LiteLLM, kendi çalıştırdığınız açık kaynaklı ve OpenAI uyumlu bir proxy'dir: kendi sağlayıcı hesaplarınızın önünde durur ve kodunuza bunların tamamında tek bir uç nokta ile tek bir anahtar biçimi sunar (belgeleri). Ekipler iki ilgisiz nedenle alternatif arar. Operasyonel: kendi barındırdığınız bir proxy, yamalamanız, ölçeklendirmeniz ve hakkında uyarı almanız gereken bir hizmet daha demektir. Tedarik zinciri: 24 Mart 2026'da bir saldırgan PyPI'ye arka kapı içeren iki LiteLLM sürümü yayımladı ve olay, “derlemenizdeki bir paket” saldırı yüzeyini bunu daha önce maliyetlendirmemiş birçok ekibin önüne koydu. Bu karşılaştırma, her motivasyonu ona gerçekten yanıt veren araçla eşleştirir — bu aramada yedi tedarikçi listesine göre daha güçlü olan LiteLLM'de kalma seçeneği de dahil.

Önyargı baştan açıkça belirtilmiştir: Kunavo bizim ürünümüzdür ve ilk sırada listelenmiştir. Aşağıdaki diğer her araç için gerçek bir öneri sunulmuş, doğruladığımız ayrıntılar karşılaştırma sayfalarında yer almakta ve değerlendirmediğimiz iki araç yalnızca kendi sitelerinin belirttiği düzeyde açıklanmaktadır.

Kısa liste

İşin çoğunu belirleyen ayrım

LiteLLM aynı anda iki iş yapar ve çoğu alternatif bunlardan yalnızca birini yapar. Bir proxydir (birden çok sağlayıcı üzerinde tek uç nokta) ve bir kendi anahtarlarınızı kullandığınız araçtır (sağlayıcı hesapları size ait kalır). Bir barındırılan çıkarım ağ geçidi — Kunavo, OpenRouter — ikisinin de yerini alır: ağ geçidinin üst düzey kimlik bilgilerini tuttuğu ve kullanımı size faturalandırdığı için çalıştırılacak bir proxy veya tutulacak sağlayıcı hesabı yoktur. Bir barındırılan kontrol düzlemi — Portkey, TrueFoundry — yalnızca ilkinin yerini alır: proxy işletmeyi bırakırsınız, hesaplar sizde kalır. Hangi yarının yerini değiştirdiğinizi bilmek bu listenin çoğunu netleştirir. Bu yapının kendisi LLM ağ geçidi rehberinde açıklanmaktadır.

İnsanları gerçekten aramaya yönelten şey

Bu aramadaki en üst sonuç bir liste yazısı değil — tedarik zinciri saldırısını konu alan bir Reddit başlığıdır. Olanları LiteLLM'in kendi güvenlik güncellemesinden aktaralım: 24 Mart 2026 tarihinde bir saldırgan, dağıtılan wheel dosyalarına kötü amaçlı kod enjekte ederek litellm==1.82.7 ve litellm==1.82.8 sürümlerini PyPI'da yayımladı. Paketler, PyPI onları karantinaya almadan önce 10:39 UTC'den itibaren yaklaşık 40 dakika erişilebilirdi. Sistemin ele geçirilmesinin kaynağı, LiteLLM'in CI/CD güvenlik taraması iş akışındaki Trivy bağımlılığına kadar izlendi; saldırgan resmî sürüm yayımlama iş akışını atlatarak doğrudan PyPI'a yükleme yaptı. SecurityWeek'e göre 2.500'den fazla kuruluş etkilendi.

LiteLLM'in düzeltme çalışmaları kayıt altına alınmış durumda ve kapsamlı: ele geçirilen paketler kaldırıldı, bakımcı kimlik bilgileri yenilendi, adli inceleme için Mandiant görevlendirildi ve v1.83.0; yalıtılmış derleme ortamları, daha güçlü sürüm kontrolleri ve cosign imzalı Docker imajları içeren yeniden oluşturulmuş bir CI/CD hattı üzerinden yayımlandı. 1.83.0 veya daha yeni bir sürüm kullanıyorsanız ve bu 40 dakikalık pencerede zehirlenmiş bir sürümü çalıştırmadıysanız, bu olay sizin açınızdan kapanmıştır.

Bu aramanın insanları hâlâ harekete geçirmesinin nedeni LiteLLM'e özgü olmaktan çok yapısaldır. Kendi sunucunuzda barındırılan bir proxy, derlemenizin parçası olan bir pakettir; bu da CI/CD sisteminizi ve kümenizi onun etki alanına dahil eder. Üzerinde durulmaya değer cümle budur — MLflow AI Gateway dahil, bu sayfadaki kendi sunucunuzda barındırılan her alternatif için de aynı derecede geçerlidir ve barındırılan bir uç noktanın ortadan kaldırdığı tek şey budur: bir HTTPS URL'si çağırırsınız; dolayısıyla zehirlenebilecek bir paket ve ağınız içinde çalışan ağ geçidine ait hiçbir şey yoktur.

Dürüst olmak gerekirse diğer yarı: barındırılan bir ağ geçidi daha güvenli değildir; farklı şekilde açığa çıkar. API anahtarınız ve istem metniniz başkasının altyapısından geçer ve kendi yama riskinizin yerine onların ihlal riskini üstlenirsiniz. İstem metni altyapınızdan çıkamıyorsa kendi sunucunuzda barındırma doğru cevaptır ve bu sayfanın geri kalanı yapmamanız gereken bir ödünleşimle ilgilidir.

1. Kunavo — proxy yok, sağlayıcı hesabı yok

Kunavo, barındırılan bir çıkarım ağ geçididir: OpenAI uyumlu tek bir temel URL, tek bir sk-kn- anahtar, kullanıma göre öde bakiyesi ve üst düzey sağlayıcı kimlik bilgilerini sizin yerinize biz tutarız. LiteLLM'e kıyasla bu, iş bölümünün farklı olduğu anlamına gelir — proxy çalıştırmaz ve Anthropic, Google ve OpenAI'da ayrı ayrı hesapları sürdürmezsiniz.

Fiyat: kataloğun çoğu sağlayıcıların resmî fiyatlarının altında listelenir — Claude Sonnet 4.6 için 1 milyon token başına fiyat $2,10 / $10,50 iken Anthropic'in fiyatı $3,00 / $15,00 düzeyindedir. LiteLLM hiçbir şeyi yeniden satmadığı için fiyatın üzerine ek ücret koymaz; ödediğiniz tutar kendi sağlayıcınızla yaptığınız anlaşmaya göre belirlenir. Bu nedenle karşılaştırma, bizim fiyatımız ile doğrudan sağlayıcınıza ödediğiniz fiyat arasındadır, sıfır ile değil. Kapsam: aynı anahtar ve bakiye üzerinden sohbet, görüntü, video ve müzik modelleri. Yapmadığı şey: kendi sağlayıcı anahtarlarınızı yönlendirmek — LiteLLM'in koruduğu ve bizim yerini almadığımız BYO-key kısmı budur. Ayrıntılar: Kunavo ve LiteLLM karşılaştırması.

2. OpenRouter — en geniş model yelpazesi

Diğer barındırılan çıkarım ağ geçidi ve birim fiyattan çok katalog genişliği önemli olduğunda seçilecek olan: tek cüzdanda geniş bir sağlayıcı kümesinden yüzlerce model; ayrıca Kunavo'nun sunmadığı ücretsiz katmanlar ve kendi anahtarınızı kullanarak yönlendirme. LiteLLM'den hesap tutmayı bırakmak istediğiniz için ayrılıyorsanız, OpenRouter ve Kunavo gerçekçi iki seçenektir. Kunavo ve OpenRouter karşılaştırması ikisini yan yana koyar, OpenRouter özeti ise alanın geri kalanını kapsar.

3. Portkey — anahtarlarınızı koruyun, operasyonu bırakın

Zaten sahip olduğunuz sağlayıcı hesapları üzerinde çalışan barındırılan bir kontrol düzlemi: kendi proxy'nizi çalıştırmadan yönlendirme, geri dönüşler, güvenlik kuralları ve gözlemlenebilirlik. LiteLLM'i yönlendirme ve bütçe özellikleri için seçtiyseniz ve gerçekten vazgeçmek istediğiniz tek şey işletmekse, en yakın alternatiftir. Ayrıntılar: Kunavo ve Portkey karşılaştırması.

4. Helicone — tüm neden gözlemlenebilirlik idiyse

Birçok LiteLLM kurulumu, birilerinin istek günlüklerine ve ekip bazında maliyet ilişkilendirmesine ihtiyaç duyması ve bunları proxy ile elde etmesi nedeniyle vardır. Sizin durumunuz buysa, mevcut sağlayıcı çağrılarınızın üzerinde çalışan bir gözlemlenebilirlik katmanını işletmek, bir ağ geçidinden çok daha küçük bir iştir. Ayrıntılar: Kunavo ve Helicone karşılaştırması.

5. TrueFoundry — satın alma ekibinin bir tedarikçiye ihtiyacı olduğunda

Bu aramada 2. sırada yer alır ve kendi LiteLLM karşılaştırmasına sahiptir. Gecikme ek yükü, dağıtım esnekliği, SLA'ler, yönetişim ve denetime hazır kontroller üzerinden satılan bir kurumsal yapay zekâ ağ geçididir (ürün sayfası). Değerlendirmemizi yapmadık; bu nedenle bu giriş bir öneriden ziyade yönlendirmedir: engeliniz açık kaynaklı bir proxy'nin destek sözleşmesine sahip olmamasıysa, bu sorunu çözen kategori budur ve karşılaştırmayı onu yazanların bilgisiyle okumaya değer.

6. MLflow AI Gateway — benzer nitelikte açık kaynaklı geçiş

3. sırada yer alır ve bu sayfada LiteLLM'in kendisine en yakın seçenektir: kendi sağlayıcı anahtarlarınızın önünde çalışan, MLflow projesinin bir parçası olarak sürdürülen açık kaynaklı, kendi sunucunuzda barındırılan bir ağ geçidi. Açıkça belirtmek gerekir: bir kendi sunucunuzda barındırılan proxy'yi başka biriyle değiştirmek, dağıtım modelini ve dolayısıyla yukarıda açıklanan saldırı yüzeyini korur. Bu meşru bir seçimdir — hoşlanmadığınız şey model değil projeyse istediğiniz budur.

7. Cloudflare AI Gateway — uçta önbelleğe alma ve sınırlar

Zaten sahip olduğunuz sağlayıcı hesaplarının önünde duran ince bir proxy: yeniden satılan çıkarım olmadan yanıt önbelleğe alma, hız sınırlama, yeniden denemeler ve analiz. Kunavo veya OpenRouter dahil olmak üzere herhangi bir çıkarım kaynağıyla birlikte çalışır; birinin yerini almaz. Ayrıntılar: Kunavo ve Cloudflare AI Gateway karşılaştırması.

LiteLLM hâlâ ne zaman doğru seçimdir?

• İstem metni altyapınızdan çıkamaz. Düzenlemeye tabi veriler, hava boşluklu ortamlar veya barındırılan bir ağ geçidinin karşılayamayacağı bir politika. Cevap kendi sunucunuzda barındırmadır ve tek soru hangi kendi sunucunuzda barındırılan proxy'nin seçileceğidir.
• Sağlayıcı sözleşmelerini müzakere ettiniz. Anthropic, OpenAI veya Google'daki taahhütlü harcama ya da kurumsal fiyatlar, bir yeniden satıcının listelediği her şeyden daha değerlidir ve bunları kullanmaya devam etmenin yolu kendi anahtarınızı kullanan araçlardır.
• Anahtar başına bütçelerini ve ekip yönlendirmesini kullanıyorsunuz. Bu özellikler birçok LiteLLM kurulumunun varlık nedenidir; temel URL değişikliğinin tüm geçiş olduğunu varsaymadan önce alternatifinizin bunları kapsadığını kontrol edin.
• Okuyup yamalayabileceğiniz kaynak kodu istiyorsunuz. Kontrol ettiğiniz açık kaynaklı bir proxy gerçek bir özelliktir ve Mart 2026 olayı bunu ortadan kaldırmaz — bu, o zamandan beri düzeltilmiş bir sürüm hattı ihlaliydi; proxy'nin kendisindeki bir kusur değildi.

Geçiş iki satırdır

Buradaki çıkarımı yeniden satan her alternatif OpenAI kablosuz protokolünü destekler; bu nedenle LiteLLM proxy'sinden ayrılmak bir base_url ve anahtar değişimidir — istek ve yanıt biçimleri değişmez:

# Before: your own LiteLLM proxy, your own provider keys,
# your own container to patch.
client = OpenAI(
    api_key=os.environ["LITELLM_MASTER_KEY"],
    base_url="http://litellm.internal:4000",
)

# After: a hosted endpoint. No package in your build, no proxy to run.
client = OpenAI(
    api_key=os.environ["KUNAVO_API_KEY"],
    base_url="https://api.kunavo.com/v1",
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)

İki satıra sığmayan kısım, LiteLLM'in yönlendirme dışında yaptığı her şeydir: anahtar başına bütçeler, ekip dağıtımı, özel geri çağrılar. Önce bunların envanterini çıkarın. Kablo düzeyindeki ayrıntılar OpenAI uyumlu API rehberinde yer alır; bir ağ geçidinin sizin için neleri ele alması gerektiği ise bir alternatifte kontrol edilmesi gereken özellik setini kapsar.

Sık sorulan sorular