Yapay zekâ maliyet optimizasyonu — LLM faturanızı %70-90 azaltma konusunda eksiksiz rehber

Beş teknik birlikte etkisini artırır. Her biri faturanın farklı bir bölümünü azaltır — üçünü birleştirmek gerçekçi olarak kalite kaybı olmadan %70 azalma sağlar; beşi %85–90'a yaklaştırır. Bu kılavuz, ölçülmüş tasarruflar ve her teknik için çalıştırılabilir kodla tam menüyü sunar. Her teknik, altta odaklanmış bir ayrıntılı kılavuza bağlanır.

Yatırım getirisine göre sıralanmış beş teknik

1. İstem önbelleğe alma — açık ara en yüksek getirili teknik

Sistem isteminiz 1.000 tokenın üzerindeyse ve aynı istemi 5 dakikalık bir pencerede ikiden fazla kez çağırıyorsanız, istem önbelleğe alma bedava tasarruftur. Anthropic, önbelleğe alınmış girdiyi giriş ücretinin 10% oranında (Claude Fable 5.1 için %2,5, Claude Opus 5.5 için %5) ücretlendirir; OpenAI eşdeğer işlemi otomatik olarak 10% oranında yapar. Eklenen tek alan:

# Prompt caching: 1 extra field = 10% rate on cached input
resp = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=600,
    system=[{
        "type": "text",
        "text": LONG_SYSTEM_PROMPT,
        "cache_control": {"type": "ephemeral"},   # cache this part
    }],
    messages=[{"role": "user", "content": question}],
)

Gerçekçi tasarruf: Sistem isteminiz büyük ve sabitse giriş maliyetinizden %60–90. /app/usage panonuzu inceleyin — cache_read_input_tokens 0 ise, karşılığını kalıcı olarak alacağınız 30 dakikalık işiniz var demektir. Ayrıntılı kılavuz.

2. Model katmanlama — yeterince iyi olan en ucuz modeli kullanın

Claude Haiku 4.5'in maliyeti, Claude Opus 4.7'nin maliyetinin yaklaşık %10'udur. Sınıflandırma, biçimlendirme, yönlendirme kararları ve basit özetler için Haiku fazlasıyla yeterlidir. Opus'u gerçekten zor akıl yürütme çağrılarına ayırın.

# Pick the cheapest model that's still good enough for the task.
# Escalate by difficulty: cheap (Haiku 4.5 / GPT-5.6 Terra) -> Sonnet 5 -> Opus 4.7
def pick_model(difficulty: int) -> str:
    if difficulty <= 2: return "claude-haiku-4-5"     # ~10x cheaper than Opus
    if difficulty <= 4: return "gpt-5-6-terra"        # a second family, cheap output
    if difficulty <= 7: return "claude-sonnet-5"
    return "claude-opus-4-7"

Katmanlama kararını oluşturma: önce küçük bir sınıflandırıcı (Haiku'nun kendisi bunu 100 giriş tokenıyla yapabilir), ardından yönlendirme. Çıktı kalitesini ayrılmış değerlendirmelerle ölçün. Sezgilerinizin seçim yapmasına izin vermeyin — kıyaslayın.

• Katman 0 (Haiku 4.5): sınıflandırma, çıkarma, çeviri, <2K girişin özetlenmesi — çağrı başına sentler
• Katman 1 (GPT-5.6 Terra): daha uzun özetleme, kod tamamlama, basit araç kullanımı — yine sentler, ancak uzun bağlamda daha iyi
• Katman 2 (Sonnet 5): gerçek akıl yürütme, çok adımlı aracılar, görüntü görevleri — üretimin temel modeli
• Katman 3 (Opus 4.7): yalnızca Sonnet'in doğru sonuç vermediğini doğruladığınızda

3. Çıkış sınırları — yalnızca okuduklarını değil, ürettiklerini sınırlayın

Çıkış tokenları genellikle girişten 4–5 kat daha pahalıdır. Gevşek bir max_tokens=4096 varsayılanı modeli gereksiz yere uzamaya teşvik eder. Sınırı kararlı biçimde koyun ve doğru işaretleyicide kesmek için durdurma dizilerini kullanın:

# Two-layer caps: per-call max_tokens + per-key wallet cap
client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[...],
    max_tokens=800,             # cap each call
    stop=["</answer>"],         # cut at terminator
)
# /app/keys → set "Spending limit" per key:
#   Production: $50/day · Experiment: $5/day · CI: $1/day

Çağrı başına max_tokens sınırını /app/keys içindeki anahtar başına cüzdan harcama sınırıyla eşleştirin — kontrolden çıkan bir döngü veya hata günlük tavanınızı aşamaz. Her ikisi de önemli olan iki katman.

4. Paralellik — toplu işleme uygun iş yükleri için

1.000 bağımsız öğeyi (geri bildirimleri sınıflandırma, potansiyel müşterileri puanlama, açıklamalar oluşturma) işliyorsanız seri çağrılar bir saat sürer. AsyncOpenAI ve eşzamanlılık sınırıyla asenkron işlem bunu bir dakikadan kısa sürede tamamlar — daha sıkı zaman aşımları da yavaş üst akışlarda hızlıca başarısız olmanızı sağlar. Paralellik token başına maliyeti düşürmez, ancak bu maliyeti düşüren mimari kalıpları (idempotent işleme, daha sıkı yeniden deneme bütçeleri) mümkün kılar.

5. Yeniden deneme düzeni — kontrolden çıkan yeniden denemeler için ödeme yapmayın

Saf kod, 400'ler dahil her hatada yeniden dener. Bu, başarısızlıklar için ödeme yapmak demektir (Kunavo'da 4xx istekleri ücretlendirilmez, ancak hız sınırı bütçesini ve geçen süreyi tüketirsiniz). Doğru politika: yalnızca 408/429/5xx'i yeniden deneyin; jitter ile üstel geri çekilme, en fazla 5 deneme ve toplam 30 saniye bekleme kullanın. Diğer her durumda hızlıca başarısız olun ve hatayı gösterin.

Tasarruf pratikte nasıl görünür?

Aylık 5.000 ABD doları harcayan ve Kunavo kullanan bir SaaS'ta gerçekçi, ölçülmüş tasarruf:

• İstem önbelleğe alma eklendi: 2.000 ABD doları tasarruf (−%40)
• Sınıflandırma için Haiku katmanlama: 800 ABD doları tasarruf (−%16)
• Daha sıkı max_tokens: 400 ABD doları tasarruf (−%8)
• Toplam: aylık 3.200 ABD doları tasarruf, 1.800 ABD doları harcama (toplamda −%64)

Bunlar birbirinin üzerine eklenir — sonraki her teknik zaten azaltılmış temel üzerinden çalışır. Önce önbelleğe alma uygulanmazsa diğerleri daha az tasarruf sağlar. Sıra önemlidir: 1 ile başlayın, ardından 2, sonra 3.

Reklam edildiği gibi çalışmayanlar

• "Her şey için embedding" — embedding'ler metin aramasında tasarruf sağlar, üretimde değil. Ucuzdurlar, ancak LLM çağrısı maliyetini azaltmazlar
• "Maliyet için yerel fine-tune" — yalnızca dar bir görevde günde 10M+ token işliyorsanız gerekçelendirilebilir. Çoğu ekip için istem önbelleğe alma + Haiku katmanlama, kendi sunucusunda barındırmanın operasyonel karmaşıklığını aşar
• "Daha ucuz toplayıcılar" — Kunavo çoğu modeli sağlayıcının resmî ücretinin altında zaten fiyatlandırır. Daha ucuz toplayıcılar genellikle istediğiniz modeli sessizce daha ucuz bir modelle değiştirerek kazanır

Sonraki adımlar

Önce önbelleğe almayı uygulayın — yatırılan saat başına en yüksek getiri ondadır. Ardından /app/usage panonuzdaki model ve katman ayrımını ölçümleyin. Sonra katmanlayın. Aylık etkin kullanıcı başına maliyeti temel metrik olarak izleyin — etkileşim büyürken sabit veya düşüyorsa kazanıyorsunuz.

Sık sorulan sorular