Her modelin bir bağlam penceresi vardır; bu 400 hatası istem + istenen çıktının sığmadığı anlamına gelir. Safça istemi kesmek, RAG uygulamalarının sessizce aptallaşmasına neden olur. İşte konuyu kaybetmeden pencereye sığmanın yolu.
Hata
// Anthropic:
{"type":"error","error":{"type":"invalid_request_error",
"message":"prompt is too long: 214481 tokens > 200000 maximum"}}
// OpenAI-compatible:
{"error":{"type":"invalid_request_error","code":"context_length_exceeded",
"message":"This model's maximum context length is 128000 tokens..."}}Nedenler ve çözümler özeti
| Neden | Çözüm |
|---|---|
| Sınırsız sohbet geçmişi | Kayan bir pencere ve sürekli güncellenen bir özet tutun; her turda tüm transkripti yeniden oynatmayın. |
| RAG çok fazla / çok büyük parça getiriyor | Daha az, daha küçük ve yeniden sıralanmış parçalar getirin — pencere dolmadan çok önce kalite hacimden önemlidir. |
| Kalan alan için max_tokens çok büyük | Pencere hem girdiyi hem çıktıyı kapsar: bütçe = pencere − girdi. max_tokens değerini kalan alana göre belirleyin. |
| İş yükü gerçekten daha fazla bağlam gerektiriyor | Sabit bir sığdırma çözümü geliştirmek yerine uzun bağlamlı bir model katmanına (ör. 1M pencereli modeller) geçin. |
Kırpmadan önce ölçün
Token'ları API'nin saydığı şekilde sayın (Anthropic'in count_tokens uç noktası vardır; tiktoken, OpenAI-wire modelleri için yaklaşık sonuç verir). Her istek için sayımı günlüğe kaydedin — çözüm, 1,05× aşım ile 5× aşım arasında farklıdır.
Geri getirmeyi ve geçmişi kısaltın, talimatları asla kısaltmayın
Şu sırayla azaltın: (1) eski sohbet turları → özetleyin, (2) getirilen parçalar → yeniden sıralayın ve top-k'yı koruyun, (3) ayrıntılı few-shot örnekleri → daha az ve daha sıkı örnekler. Sistem talimatlarını en sona bırakın — davranış burada tanımlanır.
Yapısalsa daha uzun bir pencereye geçin
Meşru girdiler haftalık olarak pencereyi aşıyorsa bu bir model seçimi sorunudur. Uzun bağlam katmanları (200K–1M), sözleşme analizi, kod tabanı soru-cevapları ve çok belgeli çalışmalar için tam olarak vardır — yükseltme maliyetini kırpmaya harcadığınız mühendislik zamanı ile karşılaştırın.
Kunavo üzerinden çağrı yapıyorsanız
Kunavo kataloğu, tek bir anahtar üzerinden 1M pencereli Claude 5 ailesi modelleri de dahil olmak üzere farklı bağlam katmanlarını kapsar; bu nedenle bir iş yükünü 200K'dan 1M pencereye taşımak yalnızca model dizesini değiştirmeyi gerektirir ve her model sayfası bütçeleme için penceresini token başına fiyatının yanında belirtir.
Sık sorulan sorular
max_tokens bağlam penceresine dahil edilir mi?
Evet — pencere, girdiyi ve oluşturulan çıktıyı sınırlar. 195K istem içeren 200K pencereli bir model max_tokens: 8000 değerini karşılayamaz. Kalanı hesaplayın ve max_tokens değerini buna göre sınırlayın.
İstem önbelleğe alma bağlam taşması için çözüm müdür?
Hayır — önbelleğe alma, tekrarlanan uzun istemlerin MALİYETİNİ azaltır; boyutunu değil. İstemin önbelleğe alınmış veya alınmamış olması fark etmeksizin pencereye karşı sayılan token sayısı aynıdır.
İlgili kılavuzlar
Hata anlamlarına ilişkin daha fazla bilgi hata referansı bölümünde; anahtar almak kayıt ve kimlik doğrulama kılavuzu üzerinden bir dakika sürer.