529 Claude API overloaded_error — arti dan penanganan yang benar

Buat percobaan ulang yang tidak memperburuk gangguan

Perlakukan 529 sebagai "429 tanpa Retry-After". Mulai exponential backoff sekitar 2 detik, gunakan jitter, batasi pada 30–60 detik, lalu menyerah setelah sekitar 5 kali dan pindahkan ke antrean. Bagian yang efektif adalah jitter. Tanpanya, semua klien kembali pada saat yang sama dan memperpanjang kepadatan yang seharusnya ingin mereka lewati.

Alihkan, jangan menjatuhkan

Siapkan rangkaian fallback untuk jalur yang ketat terhadap latensi. Jika endpoint kompatibel dengan OpenAI, yang perlu diubah hanya satu string — tidak perlu menambah SDK atau akun:

PREFERRED = ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]

def complete(messages):
    last = None
    for model in PREFERRED:
        try:
            return client.chat.completions.create(
                model=model, messages=messages, max_tokens=800)
        except APIStatusError as e:
            if e.status_code not in (429, 500, 529):
                raise
            last = e          # 過負荷 — 次の候補へ
    raise last

Curigai kode Anda sendiri sebagai langkah terakhir

Jika hanya jenis permintaan tertentu yang mendapat 529 sementara panggilan lain pada waktu yang sama berhasil, itu bukan gangguan menyeluruh. Periksa apakah jalur tersebut mengirim prompt yang sangat besar atau menembakkan permintaan dalam loop singkat. Sebaliknya, jika semua panggilan serentak mendapat 529 lalu pulih secara alami setelah beberapa saat, penyebabnya adalah kapasitas. Dalam kasus itu, yang perlu diperbaiki adalah percobaan ulang dan fallback, bukan refactoring.

Apakah 529 disebabkan oleh saya?

Tidak. Ini masalah kapasitas di sisi penyedia. Tanggung jawab kita hanya dua — tidak memperkuat gangguan (backoff dan jitter) dan menyediakan tujuan pengalihan ketika gangguan melampaui toleransi latensi.

Apa perbedaan 529 dan 429?

429 berarti Anda melampaui batas, sementara server itu sendiri normal. 529 berarti server kelebihan beban, sedangkan batas dan saldo Anda normal. Keduanya dapat dicoba ulang, tetapi hanya 429 yang menyertakan petunjuk Retry-After.

Biasanya berapa lama 529 berlangsung?

Tidak dapat diprediksi dan tidak ada jaminan. Karena itu, jawaban yang benar adalah "backoff berbatas + antrean", bukan menulis waktu tunggu tetap di dalam kode. Jika jalur tersebut memiliki toleransi latensi, fallback harus mengambil alih alih-alih menunggu.

Apakah panggilan yang gagal dengan 529 tetap ditagihkan?

Melalui Kunavo, tidak. Permintaan yang berakhir dengan kesalahan tidak ditagihkan. Jika berkontrak langsung, ikuti aturan penagihan masing-masing penyedia.