Claude API 529 overloaded_error — nghĩa là gì và xử lý ra sao

Tạo retry mà không làm sự cố nghiêm trọng hơn

Hãy xử lý 529 như “429 không có Retry-After”. Dùng exponential backoff bắt đầu khoảng 2 giây, thêm jitter, đặt giới hạn 30–60 giây, sau khoảng năm lần thì từ bỏ và đưa công việc vào hàng đợi. Jitter là điểm then chốt. Không có jitter, mọi client sẽ quay lại cùng một lúc và kéo dài chính tình trạng quá tải mà chúng đang cố thoát khỏi.

Chuyển tiếp thay vì để rơi

Định nghĩa chuỗi dự phòng cho các luồng nhạy cảm với độ trễ. Với điểm cuối tương thích OpenAI, thứ cần thay đổi chỉ là một chuỗi — không cần tạo SDK hay tài khoản mới:

PREFERRED = ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]

def complete(messages):
    last = None
    for model in PREFERRED:
        try:
            return client.chat.completions.create(
                model=model, messages=messages, max_tokens=800)
        except APIStatusError as e:
            if e.status_code not in (429, 500, 529):
                raise
            last = e          # 과부하 — 다음 후보로
    raise last

Nghi ngờ mã của tôi là bước cuối cùng

Nếu 529 chỉ xuất hiện với một loại yêu cầu cụ thể trong khi các lệnh gọi khác cùng thời điểm vẫn thành công, đó không phải sự cố diện rộng. Hãy kiểm tra xem luồng đó có gửi prompt lớn bất thường hoặc gọi liên tiếp trong một vòng lặp hẹp hay không. Ngược lại, nếu mọi lệnh gọi đồng loạt nhận 529 rồi tự lắng xuống, nguyên nhân là dung lượng. Khi đó cần chỉnh retry và phương án dự phòng, không phải refactor.

529 có phải lỗi của tôi không?

Không. Đây là vấn đề dung lượng ở phía nhà cung cấp. Trách nhiệm duy nhất của bạn là hai việc — không khuếch đại sự cố (backoff và jitter), đồng thời chuẩn bị đường vòng khi sự cố kéo dài hơn thời gian chờ cho phép.

529 khác 429 như thế nào?

429 là khi bạn vượt quá giới hạn của mình còn máy chủ vẫn bình thường. 529 là khi chính máy chủ quá tải còn giới hạn của bạn vẫn bình thường. Cả hai đều có thể retry, nhưng chỉ 429 đi kèm gợi ý Retry-After.

Trạng thái 529 thường kéo dài bao lâu?

Không thể dự đoán hay đảm bảo. Vì vậy, câu trả lời đúng là backoff có giới hạn và hàng đợi, không phải chèn một thời gian chờ cố định vào mã. Nếu luồng đó có thời gian chờ cho phép, phương án dự phòng sẽ tiếp quản thay vì tiếp tục chờ.

Các lệnh gọi thất bại với 529 có bị tính phí không?

Nếu đi qua Kunavo thì không. Các yêu cầu kết thúc bằng lỗi không thuộc diện tính phí. Nếu ký hợp đồng trực tiếp, hãy tuân theo quy tắc tính phí của từng nhà cung cấp.