Claude API 529 overloaded_error — lỗi này có nghĩa gì và cách vượt qua

Để retry không khuếch đại sự cố

Xử lý 529 như “429 không có Retry-After”: exponential backoff bắt đầu khoảng 2 giây, thêm jitter, giới hạn ở 30–60 giây, sau khoảng năm lần thì bỏ cuộc và đưa công việc vào hàng đợi. Phần thực sự hiệu quả là jitter: thiếu nó, mọi client sẽ quay lại cùng một thời điểm, kéo dài nguyên trạng tình trạng tắc nghẽn mà chúng muốn thoát khỏi.

Đừng gục ngã, hãy vòng qua

Hãy định nghĩa trước chuỗi dự phòng cho các đường dẫn nhạy cảm với độ trễ. Trên endpoint tương thích OpenAI, việc này chỉ là đổi một chuỗi — không cần kết nối thêm SDK và cũng không cần mở thêm tài khoản:

PREFERRED = ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]

def complete(messages):
    last = None
    for model in PREFERRED:
        try:
            return client.chat.completions.create(
                model=model, messages=messages, max_tokens=800)
        except APIStatusError as e:
            if e.status_code not in (429, 500, 529):
                raise
            last = e          # 過載 —— 試下一個
    raise last

Chỉ cuối cùng mới quay lại nghi ngờ chương trình của mình

Nếu chỉ một loại request nhận 529 còn các lệnh gọi khác cùng thời điểm vẫn thành công, đó không phải sự cố diện rộng: kiểm tra xem đường dẫn đó có gửi prompt lớn bất thường hay gửi liên tục trong một vòng lặp ngắn hay không. Ngược lại, nếu mọi lệnh gọi đồng thời bắt đầu nhận 529 rồi tự bình thường sau một thời gian, nguyên nhân là năng lực — thứ cần thay đổi là retry và dự phòng, không phải tái cấu trúc.

529 có phải vấn đề của tôi không?

Không. Đây là vấn đề năng lực ở phía nhà cung cấp. Trách nhiệm của bạn chỉ gồm hai việc: không khuếch đại sự cố (backoff và jitter), và có nơi để vòng qua khi sự cố kéo dài quá ngân sách độ trễ của bạn.

529 khác 429 ở điểm nào?

429 là bạn đã vượt giới hạn của mình còn máy chủ vẫn khỏe; 529 là chính máy chủ quá tải còn hạn mức của bạn không có vấn đề. Cả hai đều có thể retry, nhưng chỉ 429 mới kèm gợi ý Retry-After.

529 thường kéo dài bao lâu?

Không thể dự đoán và cũng không thể bảo đảm — vì vậy câu trả lời đúng là “backoff có giới hạn kèm hàng đợi”, không phải hard-code một thời gian chờ trong chương trình. Nếu đường dẫn đó có ngân sách độ trễ, mô hình dự phòng nên tiếp quản thay vì chờ.

Các lệnh gọi thất bại với 529 có bị tính phí không?

Qua Kunavo thì không: request kết thúc bằng lỗi không được đưa vào tính phí. Nếu ký hợp đồng trực tiếp với nhà cung cấp, điều đó tùy quy tắc tính phí của từng bên.