Gemini 503 “The model is overloaded”(UNAVAILABLE) — 재시도가 작동하는 경우와 중단할 시점

“The model is overloaded”는 귀하의 문제가 아닌 유일한 Gemini 오류입니다. 해당 모델의 서빙 풀이 현재 용량이 없는 것입니다. 프로젝트 설정으로 이를 방지할 수는 없습니다. 귀하가 제어할 수 있는 것은 얼마나 안정적으로 상황을 견디는지와 문제가 해결되지 않을 때 어떤 폴백을 선택하는지입니다.

오류

response (HTTP 503)

{
  "error": {
    "code": 503,
    "message": "The model is overloaded. Please try again later.",
    "status": "UNAVAILABLE"
  }
}

원인과 해결 방법 한눈에 보기

원인	해결 방법
해당 모델의 서빙 풀에서 수요 급증	지터를 포함한 지수 백오프를 사용하세요. 급증은 보통 몇 초에서 몇 분 내에 지나갑니다.
프리뷰 / 실험적 모델 변형	-exp 및 preview 빌드는 작은 풀에서 실행되므로 먼저 과부하됩니다. 운영 환경에서는 안정적인 별칭을 고정하세요.
피크 시간대의 무거운 요청	대규모 컨텍스트와 큰 최대 출력 한도는 부하가 걸릴 때 제외될 가능성이 높습니다. 필요 없는 내용을 줄이고 응답을 스트리밍하세요.

429가 아니라 503 UNAVAILABLE인지 확인하세요

429 RESOURCE_EXHAUSTED는 귀하의 할당량 문제이고, 503 UNAVAILABLE은 Google의 용량 문제입니다. 이 구분이 이후의 모든 대응을 결정합니다. 할당량 오류에는 결제 또는 한도 변경이 필요하고, 용량 오류에는 재시도와 폴백이 필요합니다. 503에 대해 프로젝트 설정을 디버깅하지 마세요. 그곳에는 찾을 것이 없습니다.

백오프로 재시도하되 예산을 정하세요

503은 정의상 재시도할 수 있는 오류입니다. 429와 동일한 지터 포함 지수 백오프를 사용하세요(Claude 429 가이드의 스니펫은 수정 없이 작동하며 이미 500대 상태 코드를 재시도합니다). 단, 호출자가 감당할 수 있는 수준으로 전체 대기 시간을 제한하세요. 1분에 걸쳐 약 5회 재시도한 뒤에도 지속되는 과부하는 빠르게 해결되지 않습니다.

재시도 소진 시 루프가 아니라 모델을 변경하세요

필요하기 전에 폴백 체인을 준비하세요. 프리뷰 빌드를 사용했다면 안정적인 별칭으로, 2.5 Pro가 어려움을 겪는다면 gemini-2-5-flash로(또는 반대로), 반드시 성공해야 하는 요청이라면 완전히 다른 제공업체로 전환할 수 있습니다. 폴백은 중단을 품질 저하로 바꿉니다.

Kunavo를 통해 호출하는 경우

이 실패 모드 때문에 Kunavo는 요청 내부에서 재시도합니다. 모델에 둘 이상의 upstream 채널이 구성되어 있으면 실패한 시도가 오류를 보기 전에 다른 채널로 장애 조치됩니다. 일시적인 upstream 실패가 503 대신 느린 성공으로 바뀌는 것입니다. 실패한 요청에는 절대 요금이 부과되지 않으며, 하나의 키로 Gemini, Claude 및 GPT를 사용할 수 있으므로 3단계의 제공업체 간 폴백은 두 번째 통합이 아니라 모델 문자열 변경으로 처리됩니다. 폴백 모델을 검토 중인가요? Google의 정가와 함께 제공되는 전체 Gemini 제품군의 토큰당 요금은 다음에 있습니다: Gemini API 가격 목록.

자주 묻는 질문

503을 반환하는 요청에도 요금이 부과되나요?

아니요. 요청은 추론 전에 거부되므로 Google은 요금을 청구하지 않으며, Kunavo에서도 실패한 요청에는 요금이 부과되지 않습니다. 503의 비용은 토큰이 아니라 지연 시간과 재시도입니다.

Gemini 과부하는 얼마나 지속되나요?

보통 몇 초에서 몇 분입니다. 새 모델의 출시 당일 급증은 더 오래 지속될 수 있습니다. 따라서 합리적인 정책은 백오프 재시도를 몇 차례 수행한 뒤 폴백 모델로 전환하는 것이며, 무제한 재시도 루프를 사용하는 것이 아닙니다.

유료 등급으로 업그레이드하면 503이 중지되나요?

아니요. 유료 등급은 할당량(429 계열)을 늘리지만 503 UNAVAILABLE은 공유 서빙 용량 문제입니다. 풀이 포화되면 무료 트래픽과 유료 트래픽 모두 이를 경험합니다. 해결책은 결제가 아니라 폴백입니다.