context_length_exceeded / prompt is too long — 앱의 기능을 훼손하지 않는 해결 방법

모든 모델에는 컨텍스트 창이 있습니다. 이 400 오류는 프롬프트와 요청한 출력이 함께 들어가지 않았다는 뜻입니다. 프롬프트를 무작정 잘라내는 순진한 해결책은 RAG 앱을 조용히 멍청하게 만드는 방법입니다. 핵심을 잃지 않고 창에 맞추는 방법을 알아보세요.

오류

response (HTTP 400)

// Anthropic:
{"type":"error","error":{"type":"invalid_request_error",
 "message":"prompt is too long: 214481 tokens > 200000 maximum"}}

// OpenAI-compatible:
{"error":{"type":"invalid_request_error","code":"context_length_exceeded",
 "message":"This model's maximum context length is 128000 tokens..."}}

원인과 해결 방법 한눈에 보기

원인	해결 방법
제한 없는 대화 기록	롤링 창과 누적 요약을 유지하세요. 매 턴 전체 대화 기록을 다시 재생하지 마세요.
RAG가 너무 많거나 너무 큰 청크를 검색함	더 적고 작은 청크를 검색하고 재순위화하세요. 창이 가득 차기 훨씬 전부터 양보다 품질이 중요합니다.
남은 공간에 비해 max_tokens가 너무 큼	창에는 입력과 출력이 모두 포함됩니다. 예산 = 창 − 입력입니다. max_tokens를 남은 공간에 맞춰 설정하세요.
워크로드에 실제로 더 많은 컨텍스트가 필요함	어려운 적합성 문제를 해결하려 애쓰기보다 장문 컨텍스트 모델 등급(예: 1M 창 모델)으로 전환하세요.

자르기 전에 측정하세요

API와 같은 방식으로 토큰을 계산하세요(Anthropic에는 count_tokens 엔드포인트가 있고, tiktoken은 OpenAI 와이어 모델을 근사합니다). 요청마다 개수를 기록하세요. 1.05배 초과와 5배 초과에는 서로 다른 해결책이 필요합니다.

지침은 절대 자르지 말고 검색 결과와 기록을 줄이세요

다음 순서로 줄이세요. (1) 오래된 대화 턴 → 요약, (2) 검색된 청크 → 재순위화하고 상위 k개 유지, (3) 장황한 few-shot 예시 → 더 적고 간결하게. 시스템 지침은 마지막까지 남기세요. 행동이 그 안에 담겨 있습니다.

구조적인 문제라면 더 긴 창으로 확장하세요

정상적인 입력이 매주 창을 초과한다면 모델 선택의 문제입니다. 장문 컨텍스트 등급(200K–1M)은 계약 분석, 코드베이스 질의응답, 다중 문서 작업을 위해 존재합니다. 자르는 데 쓰는 엔지니어링 시간과 업그레이드 비용을 비교하세요.

Kunavo를 통해 호출하는 경우

Kunavo의 카탈로그는 1M 창 Claude 5 제품군 모델을 포함한 여러 컨텍스트 등급을 하나의 키로 제공합니다. 따라서 워크로드를 200K 창에서 1M 창으로 확장하는 것은 모델 문자열만 변경하면 되며, 각 모델 페이지에는 예산 산정을 위해 토큰당 가격과 함께 창 크기가 표시됩니다.

자주 묻는 질문

max_tokens는 컨텍스트 창에 포함되나요?

예. 창은 입력과 생성된 출력을 합친 크기를 제한합니다. 프롬프트가 195K인 200K 창 모델은 max_tokens: 8000을 준수할 수 없습니다. 남은 공간을 계산하고 max_tokens를 그 값으로 제한하세요.

프롬프트 캐싱이 컨텍스트 초과 문제를 해결하나요?

아니요. 캐싱은 반복되는 긴 프롬프트의 비용을 줄일 뿐 크기를 줄이지 않습니다. 캐시 여부와 관계없이 창에 계산되는 토큰 수는 동일합니다.