返回指南
故障排查·2026年7月17日·阅读约 6 分钟

context_length_exceeded / prompt 太长——不会让应用失去能力的修复方案

每个模型都有上下文窗口;这个 400 错误表示提示词加请求的输出无法放入窗口。盲目截断提示词是让 RAG 应用悄悄变得更笨的做法。下面说明如何在不丢失重点的情况下适配窗口。

最后审核于 。

每个模型都有上下文窗口;这个 400 错误表示提示词加请求的输出无法放入窗口。盲目截断提示词是让 RAG 应用悄悄变得更笨的做法。下面说明如何在不丢失重点的情况下适配窗口。

错误

响应(HTTP 400)
// Anthropic:
{"type":"error","error":{"type":"invalid_request_error",
 "message":"prompt is too long: 214481 tokens > 200000 maximum"}}

// OpenAI-compatible:
{"error":{"type":"invalid_request_error","code":"context_length_exceeded",
 "message":"This model's maximum context length is 128000 tokens..."}}

原因和解决方法一览

原因解决方法
无限增长的聊天历史保留滚动窗口并维护运行摘要;不要在每个回合重放完整转录。
RAG 检索了过多或过大的片段检索更少、更小且重新排序的片段——在窗口填满之前,质量就已经胜过数量。
max_tokens 对剩余空间来说过大窗口同时涵盖输入和输出:预算 = 窗口 − 输入。应根据剩余空间设置 max_tokens。
工作负载确实需要更多上下文迁移到长上下文模型层级(例如 1M 窗口模型),不要围绕硬性容量限制进行工程折中。

裁剪前先测量

使用与 API 相同的方式计算 token(Anthropic 提供 count_tokens 端点;tiktoken 可近似计算使用 OpenAI 协议的模型的 token 数)。记录每次请求的 token 数——达到上限的 1.05 倍与 5 倍时,需要不同的修复方案。

裁剪检索内容和历史记录,绝不要裁剪指令

按以下顺序削减:(1) 过时的聊天回合 → 总结;(2) 检索片段 → 重新排序并保留 top-k;(3) 冗长的少样本示例 → 减少并压缩。系统指令最后处理——行为由它决定。

当问题具有结构性时,升级到更长的窗口

如果合法输入每周都会超过窗口,这是模型选择问题。长上下文层级(200K–1M)正是为合同分析、代码库问答和多文档工作而存在的——应将升级成本与裁剪所耗费的工程时间进行比较。

如果你通过 Kunavo 调用

Kunavo 的目录覆盖多个上下文层级,包括 1M 窗口的 Claude 5 系列模型,并通过一把密钥提供服务。因此,将工作负载从 200K 窗口提升到 1M 窗口只需更改模型字符串;每个模型页面都会在每 token 价格旁标明窗口大小,便于评估预算取舍。

常见问题

max_tokens 会计入上下文窗口吗?

会——窗口限制输入与生成输出的总和。一个 200K 窗口的模型如果提示词占用 195K,就无法满足 max_tokens: 8000。请计算剩余空间,并将 max_tokens 限制在该值以内。

提示词缓存能解决上下文溢出吗?

不能——缓存会降低重复长提示词的成本,但不会缩短其大小。无论是否缓存,计入窗口的 token 数量都相同。

相关指南

更多错误语义请参阅 错误参考;通过 注册 和 身份验证指南 获取密钥只需一分钟。