每个模型都有上下文窗口;这个 400 错误表示提示词加请求的输出无法放入窗口。盲目截断提示词是让 RAG 应用悄悄变得更笨的做法。下面说明如何在不丢失重点的情况下适配窗口。
错误
// Anthropic:
{"type":"error","error":{"type":"invalid_request_error",
"message":"prompt is too long: 214481 tokens > 200000 maximum"}}
// OpenAI-compatible:
{"error":{"type":"invalid_request_error","code":"context_length_exceeded",
"message":"This model's maximum context length is 128000 tokens..."}}原因和解决方法一览
| 原因 | 解决方法 |
|---|---|
| 无限增长的聊天历史 | 保留滚动窗口并维护运行摘要;不要在每个回合重放完整转录。 |
| RAG 检索了过多或过大的片段 | 检索更少、更小且重新排序的片段——在窗口填满之前,质量就已经胜过数量。 |
| max_tokens 对剩余空间来说过大 | 窗口同时涵盖输入和输出:预算 = 窗口 − 输入。应根据剩余空间设置 max_tokens。 |
| 工作负载确实需要更多上下文 | 迁移到长上下文模型层级(例如 1M 窗口模型),不要围绕硬性容量限制进行工程折中。 |
裁剪前先测量
使用与 API 相同的方式计算 token(Anthropic 提供 count_tokens 端点;tiktoken 可近似计算使用 OpenAI 协议的模型的 token 数)。记录每次请求的 token 数——达到上限的 1.05 倍与 5 倍时,需要不同的修复方案。
裁剪检索内容和历史记录,绝不要裁剪指令
按以下顺序削减:(1) 过时的聊天回合 → 总结;(2) 检索片段 → 重新排序并保留 top-k;(3) 冗长的少样本示例 → 减少并压缩。系统指令最后处理——行为由它决定。
当问题具有结构性时,升级到更长的窗口
如果合法输入每周都会超过窗口,这是模型选择问题。长上下文层级(200K–1M)正是为合同分析、代码库问答和多文档工作而存在的——应将升级成本与裁剪所耗费的工程时间进行比较。
如果你通过 Kunavo 调用
Kunavo 的目录覆盖多个上下文层级,包括 1M 窗口的 Claude 5 系列模型,并通过一把密钥提供服务。因此,将工作负载从 200K 窗口提升到 1M 窗口只需更改模型字符串;每个模型页面都会在每 token 价格旁标明窗口大小,便于评估预算取舍。
常见问题
max_tokens 会计入上下文窗口吗?
会——窗口限制输入与生成输出的总和。一个 200K 窗口的模型如果提示词占用 195K,就无法满足 max_tokens: 8000。请计算剩余空间,并将 max_tokens 限制在该值以内。
提示词缓存能解决上下文溢出吗?
不能——缓存会降低重复长提示词的成本,但不会缩短其大小。无论是否缓存,计入窗口的 token 数量都相同。