文档

文档

AnythingLLM

对于没有专用命名服务提供商的端点,AnythingLLM 通过名为 Generic OpenAI 的服务提供商接入:填写基础 URL、密钥以及自行输入的模型 ID。它的五个字段中有两个带默认值,而这些默认值可能悄然增加你的成本。

AnythingLLM 通过名为 Generic OpenAI 的提供商访问没有专用提供商的端点 — 基础 URL 保留 /v1,填写密钥和模型 ID;由于它不会获取列表,模型 ID 需手动输入。

Instance Settings → AI Providers → LLM
LLM Provider           Generic OpenAI
Base URL               https://api.kunavo.com/v1
API Key                sk-kn-...
Selected Model         claude-sonnet-5
Model context window   1000000
Max Tokens             8192
基础 URL 保留 /v1 后缀。AnythingLLM 的设置页面没有用文字说明这一点,但其随附的 server/.env.example 明确写出了相同设置:GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1';提供商源代码会将该值原样传给 OpenAI SDK,作为 baseURL,只追加路由。两者均于 2026 年 9 月 21 日查阅。
Kunavo 未使用此端点运行 AnythingLLM。本页面根据下方标注日期时查阅的 AnythingLLM 自有文档和随附源代码整理而成,并非测试报告——已发布的设置页面不等于兼容性测试结果,本页面内容也不应被视为测试结论。AnythingLLM 自己的页面说得更直白:“这是面向开发者的 LLM 提供商——除非你知道自己在做什么,否则不应使用它。”
有两个字段虽然看起来可选,但值得填写。将 Model context window 留空时,提供商会回退到 4096,然后按这个虚构的窗口为历史记录、系统提示和用户内容分配预算。Max Tokens 会回退到 1024,导致长回答被截断,直到你调高该值。
这只配置聊天部分。AnythingLLM 的嵌入器是单独的提供商,在系统范围内设置;Kunavo 不提供嵌入模型,因此不要将其指向 Kunavo。免费内置本地嵌入器或专用嵌入服务提供商可以满足这部分需求。Kunavo 也不提供语音转文本或文本转语音模型,因此 AnythingLLM 的 Transcription 和 Voice & Speech 提供商也不是此端点。
还没有密钥?创建 Kunavo 账户,创建一个密钥(以 sk-kn- 开头),并充值 $10 起——调用费用从该余额中扣除,失败的调用不会收费。随后,控制台会打开 AnythingLLM 设置页面。

分步操作

  1. 在 /app/keys 创建密钥并复制——它只会显示一次。
  2. 打开 Instance Settings → AI Providers → LLM。桌面版和自托管实例的路径相同,只有打开设置面板的方式不同。
  3. 在 LLM Provider 中选择 Generic OpenAI——其卡片上的说明是“通过自定义配置连接到任何兼容 OpenAi 的服务”。
  4. 按上述内容填写 Base URL、API Key 和 Selected Model。Selected Model 是文本字段,并非从列表中获取:提供商不会预先检查该字段,因此拼错的 ID 保存时也会被接受,并在发送第一条消息时失败。
  5. 填写 Model context window 和 Max Tokens,不要留空,然后点击 Save changes。
  6. 在工作区中发送一条消息。工作区可以覆盖系统 LLM,因此如果回答看起来仍来自旧提供商,请先检查工作区自身的模型设置,再修改这里的设置。

已于 2026年9月21日 对照 AnythingLLM 的 OpenAI (Generic) LLM 页面 检查。第三方设置会发生变化;如果这里的字段名称不再与你看到的内容一致,应以该页面为准,而不是本页。

这是简要版本。完整教程——包括模型选择、真实会话成本和失败模式——见 部署 AnythingLLM 的实际成本。

调试客户端前先验证

一个请求即可确定故障来自端点、密钥还是配置文件。如果返回 JSON,则相同的基础 URL 和密钥可以在 AnythingLLM 中使用。

# Settles whether a failure is the endpoint, the key, or the client.
curl -sS https://api.kunavo.com/v1/models \
  -H "Authorization: Bearer sk-kn-..."

字段中应填写哪个模型 ID

每个文本模型都可通过模型 ID 访问——实时列表见 GET /v1/models,包含价格的目录见模型页面。费率单位为每 1M token 的美元,格式为输入 / 输出。

模型 IDKunavo 输入 / 输出它在 AnythingLLM 中的位置
claude-sonnet-5$1.40 / $7.00用于日常文档问答的工作区模型
claude-haiku-4-5$0.70 / $3.50由检索提供事实的高调用量工作区
claude-opus-5$3.50 / $17.50代理或综合分析工作区,在这些工作区中,错误回答的代价很高
gpt-5-6-sol$2.00 / $12.00同一密钥可用于第二个模型系列,并按工作区配置
gpt-5-6-terra$0.70 / $4.20直接附加完整长文档,而非通过检索获取
计费方式是从预付余额中按 token 扣费,无月费——参见 计费。对于重复上下文——这正是编辑器或聊天客户端发送内容的大部分——提示缓存对账单的影响大于模型选择。

常见问题

如何为 AnythingLLM 添加自定义 API 端点?

打开 Instance Settings,然后依次进入 AI Providers 和 LLM,并选择名为 Generic OpenAI 的提供商——AnythingLLM 自己的卡片说明为“通过自定义配置连接到任何兼容 OpenAi 的服务”。该提供商提供五个字段:Base URL、API Key、Selected Model、Model context window 和 Max Tokens,另有 Save changes 按钮。对于 AnythingLLM 没有专用命名集成的任何 OpenAI 兼容端点,这是受支持的接入方式。不过请先检查提供商列表:LM Studio、LocalAI 和 LiteLLM 等服务都有各自的命名提供商、基础 URL 字段和默认值。

AnythingLLM 的基础 URL 末尾需要加 /v1 吗?

需要,适用于 OpenAI 兼容端点。设置页面本身没有用文字说明这一格式,因此要以 AnythingLLM 随附的 server/.env.example 中的语句为准;其中将相同设置写为 GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1'。提供商源代码会将该值原样作为 baseURL 传给 OpenAI SDK,因此只会追加路由 /chat/completions。对于 Kunavo,基础 URL 应为 https://api.kunavo.com/v1。遗漏 /v1 会导致 404,而不是身份验证错误。两个来源均于 2026 年 9 月 21 日查阅。

为什么 AnythingLLM 的 Generic OpenAI 提供商没有显示模型列表?

因为没有可显示的列表:Selected Model 是供你手动输入的文本字段,提供商不会预先验证输入内容。这是有意为之,该提供商用于接入 AnythingLLM 一无所知的端点;因此保存时即使输入有误也会被接受,只有发送消息时才会失败。要判断问题出在模型 ID 还是 URL 或密钥,可使用上文的 /v1/models 请求测试相同的 URL 和密钥——如果返回 JSON,就说明端点和密钥没有问题,需要修正的是模型 ID。

Kunavo 能否同时作为 AnythingLLM 的嵌入器和聊天模型?

不能。Kunavo 不提供嵌入模型,因此无法满足 AnythingLLM 的嵌入需求;而且 AnythingLLM 的嵌入器与聊天模型本来就是不同的提供商——嵌入器在系统范围内设置,而非按工作区设置,且之后不易更改,因为切换时必须删除并重新嵌入所有文档。请使用桌面版内置的本地嵌入器,或专用嵌入服务提供商,并将此端点用于聊天提供商。Kunavo 也不提供语音转文本或文本转语音模型,因此 Transcription 和 Voice & Speech 也不属于其服务范围。

Kunavo 是否已针对其端点测试过 AnythingLLM?

没有。Kunavo 尚未运行本节中的任何客户端,本页面也不是测试报告——它是对 AnythingLLM 自有文档和随附源代码的查阅记录,并标注了日期,便于你判断内容有多过时。它能如实说明有哪些字段、AnythingLLM 如何处理各个值,以及哪些默认值会产生费用。但它不能说明在你的版本中代理工具调用、流式传输或附件的行为如何,因为这里没有人实际运行过。将工作区迁移之前,请先发送一条消息。

能否将 AnythingLLM 的 Anthropic 提供商指向第三方端点?

不能通过 AnythingLLM 暴露或记录的任何方式实现:该提供商的界面中没有 Base URL 字段,其源代码也只使用密钥和请求头来构建 Anthropic SDK 客户端。接入第三方端点的受支持方式是通过 chat completions 使用 Generic OpenAI,这也是本页面配置的方式。需要提前考虑一点:Generic OpenAI 路径不会发送 cache_control 标记,因此如果某个协议要求客户端请求缓存,通过该路径就无法命中缓存——端点是否会在没有客户端标记的情况下缓存,需要查阅该端点自己的文档。