文件

文件

AnythingLLM

AnythingLLM 透過名為 Generic OpenAI 的供應商連線至沒有專屬供應商的端點:您自行輸入 Base URL、金鑰和模型 ID。它的五個欄位中,有兩個欄位的預設值會在不知不覺中增加成本。

AnythingLLM 透過名為 Generic OpenAI 的供應商連線至沒有專用供應商的端點 — Base URL 加上 /v1、金鑰與手動輸入的模型 ID,因為它不會取得模型清單。

執行個體設定 → AI Providers → LLM
LLM Provider           Generic OpenAI
Base URL               https://api.kunavo.com/v1
API Key                sk-kn-...
Selected Model         claude-sonnet-5
Model context window   1000000
Max Tokens             8192
Base URL 保留 /v1 後綴。AnythingLLM 的設定頁面沒有用文字說明這點——其隨附的 server/.env.example 卻有,在其中以 GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1' 寫出相同設定;而供應商原始碼會將該值不做修改地交給 OpenAI SDK 作為 baseURL,只附加路由。以上兩者皆於 2026 年 9 月 21 日查閱。
Kunavo 尚未以此端點執行 AnythingLLM。本頁根據頁面標示日期所查閱的 AnythingLLM 自家說明文件與隨附原始碼整理而成,並非測試報告——已發布的設定頁面不代表相容性測試結果,本頁內容也不應被視為測試結果。AnythingLLM 自己的頁面說得更直接:「這是面向開發者的 LLM 供應商——除非您知道自己在做什麼,否則不應使用。」
有兩個欄位看起來可選,但值得填寫。若將 模型上下文視窗留空,供應商會採用 4096 作為預設值,接著以這個虛構的視窗大小為基準,分配歷史對話、系統提示和使用者內容的額度。最大 Token 數的預設值則是 1024,會截斷較長的回答,直到您提高上限。
這只會設定聊天部分。AnythingLLM 的嵌入模型使用獨立的供應商,並以系統層級設定;而 Kunavo 不提供嵌入模型,因此不要將它指向 Kunavo。這部分可使用免費內建的本機嵌入模型,或專用的嵌入服務供應商。Kunavo 也不提供語音轉文字或文字轉語音模型,因此 AnythingLLM 的「轉錄」和「語音與音訊」供應商也不是此端點。
還沒有金鑰?建立 Kunavo 帳戶,建立金鑰(以 sk-kn- 開頭),並從 $10 起新增額度——呼叫會從該餘額扣款,失敗的呼叫不會計費。之後儀表板會開啟 AnythingLLM 設定。

逐步操作

  1. 在 /app/keys 建立金鑰並複製——金鑰只會顯示一次。
  2. 開啟 執行個體設定 → AI 供應商 → LLM。Desktop 和自行託管的執行個體使用相同路徑,只有開啟設定面板的方式不同。
  3. 在 LLM 供應商中選擇 Generic OpenAI——其專屬卡片上的說明是「透過自訂設定連線至任何 OpenAI 相容服務」。
  4. 依上述內容填入 Base URL、API 金鑰和 所選模型。所選模型是文字欄位,不是擷取而來的清單:供應商不會預先檢查該欄位,因此即使 ID 拼錯,儲存時仍會接受,直到傳送第一則訊息時才會失敗。
  5. 設定 模型上下文視窗和 最大 Token 數,不要留白,然後按下 儲存變更。
  6. 在工作區中傳送一則訊息。工作區可以覆寫系統 LLM,因此若回答看起來仍來自舊供應商,請先檢查工作區自己的模型設定,再調整此處的設定。

已於 2026年9月21日 根據 AnythingLLM 的 OpenAI(Generic)LLM 頁面 進行確認。第三方設定會變動;如果這裡的欄位名稱不再與你看到的內容相符,應以該頁面為準,而不是本頁。

這是簡短版本。完整指南——模型選擇、實際工作階段費用,以及失敗情況——請參閱 AnythingLLM 部署實際會產生的費用。

除錯用戶端前先驗證

一個請求就能判斷失敗原因是端點、金鑰還是設定檔。如果這裡回傳 JSON,則相同的基礎 URL 與金鑰在 AnythingLLM 中也能運作。

# Settles whether a failure is the endpoint, the key, or the client.
curl -sS https://api.kunavo.com/v1/models \
  -H "Authorization: Bearer sk-kn-..."

欄位中應填入哪個模型 ID

每個文字模型都能以模型 ID 存取——即時清單位於 GET /v1/models,帶有價格的目錄位於模型頁面。費率是每 1M 權杖的美元價格,輸入/輸出。

模型 IDKunavo 輸入/輸出它在 AnythingLLM 中的位置
claude-sonnet-5$1.40 / $7.00適用於文件問答的日常工作區模型
claude-haiku-4-5$0.70 / $3.50檢索提供事實依據的高使用量工作區
claude-opus-5$3.50 / $17.50代理或綜合整理工作區,答錯代價高昂
gpt-5-6-sol$2.00 / $12.00同一把金鑰適用的第二個模型系列,可依工作區設定
gpt-5-6-terra$0.70 / $4.20整份附加而非透過檢索處理的長文件
計費方式是從預付餘額按權杖計費,沒有月費——請參閱 billing。在重複的上下文中——這是編輯器或聊天用戶端傳送內容的大部分——提示快取 對帳單的影響比模型選擇更大。

常見問題

如何將自訂 API 端點新增至 AnythingLLM?

開啟「執行個體設定」,接著依序進入「AI 供應商」和「LLM」,再選擇名為 Generic OpenAI 的供應商——AnythingLLM 自家卡片上的說明是「透過自訂設定連線至任何 OpenAI 相容服務」。它提供五個欄位:Base URL、API 金鑰、所選模型、模型上下文視窗和最大 Token 數,以及「儲存變更」按鈕。若要連線至 AnythingLLM 沒有提供專屬整合的 OpenAI 相容端點,這是受支援的方式。不過,請先檢查供應商清單:LM Studio、LocalAI 和 LiteLLM 等服務都有專屬供應商,提供各自的 Base URL 欄位與預設值。

AnythingLLM 的 Base URL 結尾需要加上 /v1 嗎?

需要,若是 OpenAI 相容端點則需要。設定頁面本身沒有用文字說明格式,因此能定案的是 AnythingLLM 隨附的 server/.env.example,其中將相同設定寫為 GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1'。其供應商原始碼會將該值不做修改地傳給 OpenAI SDK 作為 baseURL,因此只會附加路由——/chat/completions。Kunavo 的 Base URL 應設為 https://api.kunavo.com/v1。若缺少 /v1,會收到 404,而不是驗證錯誤。兩項來源皆於 2026 年 9 月 21 日查閱。

為什麼 AnythingLLM 的 Generic OpenAI 供應商沒有顯示模型清單?

因為沒有清單可顯示:所選模型是需要手動輸入的文字欄位,供應商不會預先驗證輸入內容。這是刻意設計的,目的是讓供應商能連線至 AnythingLLM 完全不認識的端點;因此拼字錯誤在儲存時仍會被接受,只有傳送訊息時才會失敗。若要分辨錯誤的模型 ID、URL 或金鑰,請使用同一組 URL 和金鑰傳送上方的 /v1/models 請求——收到 JSON 代表端點和金鑰正常,需要修正的是 ID。

Kunavo 可以同時作為 AnythingLLM 的嵌入模型和聊天模型嗎?

不行。Kunavo 不提供嵌入模型,因此無法涵蓋 AnythingLLM 的嵌入模型部分;而且 AnythingLLM 的嵌入模型也使用與聊天模型不同的供應商——它是在系統層級而非各工作區設定,之後更改也不方便,因為切換時必須刪除並重新嵌入所有文件。請使用 Desktop 版本內建的本機嵌入模型,或專用的嵌入服務供應商,並將此端點留給聊天供應商。Kunavo 也不提供語音轉文字或文字轉語音模型,因此「轉錄」和「語音與音訊」也不適用於此端點。

Kunavo 是否已使用 AnythingLLM 測試其端點?

沒有。Kunavo 尚未執行本節中的任何用戶端,本頁也不是測試報告——內容是根據 AnythingLLM 自家的說明文件與隨附原始碼整理而成,並標明日期,方便您判斷資訊是否過時。可以如實告訴您哪些欄位存在、AnythingLLM 如何處理各欄位的值,以及哪些預設值會增加費用;但無法告訴您工具呼叫、串流或附件在您的版本中實際運作的情形,因為這裡沒有人執行過測試。將工作區移轉前,請先傳送一則訊息。

可以將 AnythingLLM 的 Anthropic 供應商指向第三方端點嗎?

透過 AnythingLLM 公開或說明的功能無法做到:該供應商的介面沒有 Base URL 欄位,其原始碼也只用金鑰和標頭來建立 Anthropic SDK 用戶端。支援的第三方端點連線方式是透過 chat completions 使用 Generic OpenAI,這正是本頁所設定的方式。需要事先考量一個影響:Generic OpenAI 路徑不會傳送 cache_control 標記,因此若某項協定要求用戶端提出快取請求,透過此路徑就不會命中快取;至於端點能否在沒有用戶端標記的情況下快取,則要查閱該端點自己的說明文件。