AI 閘道是位於多家模型供應商前方的單一 API 端點。 你不必分別整合 Anthropic、Google 和 OpenAI——三套 SDK、三組金鑰、三張帳單——你的應用程式只需透過一種請求格式,以一個基礎 URL 和一組金鑰發送請求,閘道會將其路由至正確的供應商。當重點是文字模型時,也稱為 LLM 閘道。
AI 閘道的功能
閘道是位於你的應用程式與模型供應商之間的控制平面。核心職責包括:
| 工作 | 含義 |
|---|---|
| 統一 API | 所有模型都使用一種請求/回應格式(通常與 OpenAI 相容),因此只需整合一次。 |
| 供應商路由 | 依每次請求選擇模型/供應商;只需變更字串即可切換模型,不必重寫用戶端程式碼。 |
| 故障轉移 | 當某個供應商發生錯誤或受到速率限制時,改向健康的上游重試——讓你的應用程式不必自行編寫這套韌性機制。 |
| 快取 | 重複使用相同或穩定的提示(例如 Anthropic 提示快取),降低重複輸入成本。 |
| 支出與速率控制 | 設定每組金鑰的預算和速率限制,避免外洩的金鑰或失控迴圈耗盡帳戶餘額。 |
| 可觀測性與計費 | 記錄每次呼叫、權杖/成本使用量,以及對推論閘道而言的單一錢包與帳單。 |
何時需要使用
只要符合以下任一情況,就應該使用 AI 閘道:
- 你會呼叫多個模型或供應商。 閘道能將「新增供應商」轉化為設定變更。
- 你希望進行故障轉移。 供應商可能降級;閘道能在不重新部署的情況下繞過問題。
- 你需要成本控制與可見性。 每組金鑰的支出上限和使用量記錄,勝過閱讀三個供應商的控制面板。
- 你希望只有一張帳單。 使用一個涵蓋文字、影像、影片和音訊的錢包,而非每個供應商各一個帳戶。
對於一次性的單一模型原型,你可以直接呼叫供應商——但從閘道後方開始,能讓之後的每次變更都只需編輯一行。
兩種 AI 閘道
這個術語涵蓋兩種解決問題不同部分的架構:
| 類型 | 你提供 | 範例 | 最適合 |
|---|---|---|---|
| BYO-key 閘道 | 你自己的供應商金鑰與計費 | Portkey、Helicone、LiteLLM | 在你現有帳戶上提供路由、護欄與可觀測性 |
| 推論閘道 | 無——閘道轉售存取權 | Kunavo、OpenRouter | 跨供應商共用一個錢包和一組金鑰,價格通常低於牌價 |
BYO-key 閘道在你現有的 Anthropic、Google 和 OpenAI 帳戶上增加控制/可觀測性層——你仍持有這些金鑰,並向每個供應商付款。推論閘道則直接位於供應商前方:你只需儲值一個餘額,不必接觸任何供應商控制台。請參閱 BYO-key 方面的 Kunavo 與 Portkey、Helicone 和 LiteLLM 比較,邊緣代理案例請參閱 Kunavo 與 Cloudflare AI Gateway,企業 API 管理案例請參閱 Kunavo 與 Kong AI Gateway,路由器比較請參閱 Kunavo 與 OpenRouter。
Kunavo 作為 AI 閘道
Kunavo 是推論型 AI 閘道。它在 https://api.kunavo.com/v1 提供與 OpenAI wire 相容的介面,因此只要你的程式碼能呼叫 OpenAI API,就只需變更基礎 URL 即可呼叫 Kunavo。一組 sk-kn- bearer token 即可存取 Claude、GPT 和目錄中的其他模型——價格約比供應商牌價低 30%,從 $10 儲值開始按用量付費,使用一個由 Stripe 計費的錢包。
from openai import OpenAI
# One gateway endpoint + one key reaches every provider.
client = OpenAI(
api_key="sk-kn-...",
base_url="https://api.kunavo.com/v1", # the AI gateway
)
# Same request shape, different providers — just change the model.
for model in ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]:
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "One word: ready?"}],
)
print(model, "→", r.choices[0].message.content)同一組金鑰也支援原生的 Anthropic Messages API、影像、影片和音訊生成——請參閱與 OpenAI 相容的 API 指南,了解 wire 格式如何讓你在本機模型(Ollama)與託管模型之間切換而不必變更程式碼;第一次呼叫請參閱快速入門。
常見問題
什麼是 AI 閘道?
AI 閘道(也稱為 LLM 閘道)是位於多家模型供應商前方的單一 API 端點。你的應用程式會以一種請求格式,透過一個基礎 URL 和一組金鑰發送請求,而閘道會處理供應商路由、驗證、故障轉移、快取、速率限制、支出控制和使用量記錄。這代表你只需整合一次,而不必分別串接 Anthropic、Google 和 OpenAI。
AI 閘道和 LLM 閘道有什麼不同?
兩者是同一回事。「LLM 閘道」強調文字/聊天模型;「AI 閘道」是更廣泛的術語,也涵蓋在相同端點後方的影像、影片和音訊模型。Kunavo 是 AI 閘道:透過一個與 OpenAI 相容的 API,提供 Claude 和 GPT 文字模型,以及影像、影片和音訊生成。
我需要 AI 閘道嗎?
只要你呼叫多個模型或供應商、希望在供應商服務降級時進行故障轉移、需要每組金鑰的支出上限與使用量可見性,或想使用單一預付餘額而非每個供應商各一個帳戶,就應該使用 AI 閘道。對於單一模型的原型,你可以直接呼叫供應商,但閘道能讓之後只需變更一行。
AI 閘道和 OpenRouter 這類路由器有什麼不同?
路由器是 AI 閘道的一種,專注於為文字請求選擇供應商。完整的 AI 閘道還會提供計費、多模態端點、快取和支出控制。Kunavo 是推論閘道:以單一預付錢包轉售模型存取權,價格依模型而定並低於牌價,同時涵蓋聊天以外的影像、影片和音訊。