返回指南
架構·2026年7月1日·更新於 2026年9月30日·閱讀約 8 分鐘

什麼是 AI 閘道?LLM 閘道模式解析(2026)

AI 閘道是在每個模型供應商前方提供的一個 API,因此你的應用程式只需呼叫單一端點與金鑰,不必分別串接 Anthropic、Google 和 OpenAI。本文說明閘道的作用、何時真正需要,以及 Kunavo 如何實作這種模式。

最後審核於 。

AI 閘道是位於多家模型供應商前方的單一 API 端點。 你不必分別整合 Anthropic、Google 和 OpenAI——三套 SDK、三組金鑰、三張帳單——你的應用程式只需透過一種請求格式,以一個基礎 URL 和一組金鑰發送請求,閘道會將其路由至正確的供應商。當重點是文字模型時,也稱為 LLM 閘道。

AI 閘道的功能

閘道是位於你的應用程式與模型供應商之間的控制平面。核心職責包括:

工作含義
統一 API所有模型都使用一種請求/回應格式(通常與 OpenAI 相容),因此只需整合一次。
供應商路由依每次請求選擇模型/供應商;只需變更字串即可切換模型,不必重寫用戶端程式碼。
故障轉移當某個供應商發生錯誤或受到速率限制時,改向健康的上游重試——讓你的應用程式不必自行編寫這套韌性機制。
快取重複使用相同或穩定的提示(例如 Anthropic 提示快取),降低重複輸入成本。
支出與速率控制設定每組金鑰的預算和速率限制,避免外洩的金鑰或失控迴圈耗盡帳戶餘額。
可觀測性與計費記錄每次呼叫、權杖/成本使用量,以及對推論閘道而言的單一錢包與帳單。

何時需要使用

只要符合以下任一情況,就應該使用 AI 閘道:

  • 你會呼叫多個模型或供應商。 閘道能將「新增供應商」轉化為設定變更。
  • 你希望進行故障轉移。 供應商可能降級;閘道能在不重新部署的情況下繞過問題。
  • 你需要成本控制與可見性。 每組金鑰的支出上限和使用量記錄,勝過閱讀三個供應商的控制面板。
  • 你希望只有一張帳單。 使用一個涵蓋文字、影像、影片和音訊的錢包,而非每個供應商各一個帳戶。

對於一次性的單一模型原型,你可以直接呼叫供應商——但從閘道後方開始,能讓之後的每次變更都只需編輯一行。

兩種 AI 閘道

這個術語涵蓋兩種解決問題不同部分的架構:

類型你提供範例最適合
BYO-key 閘道你自己的供應商金鑰與計費Portkey、Helicone、LiteLLM在你現有帳戶上提供路由、護欄與可觀測性
推論閘道無——閘道轉售存取權Kunavo、OpenRouter跨供應商共用一個錢包和一組金鑰,價格通常低於牌價

BYO-key 閘道在你現有的 Anthropic、Google 和 OpenAI 帳戶上增加控制/可觀測性層——你仍持有這些金鑰,並向每個供應商付款。推論閘道則直接位於供應商前方:你只需儲值一個餘額,不必接觸任何供應商控制台。請參閱 BYO-key 方面的 Kunavo 與 Portkey、Helicone 和 LiteLLM 比較,邊緣代理案例請參閱 Kunavo 與 Cloudflare AI Gateway,企業 API 管理案例請參閱 Kunavo 與 Kong AI Gateway,路由器比較請參閱 Kunavo 與 OpenRouter。

Kunavo 作為 AI 閘道

Kunavo 是推論型 AI 閘道。它在 https://api.kunavo.com/v1 提供與 OpenAI wire 相容的介面,因此只要你的程式碼能呼叫 OpenAI API,就只需變更基礎 URL 即可呼叫 Kunavo。一組 sk-kn- bearer token 即可存取 Claude、GPT 和目錄中的其他模型——價格約比供應商牌價低 30%,從 $10 儲值開始按用量付費,使用一個由 Stripe 計費的錢包。

gateway.py
from openai import OpenAI

# One gateway endpoint + one key reaches every provider.
client = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the AI gateway
)

# Same request shape, different providers — just change the model.
for model in ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]:
    r = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "One word: ready?"}],
    )
    print(model, "→", r.choices[0].message.content)

同一組金鑰也支援原生的 Anthropic Messages API、影像、影片和音訊生成——請參閱與 OpenAI 相容的 API 指南,了解 wire 格式如何讓你在本機模型(Ollama)與託管模型之間切換而不必變更程式碼;第一次呼叫請參閱快速入門。

常見問題

什麼是 AI 閘道?

AI 閘道(也稱為 LLM 閘道)是位於多家模型供應商前方的單一 API 端點。你的應用程式會以一種請求格式,透過一個基礎 URL 和一組金鑰發送請求,而閘道會處理供應商路由、驗證、故障轉移、快取、速率限制、支出控制和使用量記錄。這代表你只需整合一次,而不必分別串接 Anthropic、Google 和 OpenAI。

AI 閘道和 LLM 閘道有什麼不同?

兩者是同一回事。「LLM 閘道」強調文字/聊天模型;「AI 閘道」是更廣泛的術語,也涵蓋在相同端點後方的影像、影片和音訊模型。Kunavo 是 AI 閘道:透過一個與 OpenAI 相容的 API,提供 Claude 和 GPT 文字模型,以及影像、影片和音訊生成。

我需要 AI 閘道嗎?

只要你呼叫多個模型或供應商、希望在供應商服務降級時進行故障轉移、需要每組金鑰的支出上限與使用量可見性,或想使用單一預付餘額而非每個供應商各一個帳戶,就應該使用 AI 閘道。對於單一模型的原型,你可以直接呼叫供應商,但閘道能讓之後只需變更一行。

AI 閘道和 OpenRouter 這類路由器有什麼不同?

路由器是 AI 閘道的一種,專注於為文字請求選擇供應商。完整的 AI 閘道還會提供計費、多模態端點、快取和支出控制。Kunavo 是推論閘道:以單一預付錢包轉售模型存取權,價格依模型而定並低於牌價,同時涵蓋聊天以外的影像、影片和音訊。