LLM gateway — một API cho mọi mô hình: định tuyến, chuyển đổi dự phòng, thanh toán và khả năng quan sát (2026)

Cổng LLM là một điểm cuối API duy nhất đứng trước nhiều nhà cung cấp mô hình ngôn ngữ lớn. Thay vì tích hợp riêng Anthropic, Google và OpenAI — ba SDK, ba khóa, ba hóa đơn — ứng dụng của bạn gửi cùng một dạng yêu cầu đến một URL cơ sở duy nhất bằng một khóa duy nhất, còn cổng định tuyến, thử lại khi lỗi, đo lường mức sử dụng và thực thi giới hạn chi tiêu. Đây là lớp điều khiển giữa sản phẩm của bạn và các mô hình.

Cổng LLM thực hiện những gì

Một cổng LLM trong môi trường production đảm nhiệm sáu trách nhiệm. Trách nhiệm đầu tiên là nền tảng giúp năm trách nhiệm còn lại khả thi: một bề mặt API duy nhất, ổn định.

Một điểm cuối, mọi nhà cung cấp

Cổng biến việc “thêm nhà cung cấp” thành thay đổi một chuỗi. Cùng một máy khách có thể truy cập Claude và GPT — bạn định tuyến bằng cách đặt trường model:

from openai import OpenAI

# One LLM gateway endpoint + one key fronts every provider.
gateway = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the LLM gateway
)

# Route by changing a string — no per-provider SDK, key or client.
def ask(model: str, prompt: str) -> str:
    r = gateway.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    return r.choices[0].message.content

print(ask("claude-sonnet-5", "Draft a release note."))   # Anthropic
print(ask("claude-haiku-4-5", "Classify this ticket."))    # Anthropic, cheap tier
print(ask("gpt-5-6-terra", "Summarize the thread."))             # OpenAI

Cổng LLM so với cổng API

Một cổng API truyền thống — Kong, AWS API Gateway, NGINX — định tuyến HTTP chung và xử lý xác thực, hạn ngạch cũng như giới hạn tốc độ. Cổng LLM được thiết kế riêng cho lưu lượng mô hình: hiểu token và truyền phát, thực hiện bộ nhớ đệm prompt và định tuyến mô hình, đo lường chi tiêu theo khóa, và (đối với các cổng suy luận) tính phí sử dụng. Hai loại này có thể kết hợp — một số nhóm đặt cổng LLM phía sau cổng API hiện có. Để tìm hiểu khái niệm chuyên sâu, xem cổng AI là gì?, còn Kunavo so với Kong AI Gateway trình bày trường hợp quản lý API doanh nghiệp.

Hai loại cổng LLM

Phân loại này phụ thuộc vào bên nắm giữ quan hệ với nhà cung cấp:

Các cổng BYO-key bổ sung lớp kiểm soát và khả năng quan sát trên các tài khoản Anthropic, Google và OpenAI hiện có của bạn — bạn vẫn nắm giữ các khóa đó. Các cổng suy luận đứng trước chính các nhà cung cấp: nạp tiền vào một số dư duy nhất, không bao giờ phải dùng bảng điều khiển của nhà cung cấp. Xem Kunavo so với Portkey, Helicone, LiteLLM và OpenRouter để xem so sánh đầy đủ từng cặp.

Bảo mật & tuân thủ

Gateway cũng là nơi tự nhiên để thực thi bảo mật: khóa không bao giờ rời khỏi máy chủ của bạn, giới hạn chi tiêu và tốc độ theo từng khóa giúp khoanh vùng tác động, còn nhật ký tập trung cung cấp một dấu vết kiểm toán duy nhất. Đối với các triển khai chịu quy định, hãy biết những điều Kunavo không cung cấp: không có DPA, không có Zero Data Retention và không có lưu trú dữ liệu tại EU. Các yêu cầu được xử lý tại Hoa Kỳ và chuyển tiếp đến các nhà cung cấp mô hình thượng nguồn, nơi áp dụng chính sách lưu giữ riêng của họ; nếu cần DPA, ZDR hoặc lưu trú dữ liệu tại EU, hãy ký hợp đồng trực tiếp với Anthropic, OpenAI hoặc Google theo điều khoản doanh nghiệp của họ. Hướng dẫn theo từng khu vực nằm trong hướng dẫn tuân thủ AI.

Kunavo với vai trò cổng LLM

Kunavo là một cổng LLM suy luận. Nó tương thích với giao thức OpenAI tại https://api.kunavo.com/v1, vì vậy nếu mã của bạn có thể gọi API OpenAI thì có thể gọi Kunavo bằng cách chỉ thay đổi URL cơ sở. Một token bearer sk-kn- duy nhất truy cập Claude, GPT và phần còn lại của danh mục — với giá thấp hơn khoảng 30% so với giá niêm yết của nhà cung cấp, thanh toán theo mức sử dụng từ lần nạp $10, trong một ví được Stripe tính phí. Ngoài văn bản, cổng còn hỗ trợ tạo hình ảnh, video và âm thanh bằng cùng một khóa.

Bắt đầu với hướng dẫn bắt đầu nhanh, xem hướng dẫn API tương thích OpenAI để biết định dạng truyền tải cho phép bạn chuyển đổi giữa các mô hình cục bộ (Ollama) và mô hình được lưu trữ mà không cần thay đổi mã, và dùng máy tính chi phí LLM để ước tính chi phí của một khối lượng công việc — hoặc xem các công cụ tính chi phí miễn phí còn lại, tính giá cho phía Claude và OpenAI theo quy tắc bộ nhớ đệm riêng của chúng. Nếu bạn chuyển một máy khách lập trình giữa các nhà cung cấp thay vì gắn bó với một nhà cung cấp, thiết lập CC Switch trình bày cách thực hiện từ phía cổng.

Câu hỏi thường gặp