AI gateway là gì? Giải thích mô hình gateway LLM (2026)

Cổng AI là một điểm cuối API duy nhất đứng trước nhiều nhà cung cấp mô hình. Thay vì tích hợp riêng với Anthropic, Google và OpenAI — ba SDK, ba khóa, ba hóa đơn — ứng dụng của bạn gửi yêu cầu theo một định dạng đến một URL cơ sở bằng một khóa, và cổng định tuyến yêu cầu đến đúng nhà cung cấp. Nó còn được gọi là cổng LLM khi tập trung vào các mô hình văn bản.

Cổng AI làm những gì

Cổng là mặt phẳng điều khiển giữa ứng dụng của bạn và các nhà cung cấp mô hình. Các trách nhiệm cốt lõi:

Khi nào bạn cần cổng AI

Hãy dùng cổng AI ngay khi một trong những điều sau đây đúng:

• Bạn gọi nhiều hơn một mô hình hoặc nhà cung cấp. Cổng biến việc “thêm một nhà cung cấp” thành một thay đổi cấu hình.
• Bạn muốn chuyển đổi dự phòng. Dịch vụ của nhà cung cấp có thể suy giảm; cổng định tuyến để tránh tình trạng đó mà không cần triển khai lại.
• Bạn cần kiểm soát chi phí và theo dõi rõ mức sử dụng. Giới hạn chi tiêu theo từng khóa và nhật ký sử dụng hiệu quả hơn việc xem ba bảng điều khiển của các nhà cung cấp.
• Bạn muốn một hóa đơn duy nhất. Một ví dùng chung cho văn bản, hình ảnh, video và âm thanh thay vì một tài khoản cho mỗi nhà cung cấp.

Với một nguyên mẫu dùng một mô hình rồi bỏ đi, bạn có thể gọi trực tiếp nhà cung cấp — nhưng bắt đầu qua một cổng giúp mọi thay đổi sau này chỉ cần sửa một dòng.

Hai loại cổng AI

Thuật ngữ này bao gồm hai kiến trúc giải quyết hai nửa khác nhau của vấn đề:

Các cổng dùng khóa riêng (BYO-key) bổ sung một lớp điều khiển và quan sát lên các tài khoản Anthropic, Google và OpenAI hiện có của bạn — bạn vẫn giữ các khóa đó và thanh toán cho từng nhà cung cấp. Các cổng suy luận đứng trực tiếp trước các nhà cung cấp: bạn nạp tiền vào một số dư duy nhất và không bao giờ phải thao tác với bảng điều khiển của nhà cung cấp. Xem các bài so sánh Kunavo với Portkey, Helicone và LiteLLM cho nhóm dùng khóa riêng, Kunavo so với Cloudflare AI Gateway cho trường hợp proxy biên, Kunavo so với Kong AI Gateway cho trường hợp quản lý API doanh nghiệp, và Kunavo so với OpenRouter để so sánh với bộ định tuyến.

Kunavo với vai trò cổng AI

Kunavo là một cổng AI suy luận. Dịch vụ tương thích với định dạng giao tiếp của OpenAI tại https://api.kunavo.com/v1, nên nếu mã của bạn có thể gọi API OpenAI thì có thể gọi Kunavo chỉ bằng cách đổi URL cơ sở. Một bearer token sk-kn- cho phép truy cập Claude, GPT và phần còn lại của danh mục — với giá thấp hơn khoảng 30% so với giá niêm yết của các nhà cung cấp, thanh toán theo mức sử dụng từ khoản nạp $10, qua một ví duy nhất được tính phí bằng Stripe.

from openai import OpenAI

# One gateway endpoint + one key reaches every provider.
client = OpenAI(
    api_key="sk-kn-...",
    base_url="https://api.kunavo.com/v1",  # the AI gateway
)

# Same request shape, different providers — just change the model.
for model in ["claude-sonnet-5", "claude-haiku-4-5", "gpt-5-6-terra"]:
    r = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "One word: ready?"}],
    )
    print(model, "→", r.choices[0].message.content)

Cùng một khóa cũng hỗ trợ Anthropic Messages API gốc và tạo hình ảnh, video, âm thanh — xem hướng dẫn API tương thích với OpenAI để biết cách định dạng giao tiếp cho phép bạn chuyển giữa các mô hình cục bộ (Ollama) và mô hình được lưu trữ trên máy chủ mà không cần đổi mã, và xem hướng dẫn bắt đầu nhanh cho lần gọi đầu tiên.

Câu hỏi thường gặp