Gateway LLM tốt nhất (2026) — bốn nhóm và cách chọn đúng loại

Mọi bài tổng hợp xuất hiện trong tìm kiếm này đều do một công ty bán gateway xuất bản, và mỗi công ty đều xếp chính mình ở đầu hoặc gần đầu — trang này cũng vậy, vì thế hãy xem thứ tự bên dưới đúng với bản chất của nó. Điều chỉnh hữu ích hơn là các danh sách đó đang so sánh những sản phẩm không thay thế được cho nhau. “Gateway LLM” có thể chỉ ít nhất bốn thứ khác nhau: gateway bán lại quyền truy cập mô hình và giữ thông tin xác thực của nhà cung cấp cho bạn, control plane được lưu trữ định tuyến qua các tài khoản do chính bạn sở hữu, proxy bạn triển khai vào hạ tầng riêng, và edge proxy thêm bộ nhớ đệm cùng giới hạn ở phía trước các khóa của bạn. Một bảng tính năng trộn lẫn chúng sẽ dẫn bạn đến sai loại sản phẩm. Hãy chọn danh mục trước; lựa chọn trong một danh mục thường rất đơn giản.

Tuyên bố về thiên lệch: Kunavo là sản phẩm của chúng tôi, và chỉ cạnh tranh trong đúng một trong bốn danh mục bên dưới. Chúng tôi không phải là lựa chọn trong ba danh mục còn lại, và trang này sẽ nói rõ điều đó khi áp dụng.

Bốn danh mục

Câu hỏi phân định là ai giữ thông tin xác thực của nhà cung cấp. Một sự thật duy nhất đó quyết định bạn bị tính phí cho những gì, ai chịu trách nhiệm khi khóa bị rò rỉ, bạn có thể sử dụng mức giá đã đàm phán với nhà cung cấp hay không, và bạn phải vận hành bao nhiêu phần của hệ thống. Mọi thứ khác — chính sách định tuyến, bộ nhớ đệm, dashboard — đều tồn tại trong mọi danh mục và tạo khác biệt ít hơn nhiều so với những gì hoạt động tiếp thị gợi ý.

1. Gateway bán lại quyền truy cập — không có tài khoản nhà cung cấp

Gateway giữ thông tin xác thực của hệ thống upstream và tính phí bạn theo mức sử dụng, vì vậy bạn không cần đăng ký với Anthropic, Google hay OpenAI. Đây là danh mục phù hợp khi vấn đề bạn đang giải quyết là mua sắm và thiết lập thay vì quyền kiểm soát: một khóa, một số dư, một SDK.

Kunavo — một base URL tương thích với OpenAI và một khóa sk-kn- cho Claude và GPT, cùng các mô hình hình ảnh, video và âm nhạc trên cùng số dư, với hầu hết danh mục được niêm yết thấp hơn mức giá chính thức của nhà cung cấp. Dịch vụ không định tuyến các khóa nhà cung cấp riêng của bạn; nếu dùng khóa của bạn là yêu cầu bắt buộc, toàn bộ danh mục này là lựa chọn sai. Giá · Bắt đầu nhanh

OpenRouter — lựa chọn có độ rộng lớn: hàng trăm mô hình từ một tập hợp lớn các nhà cung cấp trên một ví duy nhất, các gói miễn phí và khả năng định tuyến bằng khóa của bạn mà hầu hết danh mục này không có. Chọn dịch vụ này thay vì Kunavo khi độ phủ của phần đuôi danh mục quan trọng hơn đơn giá. Kunavo so với OpenRouter · bài tổng hợp đầy đủ về OpenRouter

AIMLAPI — tổng hợp các mô hình văn bản và đa phương tiện trên một khóa, cùng dạng với hai dịch vụ trên. Kunavo so với AIMLAPI

2. Control plane được lưu trữ — bạn giữ các tài khoản

Bạn giữ thông tin xác thực của nhà cung cấp; nền tảng bổ sung định tuyến, dự phòng, guardrail, quản trị chi tiêu và khả năng quan sát ở phía trên, còn bạn không phải vận hành nó. Đây là danh mục dành cho các nhóm có hợp đồng đã đàm phán với nhà cung cấp, vì những mức giá đó có giá trị hơn bất kỳ mức nào mà một bên bán lại có thể niêm yết. Kunavo không phải là lựa chọn ở đây — theo thiết kế, chúng tôi giữ thông tin xác thực upstream, tức là sắp xếp hoàn toàn ngược lại.

Portkey là dịch vụ duy nhất chúng tôi đã đánh giá (Kunavo so với Portkey); Helicone nằm ở đầu khả năng quan sát của cùng phân khúc (Kunavo so với Helicone). TrueFoundry, Braintrust và orq.ai nằm ở đầu doanh nghiệp — SLA, nhật ký kiểm toán, công cụ đánh giá. Chúng tôi chưa đánh giá ba dịch vụ đó, vì vậy chúng được đặt vào danh mục và liên kết thay vì xếp hạng, đồng thời mỗi dịch vụ đều tự xếp mình ở vị trí đầu trong tìm kiếm này.

3. Proxy tự lưu trữ — bạn vận hành phần mềm

Một proxy mã nguồn mở được triển khai vào hạ tầng của bạn, đứng trước các khóa nhà cung cấp của chính bạn. LiteLLM là lựa chọn mặc định và MLflow AI Gateway là lựa chọn tương đương gần nhất. Chọn danh mục này khi văn bản prompt không thể rời khỏi hạ tầng của bạn — một ràng buộc mà không lựa chọn lưu trữ nào trong ba danh mục còn lại có thể đáp ứng, bất kể giá.

Chi phí là điều cần nói rõ và trung thực: proxy tự lưu trữ là một gói trong hệ thống build của bạn, khiến CI/CD và cluster của bạn nằm trong phạm vi ảnh hưởng khi có sự cố. Điều này không mang tính giả thuyết đối với danh mục cụ thể này — sự cố chuỗi cung ứng LiteLLM vào tháng 3 năm 2026 là ví dụ thực tế, bao gồm cả những gì LiteLLM đã thay đổi sau đó.

4. Edge proxy — chỉ bộ nhớ đệm và giới hạn

Cloudflare AI Gateway bổ sung bộ nhớ đệm phản hồi, giới hạn tốc độ, thử lại và phân tích ở phía trước các tài khoản nhà cung cấp bạn đã có, đồng thời không bán lại suy luận. Dịch vụ này kết hợp với bất kỳ danh mục nào trong ba danh mục còn lại thay vì thay thế một danh mục — các nhóm thường chạy nó phía trước một gateway bán lại quyền truy cập. Kunavo so với Cloudflare AI Gateway

Cách chọn trong một lượt

• Văn bản prompt có thể rời khỏi hạ tầng của bạn không? Không → danh mục 3 và dừng đọc. Có → tiếp tục.
• Bạn có mức giá đã đàm phán với nhà cung cấp hoặc khoản chi tiêu cam kết không? Có → danh mục 2, để bạn tiếp tục sử dụng chúng. Không → tiếp tục.
• Bạn có muốn sở hữu tài khoản nhà cung cấp không? Không → danh mục 1. Có → danh mục 2.
• Bạn có cần hình ảnh, video hoặc âm nhạc trên cùng một khóa không? Tiêu chí này thu hẹp lựa chọn nhanh hơn bất kỳ tiêu chí nào khác — hãy kiểm tra trước khi so sánh bất kỳ điều gì khác.
• Thêm danh mục 4 lên trên lựa chọn của bạn nếu bộ nhớ đệm hoặc giới hạn tốc độ ở edge là yêu cầu thực sự; đây không phải lựa chọn thay thế cho các danh mục khác.

Những điều mọi danh sách này đều bỏ qua

Có hai điều, một cách nhất quán. Điều đầu tiên là điều gì xảy ra khi nhà cung cấp upstream gặp sự cố: mọi gateway đều quảng bá khả năng chuyển đổi dự phòng, nhưng rất ít bên công bố những gì họ thực sự làm — chuỗi định tuyến, thời gian chờ, request thất bại có bị tính phí hay không. Gateway nên xử lý gì cho bạn mới là tập hợp tính năng đáng được chất vấn, và câu trả lời phải cụ thể.

Điều thứ hai là chi phí di chuyển. Mọi sản phẩm trong các danh mục 1, 2 và 4 đều sử dụng giao thức wire của OpenAI, vì vậy việc chuyển đổi chỉ là base_url và thay khóa — nghĩa là mức độ khóa chặt thấp và quyết định này ít hệ trọng hơn rất nhiều so với hàm ý của một bảng so sánh chín mục. Hướng dẫn API tương thích với OpenAI có các chi tiết ở cấp wire.

Câu hỏi thường gặp