Các lựa chọn thay thế LiteLLM (2026) — gateway lưu trữ, control plane BYO-key và khi nào nên tiếp tục dùng

LiteLLM là một proxy nguồn mở, tương thích OpenAI mà bạn tự vận hành: nó đứng trước các tài khoản nhà cung cấp của bạn và cung cấp cho mã nguồn một endpoint cùng một dạng key thống nhất giữa các nhà cung cấp (tài liệu của LiteLLM). Các đội ngũ tìm kiếm lựa chọn thay thế vì hai lý do không liên quan. Vận hành: proxy tự lưu trữ là thêm một dịch vụ cần vá lỗi, mở rộng và xử lý khi có cảnh báo. Chuỗi cung ứng: ngày 24 tháng 3 năm 2026, một kẻ tấn công đã công bố hai bản phát hành LiteLLM cài cửa hậu lên PyPI, khiến bề mặt tấn công của “một package trong quá trình build” xuất hiện trước nhiều đội ngũ chưa tính đến rủi ro này. Bài tổng hợp này gắn từng động lực với công cụ thực sự giải quyết nó — bao gồm cả trường hợp tiếp tục sử dụng LiteLLM, vốn có cơ sở mạnh hơn những gì bảy bài liệt kê nhà cung cấp trong kết quả tìm kiếm này gợi ý.

Tuyên bố thiên vị ngay từ đầu: Kunavo là sản phẩm của chúng tôi và được liệt kê đầu tiên. Mọi công cụ khác bên dưới đều nhận được một khuyến nghị thực chất; các chi tiết chúng tôi đã kiểm tra trực tiếp nằm trên các trang so sánh, còn hai công cụ chúng tôi chưa đánh giá chỉ được mô tả ở mức mà chính trang của chúng nêu ra.

Danh sách rút gọn

Sự phân biệt tạo ra phần lớn tác động

LiteLLM thực hiện hai nhiệm vụ cùng lúc, còn hầu hết lựa chọn thay thế chỉ thực hiện một. Nó là một proxy (một endpoint cho nhiều nhà cung cấp) và là một công cụ BYO-key (tài khoản nhà cung cấp vẫn thuộc về bạn). Một cổng suy luận được lưu trữ — Kunavo, OpenRouter — thay thế cả hai: không có proxy phải vận hành và không có tài khoản nhà cung cấp phải quản lý, vì gateway giữ thông tin xác thực upstream và tính phí bạn theo mức sử dụng. Một lớp điều khiển được lưu trữ — Portkey, TrueFoundry — chỉ thay thế phần đầu: bạn ngừng vận hành proxy nhưng vẫn giữ tài khoản. Biết mình đang thay thế nửa nào sẽ giải quyết phần lớn danh sách này. Mô hình này được giải thích trong hướng dẫn về LLM gateway.

Điều thực sự khiến mọi người tìm kiếm

Kết quả đứng đầu trong tìm kiếm này không phải một bài liệt kê — đó là một chủ đề Reddit về cuộc tấn công chuỗi cung ứng. Sau đây là những gì đã xảy ra, theo bản cập nhật bảo mật của chính LiteLLM: vào ngày 24 tháng 3 năm 2026, một kẻ tấn công đã tải litellm==1.82.7 và litellm==1.82.8 lên PyPI với mã độc được chèn vào các wheel phân phối. Chúng hoạt động từ 10:39 UTC trong khoảng 40 phút trước khi PyPI cách ly. Vụ xâm phạm được truy nguyên đến dependency Trivy trong quy trình quét bảo mật CI/CD của LiteLLM; kẻ tấn công đã vượt qua quy trình phát hành chính thức và tải trực tiếp lên PyPI. Theo SecurityWeek, hơn 2.500 tổ chức bị ảnh hưởng.

Biện pháp khắc phục của LiteLLM đã được ghi nhận và rất đáng kể: các package bị xâm phạm đã bị thu hồi, thông tin xác thực của maintainer đã được xoay vòng, Mandiant được thuê điều tra pháp chứng, và v1.83.0 được phát hành qua quy trình CI/CD được xây dựng lại với môi trường build cô lập, các lớp kiểm soát phát hành chặt chẽ hơn và image Docker được ký bằng cosign. Nếu bạn đang dùng 1.83.0 trở lên và không chạy phiên bản bị nhiễm trong khoảng thời gian 40 phút đó, sự cố này đã khép lại đối với bạn.

Lý do điều này vẫn đưa người dùng đến với truy vấn tìm kiếm này mang tính cấu trúc hơn là đặc thù của LiteLLM. Proxy tự lưu trữ là một gói trong bản dựng của bạn, khiến CI/CD và cụm của bạn nằm trong phạm vi ảnh hưởng của nó. Đây là câu đáng để suy ngẫm — điều này đúng như nhau với mọi giải pháp tự lưu trữ trên trang này, bao gồm MLflow AI Gateway, và đó là điều duy nhất mà một endpoint được lưu trữ loại bỏ: bạn gọi một URL HTTPS, nên không có gói nào để bị đầu độc và cũng không có thành phần gateway nào đang chạy bên trong mạng của bạn.

Nửa còn lại, một cách thành thật: gateway được lưu trữ không an toàn hơn, mà chịu một kiểu phơi nhiễm khác. Khóa API và nội dung prompt của bạn đi qua hạ tầng của bên khác, và bạn kế thừa rủi ro bị xâm phạm của họ thay cho rủi ro tự vá lỗi của mình. Nếu nội dung prompt không thể rời khỏi hạ tầng của bạn, tự lưu trữ là câu trả lời đúng và phần còn lại của trang này nói về một sự đánh đổi mà bạn không nên thực hiện.

1. Kunavo — không proxy, không tài khoản nhà cung cấp

Kunavo là một gateway suy luận được lưu trữ: một base URL tương thích với OpenAI, một khóa sk-kn-, một số dư trả theo mức sử dụng, và chúng tôi nắm giữ thông tin xác thực của nhà cung cấp thượng nguồn thay cho bạn. So với LiteLLM, đây là một cách phân công công việc khác — bạn không chạy proxy và không phải duy trì riêng các tài khoản tại Anthropic, Google và OpenAI.

Giá: phần lớn danh mục được niêm yết thấp hơn mức giá chính thức của các nhà cung cấp — Claude Sonnet 4.6 ở mức $2,10 / $10,50 cho mỗi 1M token, so với mức $3,00 / $15,00 của Anthropic. LiteLLM không có khoản cộng thêm vì không bán lại gì; số tiền bạn trả là theo thỏa thuận riêng với nhà cung cấp, vì vậy phép so sánh là mức giá của chúng tôi với mức giá trực tiếp của bạn, không phải với con số bằng không. Phạm vi: các mô hình trò chuyện, hình ảnh, video và âm nhạc trên cùng một khóa và số dư. Không thực hiện: định tuyến khóa nhà cung cấp của riêng bạn — đó là phần BYO-key mà LiteLLM giữ lại còn chúng tôi không thay thế. Chi tiết: Kunavo so với LiteLLM.

2. OpenRouter — danh sách mô hình dài nhất

Gateway suy luận được lưu trữ còn lại, và là lựa chọn nên dùng khi độ rộng danh mục quan trọng hơn đơn giá: hàng trăm mô hình từ một tập hợp lớn các nhà cung cấp trên một ví duy nhất, cùng các cấp miễn phí và định tuyến bằng khóa riêng của bạn mà Kunavo không cung cấp. Nếu bạn rời LiteLLM vì muốn ngừng nắm giữ các tài khoản, OpenRouter và Kunavo là hai mô hình thực tế nhất. Kunavo so với OpenRouter đặt hai bên cạnh nhau, còn bài tổng hợp về OpenRouter bao quát phần còn lại của lĩnh vực này.

3. Portkey — giữ khóa, bỏ vận hành

Một lớp điều khiển được lưu trữ trên các tài khoản nhà cung cấp mà bạn đã có: định tuyến, chuyển dự phòng, quy tắc bảo vệ và khả năng quan sát, mà không cần tự chạy proxy. Đây là sản phẩm thay thế gần nhất nếu bạn chọn LiteLLM vì các tính năng định tuyến và ngân sách, và điều duy nhất bạn thực sự muốn từ bỏ là việc vận hành nó. Chi tiết: Kunavo so với Portkey.

4. Helicone — nếu khả năng quan sát là toàn bộ lý do

Nhiều triển khai LiteLLM tồn tại vì ai đó cần nhật ký yêu cầu và phân bổ chi phí theo từng nhóm, còn proxy là cách họ có được những thứ đó. Nếu đúng với trường hợp của bạn, một lớp quan sát trên các lệnh gọi nhà cung cấp hiện có sẽ là thứ nhỏ hơn nhiều để vận hành so với một gateway. Chi tiết: Kunavo so với Helicone.

5. TrueFoundry — khi bộ phận mua sắm cần một nhà cung cấp

Đứng ở vị trí 2 trong truy vấn này với bài so sánh LiteLLM riêng. Đây là một gateway AI dành cho doanh nghiệp, được bán dựa trên độ trễ phát sinh, tính linh hoạt khi triển khai, SLA, quản trị và các cơ chế kiểm soát sẵn sàng cho kiểm toán (trang sản phẩm của họ). Chúng tôi chưa đánh giá sản phẩm này, vì vậy mục này chỉ là một chỉ dẫn chứ không phải khuyến nghị: nếu trở ngại của bạn là proxy nguồn mở không có hợp đồng hỗ trợ, đây là nhóm giải pháp xử lý vấn đề đó, và bài so sánh đáng đọc với nhận thức rằng chính họ đã viết bài.

6. MLflow AI Gateway — giải pháp thay thế nguồn mở tương đồng nhất

Vị trí 3, và là thứ gần với chính LiteLLM nhất trên trang này: một gateway nguồn mở, tự lưu trữ đứng trước các khóa nhà cung cấp của riêng bạn, được duy trì như một phần của dự án MLflow. Cần nói rõ: thay một proxy tự lưu trữ bằng một proxy tự lưu trữ khác vẫn giữ nguyên mô hình triển khai và do đó vẫn giữ nguyên bề mặt tấn công được mô tả ở trên. Đây là một lựa chọn hợp lệ — bạn nên chọn nó nếu điều bạn không thích là dự án, chứ không phải mô hình.

7. Cloudflare AI Gateway — bộ nhớ đệm và giới hạn ở biên

Một proxy mỏng đứng trước các tài khoản nhà cung cấp mà bạn đã có: bộ nhớ đệm phản hồi, giới hạn tốc độ, thử lại và phân tích, không bán lại hoạt động suy luận. Nó kết hợp với bất kỳ nguồn suy luận nào thay vì thay thế nguồn đó, bao gồm Kunavo hoặc OpenRouter. Chi tiết: Kunavo so với Cloudflare AI Gateway.

Khi LiteLLM vẫn là lựa chọn đúng

• Nội dung prompt không thể rời khỏi hạ tầng của bạn. Dữ liệu chịu quản lý, môi trường tách biệt hoàn toàn khỏi mạng khác hoặc chính sách mà một gateway được lưu trữ đơn giản là không thể đáp ứng. Tự lưu trữ là câu trả lời và câu hỏi duy nhất là nên chọn proxy tự lưu trữ nào.
• Bạn đã đàm phán hợp đồng với nhà cung cấp. Chi tiêu cam kết hoặc mức giá doanh nghiệp tại Anthropic, OpenAI hay Google có giá trị hơn bất kỳ mức nào mà một bên bán lại niêm yết, và các công cụ BYO-key là cách để bạn tiếp tục sử dụng chúng.
• Bạn sử dụng ngân sách theo khóa và định tuyến theo nhóm của nó. Những tính năng đó là lý do nhiều triển khai LiteLLM tồn tại; hãy kiểm tra xem giải pháp thay thế có bao phủ chúng trước khi cho rằng thay base URL là toàn bộ quá trình chuyển đổi.
• Bạn muốn mã nguồn có thể đọc và vá. Một proxy nguồn mở do bạn kiểm soát là một thuộc tính thực sự, và sự cố tháng 3 năm 2026 không làm mất thuộc tính đó — đó là một vụ xâm phạm pipeline phát hành, đã được khắc phục, chứ không phải lỗi trong chính proxy.

Chuyển đổi chỉ cần hai dòng

Mọi giải pháp thay thế ở đây có bán lại hoạt động suy luận đều sử dụng giao thức wire của OpenAI, vì vậy việc rời proxy LiteLLM chỉ là thay base_url và khóa — hình dạng yêu cầu và phản hồi không thay đổi:

# Before: your own LiteLLM proxy, your own provider keys,
# your own container to patch.
client = OpenAI(
    api_key=os.environ["LITELLM_MASTER_KEY"],
    base_url="http://litellm.internal:4000",
)

# After: a hosted endpoint. No package in your build, no proxy to run.
client = OpenAI(
    api_key=os.environ["KUNAVO_API_KEY"],
    base_url="https://api.kunavo.com/v1",
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)

Phần không chỉ gói gọn trong hai dòng là bất cứ điều gì LiteLLM thực hiện ngoài định tuyến: ngân sách theo khóa, phân phối theo nhóm, callback tùy chỉnh. Hãy kiểm kê những thứ đó trước. Chi tiết ở cấp wire nằm trong hướng dẫn API tương thích với OpenAI, còn những gì một gateway nên xử lý thay bạn bao quát bộ tính năng cần dùng để đánh giá giải pháp thay thế.

Câu hỏi thường gặp