API Ollama yang kompatibel dengan OpenAI

Ollama menjalankan model terbuka di komputer Anda dan menyediakannya melalui API yang kompatibel dengan OpenAI di http://localhost:11434/v1. Karena format komunikasinya cocok dengan OpenAI, OpenAI SDK resmi dapat digunakan dengan Ollama tanpa perubahan — dan kode yang sama dapat mengakses model frontier yang dihosting dengan hanya mengubah URL dasar.

Apa itu API Ollama yang kompatibel dengan OpenAI

Ollama adalah proyek sumber terbuka terpisah untuk menjalankan model seperti Llama, Qwen, dan Mistral secara lokal. Selain API bawaannya, Ollama menyediakan antarmuka yang kompatibel dengan OpenAI, sehingga alat yang dibuat untuk OpenAI dapat digunakan tanpa penulisan ulang. API ini menerapkan endpoint yang paling sering digunakan aplikasi:

API ini mencakup chat, completions, dan embeddings (serta input visi pada model lokal multimodal). API ini tidak menghasilkan gambar, video, atau audio. Kunavo menerapkan kontrak /v1/chat/completions yang sama — referensi tersebut mendokumentasikan setiap parameter, bentuk delta streaming, dan objek usage, serta menyertakan tabel kesetaraan baris demi baris dengan antarmuka v1 Ollama.

Memanggil Ollama dengan OpenAI SDK

Arahkan base_url ke http://localhost:11434/v1. SDK memerlukan api_key, tetapi Ollama lokal mengabaikan nilainya — berikan string apa pun. Atur model ke model yang sudah Anda unduh (misalnya, ollama pull llama3.2).

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama's OpenAI-compatible API
    api_key="ollama",  # required by the SDK, ignored by local Ollama
)

resp = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Atau gunakan curl:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello, Ollama"}]
  }'

Kode yang sama, model frontier yang dihosting

Ollama ideal untuk pengembangan offline dan pekerjaan yang sensitif terhadap privasi, tetapi kemampuan model lokal masih tertinggal dari model frontier dalam penalaran sulit, pemrograman, dan konteks panjang. Karena Kunavo juga kompatibel dengan OpenAI, mengalihkan panggilan ke model yang dihosting hanya memerlukan perubahan dua baris — base_url dan slug model:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.kunavo.com/v1",  # only this line changes
    api_key="sk-kn-...",               # a real key now
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",  # a hosted frontier model
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Beralih melalui variabel lingkungan

Pola yang umum adalah menggunakan Ollama untuk pengembangan lokal dan model yang dihosting di produksi, dengan pemilihan melalui variabel lingkungan. Kode klien dan permintaan tetap sama — hanya base_url dan model yang berbeda:

import os
from openai import OpenAI

# One client, switched by environment. Local for dev, hosted for prod.
if os.getenv("APP_ENV") == "production":
    client = OpenAI(base_url="https://api.kunavo.com/v1",
                    api_key=os.environ["KUNAVO_API_KEY"])
    MODEL = "claude-haiku-4-5"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    MODEL = "llama3.2"

resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

Pertanyaan umum

Langkah selanjutnya

• Panduan API yang kompatibel dengan OpenAI — dari endpoint lokal Ollama ke model yang dihosting
• Apa itu gateway AI? — pola satu endpoint
• Referensi penyelesaian percakapan
• Mulai cepat — permintaan pertama Anda dalam 60 detik