Ollama'nın OpenAI uyumlu API'si

Ollama, açık modelleri kendi makinenizde çalıştırır ve bunları OpenAI uyumlu bir API üzerinden http://localhost:11434/v1 adresinde sunar. İletim biçimi OpenAI ile eşleştiğinden resmi OpenAI SDK'sı Ollama ile değişiklik yapılmadan çalışır; yalnızca temel URL'yi değiştirerek aynı kodla barındırılan öncü modellere de erişebilirsiniz.

Ollama'nın OpenAI uyumlu API'si nedir?

Ollama, Llama, Qwen ve Mistral gibi modelleri yerel olarak çalıştırmaya yönelik ayrı bir açık kaynak projesidir. Kendi API'sinin yanında OpenAI uyumlu bir arayüz de sunar; böylece OpenAI için geliştirilen araçlar yeniden yazılmadan çalışır. En çok kullanılan uç noktaları uygular:

Sohbeti, tamamlamaları ve gömmeleri (çok modlu yerel modellerde görsel girdisini de) kapsar. Görüntü, video veya ses üretmez. Kunavo aynı /v1/chat/completions sözleşmesini uygular — bu referans tüm parametreleri, akış delta biçimini ve usage nesnesini belgeler ve Ollama'nın v1 arayüzüyle satır satır uyumluluk tablosu içerir.

OpenAI SDK ile Ollama'yı çağırma

base_url değerini http://localhost:11434/v1 olarak ayarlayın. SDK bir api_key gerektirir, ancak yerel Ollama bu değeri yok sayar — herhangi bir metin verebilirsiniz. model değerini indirdiğiniz bir modele ayarlayın (ör. ollama pull llama3.2).

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama's OpenAI-compatible API
    api_key="ollama",  # required by the SDK, ignored by local Ollama
)

resp = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Veya curl ile:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello, Ollama"}]
  }'

Aynı kodla barındırılan öncü modellere erişin

Ollama çevrimdışı geliştirme ve gizliliğin önemli olduğu işler için idealdir; ancak yerel modeller zor akıl yürütme, kodlama ve uzun bağlam konularında öncü modellerin gerisinde kalır. Kunavo da OpenAI uyumlu olduğundan, bir çağrıyı barındırılan bir modele geçirmek iki satırlık bir değişiklik gerektirir — base_url ve model kısa adı:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.kunavo.com/v1",  # only this line changes
    api_key="sk-kn-...",               # a real key now
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",  # a hosted frontier model
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Ortam değişkenine göre geçiş yapın

Yaygın bir yaklaşım, yerel geliştirme için Ollama'yı; üretim içinse ortam değişkeniyle seçilen barındırılan modelleri kullanmaktır. İstemci ve istek kodu aynıdır — yalnızca base_url ve model farklıdır:

import os
from openai import OpenAI

# One client, switched by environment. Local for dev, hosted for prod.
if os.getenv("APP_ENV") == "production":
    client = OpenAI(base_url="https://api.kunavo.com/v1",
                    api_key=os.environ["KUNAVO_API_KEY"])
    MODEL = "claude-haiku-4-5"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    MODEL = "llama3.2"

resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

SSS

Sonraki adımlar

• OpenAI uyumlu API kılavuzu — Ollama'nın yerel uç noktasından barındırılan modellere
• AI ağ geçidi nedir? — tek uç nokta yaklaşımı
• Sohbet tamamlama başvuru belgesi
• Hızlı başlangıç — ilk isteğiniz 60 saniyede