API d’Ollama compatible avec OpenAI

Ollama exécute des modèles ouverts sur votre propre machine et les expose via une API compatible avec OpenAI à http://localhost:11434/v1. Comme le format de communication correspond à celui d’OpenAI, le SDK officiel OpenAI fonctionne avec Ollama sans modification — et le même code peut accéder à des modèles hébergés de pointe en ne modifiant que l’URL de base.

Présentation de l’API Ollama compatible avec OpenAI

Ollama est un projet open source distinct qui permet d’exécuter localement des modèles comme Llama, Qwen et Mistral. En plus de son API native, il propose une interface compatible avec OpenAI : les outils conçus pour OpenAI fonctionnent donc sans réécriture. Il implémente les points de terminaison utilisés par la plupart des applications :

L’API prend en charge les conversations, les complétions et les embeddings (ainsi que l’entrée visuelle sur les modèles locaux multimodaux). Elle ne génère ni images, ni vidéo, ni audio. Kunavo implémente le même contrat /v1/chat/completions — cette référence décrit chaque paramètre, la structure des deltas en diffusion en continu et l’objet usage, et comprend un tableau de parité détaillé avec l’interface v1 d’Ollama.

Appeler Ollama avec le SDK OpenAI

Pointez base_url vers http://localhost:11434/v1. Le SDK exige un api_key, mais Ollama en local ignore sa valeur : transmettez n’importe quelle chaîne. Définissez model sur un modèle que vous avez téléchargé (par exemple ollama pull llama3.2).

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama's OpenAI-compatible API
    api_key="ollama",  # required by the SDK, ignored by local Ollama
)

resp = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Ou avec curl :

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello, Ollama"}]
  }'

Le même code, avec des modèles de pointe hébergés

Ollama convient parfaitement au développement hors ligne et aux tâches sensibles à la confidentialité, mais les modèles locaux restent en retrait par rapport aux modèles de pointe en raisonnement complexe, en programmation et en contexte long. Comme Kunavo est également compatible avec OpenAI, le passage à un modèle hébergé ne demande que deux modifications — base_url et l’identifiant du modèle :

from openai import OpenAI

client = OpenAI(
    base_url="https://api.kunavo.com/v1",  # only this line changes
    api_key="sk-kn-...",               # a real key now
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",  # a hosted frontier model
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Basculer selon l’environnement

Une approche courante consiste à utiliser Ollama pour le développement local et des modèles hébergés en production, avec une sélection pilotée par une variable d’environnement. Le client et le code de requête restent identiques ; seuls base_url et le modèle changent :

import os
from openai import OpenAI

# One client, switched by environment. Local for dev, hosted for prod.
if os.getenv("APP_ENV") == "production":
    client = OpenAI(base_url="https://api.kunavo.com/v1",
                    api_key=os.environ["KUNAVO_API_KEY"])
    MODEL = "claude-haiku-4-5"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    MODEL = "llama3.2"

resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

FAQ

Étapes suivantes

• Guide de l’API compatible avec OpenAI — du point de terminaison local d’Ollama aux modèles hébergés
• Qu’est-ce qu’une passerelle IA ? — le modèle à point de terminaison unique
• Référence des complétions de chat
• Démarrage rapide — votre première requête en 60 secondes