API de Ollama compatible con OpenAI

Ollama ejecuta modelos abiertos en tu propio equipo y los ofrece a través de una API compatible con OpenAI en http://localhost:11434/v1. Como el formato de comunicación coincide con el de OpenAI, el SDK oficial de OpenAI funciona con Ollama sin cambios; con el mismo código puedes acceder a modelos de vanguardia alojados cambiando solo la URL base.

Qué es la API de Ollama compatible con OpenAI

Ollama es un proyecto independiente de código abierto para ejecutar localmente modelos como Llama, Qwen y Mistral. Además de su API nativa, ofrece una interfaz compatible con OpenAI, por lo que las herramientas creadas para OpenAI funcionan sin reescribirlas. Implementa los endpoints que usan la mayoría de las aplicaciones:

Ofrece chat, completions y embeddings (además de entrada visual en modelos locales multimodales). No genera imágenes, vídeo ni audio. Kunavo implementa el mismo contrato /v1/chat/completions: esa referencia documenta cada parámetro, la estructura de los deltas de streaming y el objeto usage, e incluye una tabla de paridad línea por línea con la interfaz v1 de Ollama.

Llamar a Ollama con el SDK de OpenAI

Dirige base_url a http://localhost:11434/v1. El SDK requiere un api_key, pero Ollama local ignora su valor; pasa cualquier cadena. Establece model con un modelo que hayas descargado (por ejemplo, ollama pull llama3.2).

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama's OpenAI-compatible API
    api_key="ollama",  # required by the SDK, ignored by local Ollama
)

resp = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

O con curl:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "Hello, Ollama"}]
  }'

El mismo código, con modelos de vanguardia alojados

Ollama es ideal para el desarrollo sin conexión y para trabajos sensibles a la privacidad, pero los modelos locales están por detrás de los de vanguardia en razonamiento complejo, programación y contexto largo. Como Kunavo también es compatible con OpenAI, trasladar una llamada a un modelo alojado requiere cambiar dos líneas: base_url y el identificador del modelo:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.kunavo.com/v1",  # only this line changes
    api_key="sk-kn-...",               # a real key now
)

resp = client.chat.completions.create(
    model="claude-sonnet-5",  # a hosted frontier model
    messages=[{"role": "user", "content": "Explain quicksort in one paragraph."}],
)
print(resp.choices[0].message.content)

Cambiar mediante una variable de entorno

Un patrón habitual consiste en usar Ollama para el desarrollo local y modelos alojados en producción, seleccionados mediante una variable de entorno. El cliente y el código de la solicitud son idénticos; solo cambian base_url y el modelo:

import os
from openai import OpenAI

# One client, switched by environment. Local for dev, hosted for prod.
if os.getenv("APP_ENV") == "production":
    client = OpenAI(base_url="https://api.kunavo.com/v1",
                    api_key=os.environ["KUNAVO_API_KEY"])
    MODEL = "claude-haiku-4-5"
else:
    client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
    MODEL = "llama3.2"

resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

Preguntas frecuentes

Próximos pasos

• Guía de la API compatible con OpenAI: del endpoint local de Ollama a los modelos alojados
• ¿Qué es una pasarela de IA? El patrón de un único endpoint
• Referencia de completaciones de chat
• Inicio rápido: tu primera solicitud en 60 segundos