RAG-Chatbot-API — Claude-basierter Wissensdatenbank-Assistent in Produktion

Die moderne Standardarchitektur für Wissensdatenbanken

Eine herkömmliche Wissensdatenbanksuche liefert Links; der Nutzer liest sie. RAG macht daraus eine einmalige dialogbasierte Antwort mit Zitaten. Gute Umsetzung liefert Antworten in 2 Sekunden statt nach dem Durchsuchen von 5 Dokumenten. Bei schlechter Umsetzung halluziniert der Chatbot und Ihr CTO verbietet das Projekt für ein Jahr. Diese Seite erklärt den Unterschied.

Der minimal erforderliche Produktions-Stack

1. Vektorspeicher: pgvector, wenn Sie bereits Postgres verwenden; Pinecone oder Qdrant als verwaltete Lösung
2. Embeddings: text-embedding-3-large, direkt über OpenAI aufgerufen — Kunavo stellt keine Embeddings bereit, und der Embedding-Aufruf ist in jedem Fall eine separate Anfrage vom Generierungsaufruf
3. Retrieval: hybrid (Vektor + BM25 mit Reciprocal-Rank-Fusion)
4. Generierung: Claude Sonnet 5 mit cache_control im System-Prompt
5. UI: Streaming-Antworten, Zitatanzeige, Fallback „Ich weiß es nicht“

from openai import OpenAI
client = OpenAI(api_key="sk-kn-...", base_url="https://api.kunavo.com/v1")

def chat(question: str, history: list[dict]) -> dict:
    chunks = hybrid_retrieve(question, k=5)  # vector + BM25
    context = "\n\n---\n\n".join(
        f"[doc:{c['id']}] {c['text']}" for c in chunks
    )
    resp = client.chat.completions.create(
        model="claude-sonnet-5",
        messages=[
            {"role": "system", "content": [{
                "type": "text",
                "text": (
                    "Answer only from Context. Cite [doc:N] for each claim. "
                    "If Context doesn't answer, say 'I don't have that.' "
                    "Be concise, no throat-clearing."
                ),
                "cache_control": {"type": "ephemeral"},
            }]},
            *history,
            {"role": "user", "content": f"# Context\n{context}\n\n# Q\n{question}"},
        ],
        max_tokens=600,
    )
    answer = resp.choices[0].message.content
    cited_ids = parse_citations(answer)  # extract [doc:N] references
    return {"answer": answer, "sources": [c for c in chunks if c["id"] in cited_ids]}

Kosten im Produktionsmaßstab

• Erstindizierung: etwa $0,25 für 5.000 Dokumente mit jeweils 500 Tokens
• 1.000 Anfragen/Tag: etwa $210/Monat mit Caching
• 10.000 Anfragen/Tag: etwa $2.100/Monat
• Bei Verwendung von Haiku 4.5 statt Sonnet: etwa 4-mal günstiger, etwa 85 % Antwortqualität

Die vollständige Architekturaufschlüsselung finden Sie im RAG-Implementierungsleitfaden. Sprachspezifische Hinweise finden Sie im Deep Dive zu japanischem RAG und im Leitfaden zu spanischem RAG.

Die drei Muster, die Halluzinationen tatsächlich verhindern

• Jede Behauptung zitieren: [doc:42]-Tags in der Modellausgabe. Wenn die zitierte ID nicht in der abgerufenen Menge enthalten ist, handelt es sich um eine Halluzination — blockieren und protokollieren
• Explizite Verweigerung im System-Prompt: „Wenn der Kontext keine Antwort liefert, sagen Sie: ‚Das weiß ich nicht.‘“ Ohne diese Vorgabe ergänzt das Modell Inhalte aus seinem Weltwissen
• Ausgabelimit von 600 Tokens: Kurze Antworten sind meist präzise Antworten. In längeren Ausgaben schleichen sich zusätzliche Erfindungen ein

Was in Woche 1 und was in Woche 4 ausgeliefert wird

Start unter /app/signup

Eine Aufladung von $10 deckt die Erstindizierung von etwa 100.000 Dokumenten und 1.500 Testanfragen ab — mehr als genug für einen funktionalen Prototypen; das Guthaben verfällt nie. Lesen Sie anschließend den vollständigen RAG-Leitfaden für Produktionsmuster.

FAQ