Dokumentation

AnythingLLM

AnythingLLM erreicht einen Endpunkt, für den es keinen benannten Anbieter mitliefert, über den Anbieter „Generic OpenAI“: mit einer Basis-URL, einem Schlüssel und einer selbst eingegebenen Modell-ID. Zwei der fünf Felder haben Standardwerte, die unbemerkt Kosten verursachen.

AnythingLLM erreicht einen Endpunkt ohne eigenen benannten Anbieter über Generic OpenAI — Base URL mit /v1, Schlüssel und selbst eingegebene Modell-ID, da keine Liste abgerufen wird.

Instance Settings → AI Providers → LLM

LLM Provider           Generic OpenAI
Base URL               https://api.kunavo.com/v1
API Key                sk-kn-...
Selected Model         claude-sonnet-5
Model context window   1000000
Max Tokens             8192

Die Basis-URL behält das Suffix /v1 bei. Die Einrichtungsseite von AnythingLLM erklärt das nicht im Fließtext, aber die mitgelieferte Datei server/.env.example tut es: Dort wird dieselbe Einstellung als GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1' geschrieben. Der Quellcode des Anbieters übergibt diesen Wert unverändert als baseURL an das OpenAI-SDK und hängt nur die Route an. Beide Quellen wurden am 21. September 2026 eingesehen.

Kunavo hat AnythingLLM nicht mit diesem Endpunkt ausgeführt. Diese Seite gibt die eigene Dokumentation und den mitgelieferten Quellcode von AnythingLLM zum unten angegebenen Datum wieder; sie ist kein Testbericht. Eine veröffentlichte Einrichtungsseite ist kein Kompatibilitätstest und sollte auch nicht als solcher verstanden werden. Die eigene Seite von AnythingLLM formuliert es noch deutlicher: „Dies ist ein LLM-Anbieter für Entwickler. Sie sollten ihn nur verwenden, wenn Sie wissen, was Sie tun.“

Zwei Felder sollten Sie ausfüllen, obwohl sie optional wirken. Wenn Sie Model context window leer lassen, verwendet der Anbieter den Standardwert 4096 und berechnet das Budget für Verlauf, System-Prompt und Benutzerinhalte anhand dieses angenommenen Kontextfensters. Für Max Tokens gilt der Standardwert 1024. Dadurch werden lange Antworten abgeschnitten, bis Sie den Wert erhöhen.

Damit wird nur der Chat-Teil konfiguriert. Der Embedder von AnythingLLM ist ein separater Anbieter, der systemweit eingestellt wird. Kunavo bietet kein Embedding-Modell an. Richten Sie den Embedder daher nicht auf diesen Endpunkt. Für diesen Teil eignen sich der kostenlose, integrierte lokale Embedder oder ein spezialisierter Embedding-Anbieter. Kunavo bietet außerdem weder ein Speech-to-Text- noch ein Text-to-Speech-Modell an. Die Anbieter „Transcription“ und „Voice & Speech“ von AnythingLLM sind daher ebenfalls nicht für diesen Endpunkt geeignet.

Noch kein Schlüssel? Erstelle ein Kunavo-Konto, erstelle einen Schlüssel (er beginnt mit sk-kn-) und füge ab $10 Guthaben hinzu – Aufrufe werden aus diesem Guthaben bezahlt, fehlgeschlagene Aufrufe werden nicht berechnet. Das Dashboard öffnet anschließend die AnythingLLM-Einrichtung.

Schritt für Schritt

Erstellen Sie unter /app/keys einen Schlüssel und kopieren Sie ihn — er wird nur einmal angezeigt.
Öffnen Sie Instance Settings → AI Providers → LLM. Der Pfad ist bei der Desktop- und der selbst gehosteten Instanz identisch; nur der Zugriff auf den Einstellungsbereich unterscheidet sich.
Wählen Sie unter LLM Provider Generic OpenAI aus. Auf der zugehörigen Karte steht: „Stellt über eine benutzerdefinierte Konfiguration eine Verbindung zu jedem OpenAI-kompatiblen Dienst her.“
Füllen Sie Base URL, API Key und Selected Model wie oben beschrieben aus. „Selected Model“ ist ein Textfeld und keine abgerufene Liste. Der Anbieter führt dafür keine Vorabprüfung aus. Daher wird eine falsch eingegebene ID beim Speichern akzeptiert und schlägt erst bei der ersten Nachricht fehl.
Legen Sie Werte für Model context window und Max Tokens fest, statt die Felder leer zu lassen, und klicken Sie dann auf Save changes.
Senden Sie eine Nachricht in einem Workspace. Ein Workspace kann das systemweite LLM überschreiben. Wenn die Antwort also so aussieht, als käme sie noch vom alten Anbieter, prüfen Sie zuerst die Modelleinstellung des Workspace, bevor Sie hier etwas ändern.

Abgeglichen mit Die LLM-Seite „OpenAI (Generic)“ von AnythingLLM am 21. September 2026. Einstellungen von Drittanbietern können sich ändern; wenn ein Feldname hier nicht mehr mit deiner Ansicht übereinstimmt, ist diese Seite maßgeblich, nicht diese hier.

Dies ist die Kurzfassung. Die vollständige Anleitung – Modellauswahl, Kosten einer tatsächlichen Sitzung und Fehlerszenarien – findest du in was eine AnythingLLM-Bereitstellung tatsächlich kostet.

Vor dem Debugging des Clients prüfen

Eine Anfrage klärt, ob der Fehler am Endpunkt, am Schlüssel oder an der Konfigurationsdatei liegt. Wenn diese Anfrage JSON zurückgibt, funktionieren dieselbe Basis-URL und derselbe Schlüssel in AnythingLLM.

# Settles whether a failure is the endpoint, the key, or the client.
curl -sS https://api.kunavo.com/v1/models \
  -H "Authorization: Bearer sk-kn-..."

Welche Modell-ID in das Feld gehört

Jedes Textmodell ist über eine Modell-ID erreichbar – die aktuelle Liste findest du unter GET /v1/models, den Katalog mit Preisen auf der Modellseite. Die Tarife sind USD pro 1 Mio. Token, Eingabe / Ausgabe.

Modell-ID	Kunavo: Ein- und Ausgabe	Wo es in AnythingLLM hineinpasst
`claude-sonnet-5`	$1.40 / $7.00	das Alltagsmodell im Workspace für Fragen und Antworten zu Dokumenten
`claude-haiku-4-5`	$0.70 / $3.50	Workspaces mit hohem Anfragevolumen, in denen der Abruf die Fakten liefert
`claude-opus-5`	$3.50 / $17.50	ein Agenten- oder Synthese-Workspace, in dem eine falsche Antwort teuer zu stehen kommt
`gpt-5-6-sol`	$2.00 / $12.00	eine zweite Modellfamilie für denselben Schlüssel, je Workspace
`gpt-5-6-terra`	$0.70 / $4.20	lange Dokumente, die vollständig angehängt und nicht abgerufen werden

Die Abrechnung erfolgt pro Token aus einem vorausbezahlten Guthaben ohne Monatsgebühr – siehe Abrechnung. Bei wiederholtem Kontext – dem Großteil dessen, was ein Editor oder Chat-Client sendet – verändert Prompt-Caching die Rechnung stärker als die Modellwahl.

Häufig gestellte Fragen

Wie füge ich AnythingLLM einen benutzerdefinierten API-Endpunkt hinzu?

Öffnen Sie „Instance Settings“, dann „AI Providers“ und anschließend „LLM“. Wählen Sie den Anbieter „Generic OpenAI“ — auf der zugehörigen Karte von AnythingLLM steht: „Stellt über eine benutzerdefinierte Konfiguration eine Verbindung zu jedem OpenAI-kompatiblen Dienst her.“ Er bietet fünf Felder: „Base URL“, „API Key“, „Selected Model“, „Model context window“ und „Max Tokens“, außerdem die Schaltfläche „Save changes“. Dieser Anbieter ist der unterstützte Weg zu jedem OpenAI-kompatiblen Endpunkt, für den AnythingLLM keine eigene Integration mitliefert. Prüfen Sie zuerst die Anbieterliste: Dienste wie LM Studio, LocalAI und LiteLLM haben eigene benannte Anbieter mit eigenen Feldern für die Basis-URL und eigenen Standardwerten.

Muss die AnythingLLM-Basis-URL mit /v1 enden?

Ja, bei einem OpenAI-kompatiblen Endpunkt. Die Einrichtungsseite erklärt das nicht im Fließtext. Entscheidend ist daher das mit AnythingLLM ausgelieferte Beispiel server/.env.example, in dem dieselbe Einstellung als GENERIC_OPEN_AI_BASE_PATH='http://proxy.url.openai.com/v1' angegeben ist. Der Quellcode des Anbieters übergibt diesen Wert unverändert als baseURL an das OpenAI-SDK. Daher wird nur die Route /chat/completions angehängt. Für Kunavo lautet die Basis-URL https://api.kunavo.com/v1. Fehlt /v1, erscheint ein 404-Fehler statt eines Authentifizierungsfehlers. Beide Quellen wurden am 21. September 2026 eingesehen.

Warum zeigt AnythingLLM beim Anbieter „Generic OpenAI“ keine Modellliste an?

Weil es keine Liste gibt: „Selected Model“ ist ein Textfeld, in das Sie die ID eingeben, und der Anbieter prüft Ihre Eingabe nicht vorab. Das ist bei einem Anbieter, der auf Endpunkte zugreifen soll, über die AnythingLLM nichts weiß, beabsichtigt. Daher wird auch ein Tippfehler beim Speichern akzeptiert und schlägt erst beim Senden einer Nachricht fehl. Um eine falsche Modell-ID von einer falschen URL oder einem falschen Schlüssel zu unterscheiden, führen Sie die oben beschriebene Anfrage an /v1/models mit demselben Wertepaar aus: Kommt JSON zurück, stimmen Endpunkt und Schlüssel, und die ID muss korrigiert werden.

Kann Kunavo bei AnythingLLM sowohl Embedder als auch Chat-Modell sein?

Nein. Kunavo bietet kein Embedding-Modell an und deckt daher einen Teil von AnythingLLM nicht ab. Außerdem ist der Embedder von AnythingLLM ein eigener Anbieter, getrennt vom Chat-Anbieter. Er wird systemweit statt je Workspace eingestellt und lässt sich später nur umständlich ändern, da beim Wechsel alle Dokumente gelöscht und erneut eingebettet werden müssen. Verwenden Sie den integrierten lokalen Embedder der Desktop-Version oder einen spezialisierten Embedding-Anbieter und nutzen Sie diesen Endpunkt für den Chat-Anbieter. Kunavo bietet auch weder ein Speech-to-Text- noch ein Text-to-Speech-Modell an. Daher sind auch „Transcription“ und „Voice & Speech“ nicht abgedeckt.

Hat Kunavo AnythingLLM mit seinem Endpunkt getestet?

Nein. Kunavo hat keinen der Clients in diesem Abschnitt ausgeführt, und diese Seite ist kein Testbericht. Sie gibt die eigene Dokumentation und den mitgelieferten Quellcode von AnythingLLM wieder und ist datiert, damit Sie erkennen können, wie veraltet sie ist. Sie kann verlässlich angeben, welche Felder vorhanden sind, wie AnythingLLM die jeweiligen Werte verwendet und welche Standardwerte Kosten verursachen. Sie kann jedoch nicht belegen, dass Agenten-Tool-Aufrufe, Streaming oder Anhänge in Ihrem Build auf eine bestimmte Weise funktionieren, da hier niemand den Client ausgeführt hat. Senden Sie eine Nachricht, bevor Sie einen Workspace umstellen.

Kann ich den Anthropic-Anbieter von AnythingLLM stattdessen auf einen Drittanbieter-Endpunkt richten?

Nicht über eine von AnythingLLM angebotene oder dokumentierte Funktion: Der Anbieter hat in der Benutzeroberfläche kein Feld „Base URL“, und sein Quellcode erstellt den Anthropic-SDK-Client nur mit einem Schlüssel und Headern. Der unterstützte Weg zu einem Drittanbieter-Endpunkt führt über „Generic OpenAI“ mit Chat Completions. Darum geht es bei der Konfiguration auf dieser Seite. Beachten Sie eine Folge: Der Pfad „Generic OpenAI“ sendet keine Markierung cache_control. Daher erhält ein Protokoll, das für das Caching eine entsprechende Client-Anfrage voraussetzt, darüber keinen Cache-Treffer. Ob ein Endpunkt auch ohne Markierung des Clients cached, erfahren Sie in der Dokumentation des Endpunkts.