Na, ein cooles Tool gefunden, das mit ChatGPT arbeitet? So wie z.B. ich dieses Jahr Karakeep. Aber du oder z.B. dein Datenschutzbeauftragter im Betrieb hat Bauchschmerzen, wenn OpenAI als Hoster des LLMs (Large Language Model) verwendet wird? – Naja, und das vermutlich zu Recht…

Wenn das Tool deiner Wahl aber nur die API (Application Programming Interface) von OpenAI implementiert hat, tja, dann schaust du in die Röhre… Oder du nutzt LiteLLM.

LiteLLM ist sowas wie ein Universal-Adapter zwischen den APIs der verschiedenen LLM-Anbieter. Zwar merkt man, dass sich die großen Anbieter immer näher kommen, aber einen wirklichen Standard gibt es leider noch nicht. LiteLLM als eine Art Man-in-the-Middle übersetzt z.B. einen API-Call, der eigentlich an die API von OpenAI gehen sollte, an den Standard, den z.B. die API von Mistral vorgibt, oder Azure OpenAI, oder Anthropic oder deine lokal gehostete Ollama-Instanz oder… you name it.

Das Schöne ist, du hast auf einmal die Wahl und bist nicht gefangen im Vendor-Lock-in. Viele Tool-Entwickler setzen sogar mittlerweile darauf, dass ein Tool wie LiteLLM verwendet wird. Denn mittlerweile gibt es einen ganzen Blumenstrauß an LLM-Anbietern und jeden Anbieter, den sich die jeweilige Community wünscht, anzubinden, das bindet ’ne Menge Ressourcen.

Wer einigermaßenmit Docker klarkommt , für den ist LiteLLM aufsetzen ein Kinderspiel. In ein paar Minuten läuft der Container und du bist ein großes Stück flexibler: