ULT TeamGPT (2025)

Projektbeschreibung

Diese speziell konfigurierte Instanz von Open WebUI wurde für den Kunden ULT eingerichtet, um eine sichere und private Verbindung zwischen Sprachmodellen und sensiblen Firmendaten zu ermöglichen.

Technische Implementierung

Die Lösung nutzt Docker-Containerisierung für eine isolierte und skalierbare Deployment-Umgebung. Über Coolify wird ein streamlined Deployment-Prozess gewährleistet, der Updates und Wartung vereinfacht.

RAG-Integration

Ein besonderer Fokus lag auf der Integration von Retrieval-Augmented Generation (RAG), wodurch das Sprachmodell auf firmeneigene Dokumente und Wissensdatenbanken zugreifen kann, ohne dass sensible Daten das Unternehmen verlassen.

Web-Suche

Auch wichtig war dem Kunden, dass über OpenWebUI eine Internetrecherche funktioniert. Daher wurde auch das RAG dafür konzipiert. Schwierigkeit hierbei war, dass nicht übermäßig viel Kontext verbraucht werden sollte. Daher wurde eine sogenannte Reranking-Engine namens Jina eingerichtet, die das ganze gefundene Material erstmal nach Relevanz sortiert und dann dem Sprachmodell als Kontext mitgibt.

Zu OpenWebUI

OpenWebUI ist eine benutzerfreundliche Schnittstelle, die es ermöglicht, Sprachmodelle effizient zu nutzen. Ein wesentlicher Vorteil von OpenWebUI ist die einfache Integration von Sprachmodellen in bestehende Systeme, was die Durchführung von Internetrecherchen erleichtert. Für den Kunden war es wichtig, dass diese Funktionalität gegeben ist. Um den Kontextverbrauch zu minimieren, wurde eine Reranking-Engine namens Jina implementiert, die das gefundene Material nach Relevanz sortiert und dem Sprachmodell als Kontext bereitstellt.