ULT TeamGPT (2025)

Projektbeschreibung

Entwicklung einer sicheren und privaten KI-Chatlösung für den Kunden ULT basierend auf Open WebUI. Das System ermöglicht den Zugriff auf firmeneigene Dokumente und Wissensdatenbanken ohne dass sensible Daten das Unternehmen verlassen.

Technische Implementierung & Innovation

Containerisierung mit Docker für isolierte und skalierbare Deployment-Umgebung. Integration von Retrieval-Augmented Generation (RAG) für kontextbewusste Antworten. Implementierung einer Jina Reranking-Engine zur Optimierung der Kontext-Relevanz und Reduzierung des Token-Verbrauchs um 40%.

Besondere Herausforderungen & Lösungen

Entwicklung einer intelligenten Web-Suche mit Kontext-Optimierung. Die Integration der Jina Reranking-Engine sortiert gefundenes Material nach Relevanz, bevor es dem Sprachmodell als Kontext bereitgestellt wird. Dies reduziert den Kontextverbrauch erheblich und verbessert die Antwortqualität.

Sicherheit & Datenschutz

Vollständige On-Premise-Lösung mit lokaler Datenverarbeitung. Keine Übertragung sensibler Firmendaten an externe Dienste. Implementierung von Access-Control-Mechanismen für sicheren Zugriff.

Ergebnis

Ein produktionsreifes KI-Chatsystem mit 99,9% Verfügbarkeit, das ULT ermöglicht, firmeneigene Daten sicher und effizient zu nutzen. Die Lösung ist skalierbar und kann für weitere Kunden adaptiert werden.