LLM as a Service

Die öffentliche Verwaltung steht vor der Herausforderung, moderne KI-Technologien sicher und rechtskonform einzusetzen. Ein zentraler Aspekt dabei ist die digitale Souveränität: Daten müssen unter vollständiger Kontrolle der Verwaltung bleiben, um Datenschutz und Compliance zu gewährleisten. Ein On-Premises gehostetes Large Language Model (LLM) bietet genau diese Sicherheit. Es verhindert die Weitergabe sensibler Informationen an externe Anbieter und ermöglicht gleichzeitig den Einsatz leistungsfähiger KI-Funktionen innerhalb einer geschützten Infrastruktur.

Das BRZ hat mit Large Language Model as a Service (LLMaaS) eine Plattform entwickelt, die den Einsatz von großen Sprachmodellen (Large Language Models) in einer sicheren und skalierbaren Umgebung ermöglicht. Die Lösung wird vollständig in den BRZ-Rechenzentren betrieben und erfüllt die Anforderungen der Datenschutz-Grundverordnung (DSGVO). 

Vorteile des BRZ-LLMaaS

• Das LLMaaS ist technisch und organisatorisch auf den schrittweisen Ausbau innerhalb der österreichischen Verwaltung ausgelegt. Neue Organisationen, Modelle und Use Cases können integriert werden, ohne bestehende Strukturen zu beeinträchtigen.
• LLMaaS basiert auf der OpenShift Containertechnologie und lässt sich somit einfach hoch skalieren. Einzelne Modelle lassen sich getrennt voneinander skalieren.
• GPUs mehrerer Generationen lassen sich mischen, sodass es auch zukünftig gut erweitert werden kann.
• Das LLMaaS leistet einen wesentlichen Beitrag zur digitalen und technologischen Souveränität der Republik Österreich.