BRZ LLM as a Service

Die öffentliche Verwaltung steht vor der Herausforderung, moderne KI-Technologien sicher und rechtskonform einzusetzen. Ein zentraler Aspekt dabei ist die digitale Souveränität: Daten müssen unter vollständiger Kontrolle der Verwaltung bleiben, um Datenschutz und Compliance zu gewährleisten. Ein On-Premises gehostetes Large Language Model (LLM) bietet genau diese Sicherheit. Es verhindert die Weitergabe sensibler Informationen an externe Anbieter und ermöglicht gleichzeitig den Einsatz leistungsfähiger KI-Funktionen innerhalb einer geschützten Infrastruktur.

Das BRZ hat mit Large Language Model as a Service (LLMaaS) eine Plattform entwickelt, die den Einsatz von großen Sprachmodellen (Large Language Models) in einer sicheren und skalierbaren Umgebung ermöglicht. Die Lösung wird vollständig im BRZ-Rechenzentrum betrieben und erfüllt die Anforderungen der Datenschutz-Grundverordnung (DSGVO). Diese Plattform soll Kundinnen/Kunden und Mitarbeiterinnen/Mitarbeitern zur Verfügung stehen.

Architektur und Sicherheit

Die Plattform ist so konzipiert, dass Daten ausschließlich im BRZ verarbeitet werden. Eine Mandantentrennung stellt sicher, dass Daten verschiedener Organisationen strikt voneinander isoliert bleiben. Zugriffskontrollen basieren auf Rollen (Role-Based Access Control) und dem offenen Standard OAuth für Autorisierung.

Einheitliche Schnittstelle

Über eine zentrales API (Application Programming Interface) können Anwendungen auf die Sprachmodelle zugreifen. Diese Schnittstelle ist kompatibel mit gängigen Standards wie OpenAI und sorgt dafür, dass die Integration in bestehende Systeme einfach bleibt. Das Gateway übernimmt die Anpassung von Anfragen und Antworten, sodass unterschiedliche Modelle einheitlich genutzt werden können.

Ressourcenmanagement und Skalierung

Die Plattform verwendet spezielle Grafikkarten (GPUs), die für KI-Berechnungen optimiert sind. Techniken wie Batching (Zusammenfassen mehrerer Anfragen zur effizienteren Verarbeitung) und Model Caching (Zwischenspeichern von Modellen) sorgen für hohe Leistung. Die Nutzung wird über ein System von Quotas und Limits gesteuert, um Überlastungen zu vermeiden.

Überwachung und Nachvollziehbarkeit

Ein Monitoring-System liefert Echtzeitinformationen zu Leistung, Auslastung und Fehlern. Alle Zugriffe werden protokolliert, um die Einhaltung von Sicherheits- und Compliance-Vorgaben sicherzustellen.

Verrechnungsmodell

Die Abrechnung erfolgt auf Basis von Tokens. Ein Token ist ein kleines Textfragment, das bei der Verarbeitung durch das Modell entsteht. Die Plattform ordnet den Verbrauch automatisch den jeweiligen Projekten zu. Geplant sind Pakete in verschiedenen Größen (Small, Medium, Large), um die Kosten kalkulierbar zu machen.

Anwendungsbereiche

Das BRZ LLM ist das Fundament für die Umsetzung von KI-Anwendungen und darauf aufbauend könnten unterschiedlichste KI-Use-Cases umgesetzt werden wie z.B.:

• Retrieval Augmented Generation (RAG) mit Vektordatenbank-Integration
• Unternehmensweite Wissensdatenbanken mit Embedding-Modellen
• Chat-Interfaces und virtuelle Assistenten
• Code-Generierung und Developer-Tools
• Content-Erstellung und Dokumenten-Analyse