Die Bundesagentur für Arbeit (kurz BA) erbringt als Bundesbehörde Leistungen für den Arbeitsmarkt, insbesondere die Arbeitsvermittlung, und regelt als Verwaltungsträgerin der deutschen Arbeitslosenversicherung das Arbeitslosengeld. Sie ist mit über 110.000 Beschäftigten eine der größten Behörden in Deutschland.
Die BA betreibt eine der größten IT-Landschaften Deutschlands mit über 100 IT-Verfahren und rund 15.000 Anträgen täglich für Arbeitslosen- oder Kindergeld. Gleichzeitig steht die BA vor einem signifikanten Fachkräftemangel, denn rund 38 % des Personals werden im nächsten Jahrzehnt in den Ruhestand gehen. Um ihren Auftrag weiterhin erfüllen zu können, muss die IT deutlich mehr in deutlich kürzerer Zeit leisten – ohne eine proportionale Erhöhung der verfügbaren Mittel. Die Nutzung von Cloud-Technologien und Künstlicher Intelligenz sind hierbei entscheidende Bestandteile. Gleichzeitig muss die BA jedoch sicherstellen, dass Sozialdaten beim Einsatz von Cloud- und KI-Anwendungen datenschutzkonform und sicher verarbeitet werden.
Konkret sollte ein KI-Dienst für das interne Wissensmanagement schnell implementiert und getestet werden. Dabei wäre allerdings ein lokales KI-Deployment sehr aufwändig gewesen – daher sollte eine sichere cloudbasierte LLM-Lösung einsetzt werden.
Im Rahmen ihrer Multicloud-Strategie setzt die BA unter anderem auf Confidential Computing. Um die Nutzung von KI-Modellen aus der Cloud zu ermöglichen, wurde der Einsatz von Privatemode für das interne Wissensmanagement getestet. Mit Privatemode, dem auf Confidential Computing basierenden KI-Dienst von Edgeless Systems, sind Daten nicht nur während der Speicherung und Übertragung, sondern auch während der Verarbeitung verschlüsselt. Mit Privatemode AI können also LLMs schnell und skalierbar aus einer Cloud eingebunden werden, während Nutzerdaten nachweisbar vor einem Zugriff durch Modell-, Cloud- und KI-Service-Anbieter geschützt sind.
Mit Privatemode konnte die BA in kürzester Zeit und ohne eigene GPU-Hardware einen Wissens-Chatbot einrichten, der in der Lage ist, Fragen mit Informationen aus den internen Datenbanken des hauseigenen Cloud Center of Excellence zu beantworten. Mit Privatemode nutzt der Chatbot über eine API führende Open-Source-KI-Modell wie Llama 3.3 70B. Cloud-Ressourcen können für KI-Inferenz genutzt werden – nachweisbar ohne Sicherheits- und Datenschutzbedenken.
Unten sehen Sie Bilder einer gemeinsamen Vorstellung dieser Fallstudie mit dem Leiter des Cloud Center of Excellence der BA und Dr. Felix Schuster, dem CEO von Edgeless Systems.
