Information und Technik NRW (IT.NRW) ist der IT-Dienstleister des Landes und Statistisches Landesamt für Nordrhein-Westfalen. IT.NRW betreibt, optimiert, administriert und überwacht grundlegende Bereiche der IT-Infrastruktur der Landesverwaltung NRW.
Der demografische Wandel in Nordrhein-Westfalen führt zu zunehmenden unbesetzten Stellen und Wissensverlust in der Verwaltung. Um die Handlungsfähigkeit zu sichern, ist der Einsatz neuer Technologien wie KI und die Unterstützung der Beschäftigten notwendig. Hierfür hat das Land NRW gemeinsam mit Capgemini den KI-Assistenten NRW Genius entwickelt, ein Baustein für eine effiziente und nutzerfreundliche Verwaltung.
Mit etwa 18 Millionen Bürgerinnen und Bürgern, 300.000 Beschäftigten im öffentlichen Dienst und 427 Kommunen mit weiteren Mitarbeitern erfordert die Verwaltung hoch skalierbare Lösungen. Die Verarbeitung großer Mengen an textbasierten Dokumenten, internen Daten und personenbezogenen Daten verlangt eine sichere Datenhandhabung.
Die Rechenzentren von IT.NRW verfügen über begrenzte KI-Kapazitäten, und der Ausbau von GPU-Infrastruktur ist zeitaufwendig und kostspielig. Daher wird eine sichere, datenschutzkonforme Verarbeitung in der Cloud angestrebt. Die Nutzung einer Cloud ist für die Skalierung unerlässlich. Allerdings benötigt ein Großteil der von NRW Genius verarbeiteten Daten hohen Schutz, insbesondere personenbezogene Daten, die IT.NRW keinen Anbietern von KI- oder Cloud-Diensten anvertrauen möchte.
Privatemode AI, der vollständig vertrauliche KI-Dienst von Edgeless Systems, bietet hierfür eine perfekte Lösung. Mit Confidential Computing bleiben Daten nicht nur während der Speicherung und Übertragung, sondern auch während der Verarbeitung verschlüsselt. Selbst privilegierte Angreifer wie die Administratoren der Cloud-Infrastrukturen haben nachweisbare keinen Zugriff auf Daten. So ermöglicht Privatemode AI den skalierbaren Einsatz von LLMs aus der Cloud, während alle Nutzerdaten jederzeit verschlüsselt und vor Zugriff durch den Cloud- oder Modellanbieter geschützt sind.
Capgemini hat Privatemode, einschließlich des Privatemode-Proxys für die clientseitige Verschlüsselung und der Privatemode-API, problemlos in die NRW Genius AI-Plattform integriert. Verschiedene Komponenten von NRW Genius werden on-premises ausgeführt, darunter das Frontend, die Authentifizierung und Vektordatenbanken für Retrieval Augmented Generation (RAG), um internes Wissen einfach abzurufen.
Mit Privatemode AI konnte IT.NRW führende Open-Source-KI-Modelle, beispielsweise Llama 3.3 70B, schnell und einfach via Standard-API in den KI-Assistenten NRW Genius integrieren und skalierbare Cloud-Ressourcen ohne Sicherheitsbedenken nutzen. Die zentralen Sicherheitsmechanismen von Privatemode wurden im Rahmen einer begleitenden Studie durch einen externen Auditor geprüft. Die Leistungsfähigkeit der Lösung entspricht den Anforderungen der Nutzer und da ausschließlich Standard-APIs verwendet werden, gibt es keinen Lock-in, was die digitale Souveränität von IT.NRW weiter stärkt.
Lesen Sie den Capgemini-Blogbeitrag zu Privatemode, inklusive der Fallstudie IT.NRW.
