Datenschutzkonformer LLM-Einsatz: Eine Open-Source-Referenzarchitektur
Marian Lambert, Thomas Schuster, Nico Döring, Robin Krüger · 2025
Read Datenschutzkonformer LLM-Einsatz: Eine Open-Source-Referenzarchitektur by Marian Lambert, Thomas Schuster, Nico Döring, Robin Krüger (2025) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2503-01915.txt.
Introduction
Marian Lambert, Thomas Schuster, Nico Döring, and Robin Krüger sketch an open-source plan for running big language models behind closed doors, in a paper from two thousand twenty-five. Cloud-based tools risk leaks of private data, the authors note. Their plan keeps the full stack in-house on open parts.
Core strains are named: compute stock, data handling, growth room, and attack risk. A test pipeline grades both speed and rule fit in a set way. The design aims for bend and clarity under strict privacy law. Firms with tender data get a map for self-run models. Readers get a blueprint where openness serves secrecy.
Catalog record
| CREATOR | Marian Lambert, Thomas Schuster, Nico Döring, Robin Krüger |
|---|---|
| YEAR | 2025 |
| COLLECTION | PAPERS |
| FORMAT | TXT |
| FILE SIZE | 63 KB |
| VERSION | 1.0 |
| LICENSE | http://creativecommons.org/licenses/by/4.0/ |
| RIGHTS | CC BY |
| SOURCE | arXiv |
Source: https://arxiv.org/abs/2503-01915
Browse the full library · About the Tower of Babel
Full text
The opening of the work, from the library's hosted text:
Datenschutzkonformer LLM-Einsatz: Eine Open-Source-Referenzarchitektur Marian Lambert, Thomas Schuster, Nico Döring, Robin Krüger Abstract Die Entwicklung von Large Language Models (LLMs) hat bedeutende Fortschritte in der Verarbeitung natürlicher Sprache ermöglicht und zahlreiche Anwendungen in verschiedenen Branchen hervorgebracht. Viele LLM-basierte Lösungen werden jedoch als offene Systeme betrieben, die auf Cloud-Dienste angewiesen sind und Risiken für die Vertraulichkeit und Sicherheit von Daten mit sich bringen. Um diesen Herausforderungen zu begegnen, benötigen Organisationen geschlossene LLM-Systeme, die Datenschutzvorgaben einhalten und gleichzeitig eine hohe Leistungsfähigkeit gewährleisten. In diesem Artikel stellen wir eine Referenzarchitektur für die Entwicklung geschlossener, LLM-basierter Systeme unter Verwendung von Open-Source-Technologien vor. Die Architektur bietet eine flexible und transparente Lösung, die strenge Anforderungen an Datenschutz und Sicherheit erfüllt. Wir analysieren die zentralen Herausforderungen bei der Implementierung solcher Systeme, darunter Rechenkapazitäten, Datenverwaltung, Skalierbarkeit und Sicherheitsrisiken. Zudem präsentieren wir eine Evaluationspipeline, die eine systematische Bewertung der Systemleistung und Compliance ermöglicht. Keywords LLM, Datenschutz, Open-Source, KI-Architektur, Compliance 1 Einleitung Die rasante Entwicklung von Large Language Models (LLMs) hat in den letzten Jahren erhebliche Fortschritte in der natürlichen Sprachverarbeitung ermöglicht und zahlreiche innovative Anwendungen in verschiedenen Branchen hervorgebracht. Diese Modelle bieten leistungsfähige KI-gestützte Lösungen, die von automatisierter Textgenerierung bis hin zur Entscheidungsunterstützung reichen. Dennoch wirft ihr Einsatz bedeutende Herausforderungen im Hinblick auf Datenschutz und Sicherheit auf. Derzeit werden LLM-basierte Softwarelösungen überwiegend als offene Systeme betrieben. Ein offenes System ist über das Internet zugänglich und nutzt externe Ressourcen oder Cloud-Dienste für die Datenverarbeitung. Dies bedeutet jedoch, dass sensible Informationen an Dritte übermittelt werden, wodurch Risiken hinsichtlich Vertraulichkeit, Integrität und Datenschutz entstehen. Unternehmen und Organisationen, die mit schutzbedürftigen Daten arbeiten, stehen daher vor der Herausforderung, alternative Betriebsmodelle zu etablieren, die eine sichere und datenschutzkonforme Nutzung von LLMs ermöglichen. Ein geschlossenes System stellt eine vielversprechende Alternative dar. Hierbei werden alle Datenverarbeitungsprozesse innerhalb der eigenen Infrastruktur durchgeführt, ohne dass Informationen an externe Server übermittelt werden. Dies ermöglicht eine vollständige Kontrolle über den Datenfluss und verbessert die Einhaltung regulatorischer Vorgaben, insbesondere in sensiblen Bereichen wie dem Gesundheitswesen, der Finanzbranche oder der öffentlichen Verwaltung. Obwohl geschlossene LLM-Systeme erhebliche Vorteile in Bezug auf Datenschutz und Sicherheit bieten, ist ihre Entwicklung mit erheblichen technischen und organisatorischen Herausforderungen verbunden. Dazu zählen hohe Anforderungen an Rechenressourcen, effiziente Datenverarbeitung, die Integration von Open-Source-Technologien sowie die Sicherstellung von Transparenz und Flexibilität. Trotz der steigenden Nachfrage fehlt es bislang an etablierten Referenzmodellen und praxisnahen Leitlinien für die Entwicklung solcher Systeme. Entwickler und Entscheidungsträger stehen daher vor der Aufgabe, maßgeschneiderte Architekturen zu konzipieren, die sowohl leistungsfähig als auch datenschutzkonform sind. Diese Publikation stellt eine Referenzarchitektur für die Implementierung eines geschlossenen, LLM-basierten Systems vor, das auf Open-Source-Technologien basiert. Ziel ist es, eine flexible und skalierbare Lösung bereitzustellen, die den hohen Anforderungen an Datenschutz und Datensicherheit gerecht wird. Neben technischen Aspekten werden auch organisatorische Rahmenbedingungen betrachtet, um ein umfassendes Verständnis der Herausforderungen und Lösungsansätze zu vermitteln. Der Aufbau dieser Publikation ist wie folgt strukturiert: Kapitel 2 erläutert die zentralen Motivationen für die Entwicklung geschlossener LLM-Systeme und geht dabei auf Datenschutz, Datensicherheit, Transparenz, Flexibilität und die Vermeidung von Vendor Lock-in ein. Kapitel 3 analysiert die wesentlichen Herausforderungen bei der Umsetzung solcher Systeme. In Kapitel 4 wird die vorgeschlagene Referenzarchitektur detailliert beschrieben, gefolgt von einer Diskussion in Kapitel 5 . Abschließend fasst Kapitel 6 die Ergebnisse zusammen und gibt einen Ausblick auf zukünftige Entwicklungen. Durch die Bereitstellung einer umfassenden Referenzarchitektur leistet diese Arbeit einen Beitrag zur Förderung geschlossener LLM-Systeme und zur Bewältigung der aktuellen Herausforderungen im Bereich Datenschutz und Datensicherheit. 2 Motivation Die Implementierung von LLMs in geschlossenen Systemen gewinnt zunehmend an Bedeutung, insbesondere in Anwendungsbereichen, in denen Datenschutz und Datensicherheit höchste Priorität haben. Während offene LLM-Plattformen eine schnelle und einfache Integration ermöglichen, stehen sie oft im Widerspruch zu den strengen datenschutzrechtlichen Anforderungen, die in vielen Branchen gelten. Dies betrifft insbesondere Bereiche wie das Gesundheitswesen, den Finanzsektor oder die öffentliche Verwaltung, in denen personenbezogene oder kritische Daten verarbeitet werden. Ein prägnantes Beispiel hierfür ist der Einsatz von LLMs in der medizinischen Diagnostik. Während KI-gestützte Sprachmodelle in der Lage sind, umfangreiche medizinische Literatur auszuwerten und Diagnosevorschläge zu generieren, stellt die Verarbeitung sensibler Patientendaten in offenen Systemen ein erhebliches Risiko dar. Die Nutzung eines geschlossenen Systems ermöglicht es, sämtliche Verarbeitungsschritte innerhalb der kontrollierten Infrastruktur eines Krankenhauses oder einer medizinischen Einrichtung durchzuführen, wodurch die Einhaltung regulatorischer Vorgaben wie der Datenschutz-Grundverordnung (DSGVO) sichergestellt werden kann. In diesem Kapitel werden die zentralen Motivationsfaktoren für die Entwicklung eines LLM-basierten geschlossenen Systems strukturiert dargestellt. Zunächst erörtern wir die die Bedeutung des Datenschutzes und die Notwendigkeit, personenbezogene Daten vor unbefugtem Zugriff zu schützen (siehe 2.1 ). In Abschnitt 2.2 betrachten wir Sicherheitsaspekte, insbesondere hinsichtlich potenzieller Angriffe und Schutzmechanismen und gehen anschließend auf die Notwendigkeit einer nachvollziehbaren und erklärbaren Modellarchitektur ein (siehe 2.3 ), um regulatorischen und ethischen Anforderungen gerecht zu werden. In Abschnitt 2.4 diskutieren wir die Anpassungsfähigkeit geschlossener Systeme an unternehmensspezifische Anforderungen sowie die Vermeidung von Vendor Lock-in durch den Einsatz offener und erweiterbarer Technologien. Schließlich wird in Abschnitt 2.5 erörtert, wie Unternehmen durch die Individualisierung geschlossener LLM-Systeme Wettbewerbsvorteile erzielen können. 2.1 Datenschutz Der Schutz personenbezogener Daten ist in der heutigen digitalen Welt von zentraler Bedeutung. Mit der Einführung der Datenschutz-Grundverordnung (DSGVO) in der Europäischen Union wurden die Anforderungen an den Umgang mit sensiblen Daten erheblich verschärft. Offene LLM-Systeme, die Daten an externe Server senden oder in der Cloud verarbeiten, bergen erhebliche Risiken in Bezug auf Datenschutzverletzungen, unautorisierte Zugriffe und potenzielle Datenweitergaben an Dritte. Unternehmen, die mit vertraulichen Informationen arbeiten – etwa im Gesundheitswesen, im Finanzsektor oder in der Rechtsberatung – müssen sicherstellen, dass ihre Datenverarbeitung höchsten Sicherheitsstandards entspricht. Ein geschlossenes LLM-System ermöglicht es, sämtliche Datenverarbeitungsprozesse vollständig innerhalb der eigenen Infrastruktur durchzuführen. Dadurch wird das Risiko von Datenlecks erheblich reduziert und die Einhaltung gesetzlicher Datenschutzvorgaben sichergestellt. Unternehmen behalten so die vollständige Kontrolle darüber, welche Daten für das Training und die Inferenz genutzt werden. Darüber hinaus kann das “Recht auf Vergessenwerden” gemäß DSGVO effizienter umgesetzt werden, indem Daten vor dem Training anonymisiert oder durch gezielte Löschmechanismen spezifische Informationen aus Modellen entfernt werden. Dies stärkt nicht nur den Datenschutz, sondern erhöht auch die Anpassungsfähigkeit von Unternehmen und Organisationen an künftige regulatorische Vorgaben. 2.2 Datensicherheit Neben dem Datenschutz ist auch die Datensicherheit von entscheidender Bedeutung. Cyberangriffe, Datenpannen und unautorisierte Zugriffe können nicht nur erhebliche finanzielle Schäden verursachen, sondern auch das Vertrauen von Kunden, Partnern und regulatorischen Institutionen nachhaltig beeinträchtigen. Offene Systeme sind besonders häufig Ziele von Angriffen, da sie über öffentlich zugängliche Schnittstellen verfügen und potenzielle Schwachstellen enthalten, die von Angreifern gezielt ausgenutzt werden können. Dies umfasst bei LLM, neben klassischen Angriffen, insbesondere Datenexfiltration oder Manipulation von Modellausgaben durch adversarielle Angriffe. Die Implementierung eines geschlossenen Systems ermöglicht es, Sicherheitsmaßnahmen gezielt zu steuern und an spezifische Bedrohungsszenarien anzupassen. Unternehmen können individuelle Sicherheitsmaßnahmen definieren, umfassende Verschlüsselungstechniken einsetzen und regelmäßige Sicherheitsaudits durchführen. Darüber hinaus erlaubt die Kontrolle über die Systeminfrastruktur eine individuelle Reaktion auf potenzielle Bedrohungen sowie eine verbesserte Angriffserkennung, wenn kontinuierliches Monitoring und Anomalie-Detektion eingesetzt werden. Eine Reduzierung externer Schnittstellen minimiert zudem die potenzielle Angriffsfläche und trägt wesentlich zur Erhöhung der Systemsicherheit bei. 2.3 Regulatorische Anforderungen und Transparenz Mit der zunehmenden Regulierung von KI-Systemen, insbesondere durch den EU AI Act und ähnlichen gesetzlichen Rahmenwerken, stehen Unternehmen vor der Herausforderung, den Einsatz von LLMs an strenge rechtliche Vorgaben anzupassen. In vielen Branchen, darunter das Gesundheitswesen, der Finanzsektor und die öffentliche Verwaltung, sind Unternehmen verpflichtet, den Einsatz von KI-Systemen nachvollziehbar