Überblick

Die Grundregel ist klar und eindeutig: Personenbezogene oder personenbeziehbare Daten von Schülerinnen und Schülern dürfen nicht von Large Language Models (LLMs) verarbeitet werden.

Diese Vorgabe gilt unabhängig davon, wo die Server stehen oder wer die Systeme betreibt. Auch wenn ein KI-System auf europäischen Servern läuft oder von edukativen Anbietern wie fobizz, SchulKI oder AIS.chat bereitgestellt wird, ändert dies nichts an der grundlegenden Regel: Keine personenbezogenen Daten von Lernenden in KI-Systeme eingeben.

Einwilligungserklärungen sind hier keine Lösung: Selbst wenn Eltern oder volljährige Schülerinnen und Schülern (sind SuS 14 Jahre und älter, müssen neben den Eltern auch die Schülerinnen und Schülern zustimmen, ab der Volljährigkeit nur die Schülerinnen und Schülern) einer Datenverarbeitung zustimmen würden, ist dies im schulischen Kontext datenschutzrechtlich nicht zulässig. 

Die einzige Ausnahme bilden lokal betriebene Systeme, die komplett offline auf schuleigenen Servern laufen und keine Datenübertragung an externe Anbieter vornehmen – eine technisch anspruchsvolle Lösung, die aktuell nur an wenigen Schulen realisierbar ist.

Was bedeutet das konkret für den Unterricht? Bei der Nutzung von KI-Tools müssen Lehrkräfte darauf achten, dass:

• Keine Namen von Schülerinnen und Schülern eingegeben werden

• Keine individuellen, identifizierbaren Leistungsdaten verarbeitet werden

• Keine Texte mit erkennbarem Bezug zu einzelnen Lernenden verwendet werden

• Bei Beispieltexten alle identifizierenden Merkmale entfernt werden

Viele Anbieter von Sprachmodellen (z. B. OpenAI, Anthropic, Microsoft oder Google) hosten ihre Server in den USA oder anderen Drittländern. Damit gelten die europäischen Datenschutzstandards der DSGVO nur eingeschränkt. 

Speziell für den Bildungsbereich entwickelte Anbieter (wie fobizz, SchulKI oder andere edukative Plattformen) arbeiten jedoch häufig mit Azure-Servern, die in Europa gehostet werden und somit den EU-Datenschutzanforderungen unterliegen. Wichtig: Auch bei EU-Hosting dürfen grundsätzlich keine personenbezogenen oder personenbeziehbaren Daten von Schüler:innen verarbeitet werden.

Nach dem EuGH-Urteil "Schrems II" sind personenbezogene Daten nicht in Drittländer ohne angemessenes Datenschutzniveau übermittelbar, es sei denn, es bestehen wirksame geeignete Garantien (z. B. SCC plus geeignete Zusatzmaßnahmen). 

„Dies betrifft:“ – Beispiele, die typischerweise erfasst sind (wenn personenbezogen/personalisiert):

• Login-basierte KI-Dienste (Accounts/Telemetry),

• Cloud-LLMs mit Nutzer*innen-Profilen/Verläufen,

• KI-Plugins/Add-ons, die personenbezogene Schul-/Lerndaten übertragen,
  Telemetrie/Support-Logs mit Personenbezug.

Die Datenschutzerklärungen von KI-Anbietern offenbaren ein komplexes System der Datensammlung und -verarbeitung, das weit über die sichtbaren Benutzerinteraktionen hinausgeht. Für den schulischen Kontext sind dabei verschiedene Kategorien von Daten relevant, die unterschiedliche Risiken und rechtliche Implikationen mit sich bringen.

Von Nutzern bewusst eingegebene Daten:

• Eingabedaten (Prompts und Anfragen): Sämtliche Texte, Fragen, Aufgabenstellungen und Diskussionen, die Nutzer dem System übermitteln

• Hochgeladene Inhalte: Bei multimodalen Systemen Dokumente, Bilder, Audio-Dateien, Videos und andere Dateiformate

• Konversationsverläufe: Komplette Chat-Historien mit zeitlichen Abläufen und Kontextinformationen
  
  

Automatisch und technisch erhobene Daten:

• Technische Metadaten: IP-Adressen (oft mit Geolocation), Browser-Fingerprinting, Betriebssystemversion, Gerätetyp und -konfiguration

• Nutzungsverhalten: Detaillierte Zeitstempel, Häufigkeit und Dauer der Nutzung, Klickpfade, Scroll-Verhalten

• Netzwerkdaten: Informationen über die Internetverbindung, Provider, Verbindungsqualität

Bei KI-Systemen im Schulkontext (Plattformen wie fobizz, SchulKI, AIS.chat) müssen wir zwischen zwei verschiedenen Verarbeitungsebenen unterscheiden:

Frontend-Ebene : Diese Anbieter verarbeiten Nutzerdaten wie Registrierungsinformationen, Kontoeinstellungen, Verlaufsdaten und Klassenverwaltung. Diese Daten bleiben beim Plattformanbieter und unterliegen dessen Datenschutzbestimmungen.

Backend-Ebene (Sprachmodelle per API): Die eigentlichen KI-Modelle (GPT, Claude, Gemini etc.) werden über Programmierschnittstellen angesprochen. Die Hersteller dieser Sprachmodelle (OpenAI, Anthropic, Google) verarbeiten die übermittelten Inhalte für:

• Systemverbesserung und Modelltraining (bei manchen Anbietern)

• Qualitätskontrolle und Sicherheit

• Personalisierung und Optimierung

• Kommerzielle Zwecke und Produktentwicklung
  
  

Entscheidend: Selbst wenn der Frontend-Anbieter DSGVO-konform in Europa arbeitet und vertragliche Zusagen macht, werden die Anfragen letztlich an Sprachmodelle übermittelt, die häufig von US-Unternehmen betrieben werden. Viele edukative Plattformen haben zwar Vereinbarungen getroffen, dass API-Daten nicht für Modelltraining verwendet werden – dennoch gilt die Grundregel: Keine personenbezogenen oder personenbeziehbaren Daten von Schüler:innen in Prompts eingeben, unabhängig vom genutzten Frontend.

Ein kritischer Aspekt, der in vielen Datenschutzerklärungen nur unzureichend behandelt wird, ist die Langzeitspeicherung und Nicht-Löschbarkeit von Daten:

Speicherdauer und Archivierung:

• Unbestimmte Speicherung: Viele Anbieter spezifizieren keine konkrete Löschfrist

• Backup-Systeme: Daten verbleiben oft in Backup-Systemen, auch nach nomineller "Löschung"

• Modell-Integration: Einmal in Trainingsdatensätzen verwendete Daten können nicht vollständig aus trainierten Modellen entfernt werden
  
  

Datenschutz beim Einsatz von KI und Sprachmodellen bedeutet mehr als nur technische Sicherheit. Es geht um Transparenz, Verantwortung, Sensibilisierung und die bewusste Entscheidung, welche Daten preisgegeben werden dürfen – und welche nicht.

Die AGB der meisten nicht-edukativen KI-Anbieter legen altersbezogene und rechtliche Nutzungsbedingungen fest:

• Altersvoraussetzungen: Die Nutzung ist in der Regel erst ab 13 Jahren gestattet. Für Personen unter 18 Jahren ist die Zustimmung der Erziehungsberechtigten erforderlich.

• Account-Erstellung: Die eigenständige Registrierung eines Accounts ohne elterliche Einwilligung ist meist erst ab 18 Jahren möglich.

• Verifizierungspflicht: Um Missbrauch durch Mehrfachregistrierungen zu verhindern, ist bei vielen Anbietern die Angabe und Verifizierung einer Mobilfunknummer Voraussetzung für die Accounterstellung.

Für edukative KI-Plattformen wie AIS.chat, SchulKI oder fobizz gelten andere Regeln. 

Darüber hinaus gilt grundsätzlich, dass keine sensiblen oder personenbezogenen Daten in Sprachmodelle eingegeben werden dürfen. KI-Systeme sind nicht dafür ausgelegt, diese Informationen vertraulich zu behandeln. Auch werden Chatverläufe für Trainingszwecke verwendet. Dies lässt sich bei in Europa gehosteten Azure-Servern deaktivieren. Edukative Anbieter machen von dieser Möglichkeit meist gebrauch.

Zudem tragen die Nutzerinnen und Nutzer Verantwortung, wenn sie urheberrechtlich geschützte Inhalte oder Daten Dritter in ein System eingeben.

Daher sind Nutzende gemäß EU AI-Act zu einer Grundlagenschulung verpflichtet. Das NLQ bietet eine für Lehrkräfte angepasste Grundlagenschulung an.

Weitere Informationen

Schulische Nutzung von KI Plattformen
(Dirk Thiede. 11.02.2024)