So leistungsfähig KI-gestützte Chatbots wie ChatGPT bereits heute sind und so sehr sie auch durch ihre in Zukunft zu erwartenden Nachfolger in ihrer Leistungsfähigkeit wahrscheinlich noch übertroffen werden, so gibt es doch auch Grenzen prinzipieller Natur:
A) Determination durch Trainingsdaten
Die verwendeten Trainingsdaten bestimmen die Güte des Ergebnisnetzes maßgeblich. Auch wenn wie im Falle von ChatGPT einige Nachtrainings stattgefunden haben, erlauben diese nur auf kleiner Skala Korrekturen und Anpassungen.
Zudem müssen diese Nachtrainings bei Neutraining des Grundnetzes stets erneut nachgezogen werden.
B) Kein weiter lernen: aktuelle und Informationen der nahen Vergangenheit nicht verfügbar
Mit Abschluss der Trainingsphase ist das neuronale Netz „fertig“ und lernt nicht mehr dazu. Die danach täglich neu hinzukommenden Realdaten sind für das Netz nicht verfügbar.
C) Fehlerbehaftet
Neuronale Netze sind ihrer Anlage nach fehlerbehaftet: Nie wird ein mit Trainingsdaten trainiertes neuronales Netz bei den Testdaten zu 100 % erfolgreich sein.
In der Regel wird man sich mit Erfolgsraten jenseits der 90 % zufrieden geben (müssen).
Konkret bedeutet das, dass gemäß der Trainings- und Testdaten auf eine bestimmte Wortfolge ein anderes Wort hätte folgen müssen als das neuronale Netz fälschlicherweise gelernt hat und also auch ausgibt oder schlimmer noch, dass das neuronale Netz zur Beantwortung der Frage beim Training gar nicht genügend Daten zur Verfügung hatte.
Von solchen Fehlern beispielsweise im Kontext der Bilderkennung ist das Internet voll, im Kontext des autonomen Fahrens mit fatalen Konsequenzen:
Das ist zu unterscheiden von der inhaltlichen Korrektheit der generierten Antworttexte (vgl. III.) A.)).
D) Intransparenz: Vorgehen der KI zur Erlangung von Ergebnissen unklar
Durch die große Anzahl an Parametern mit sehr komplexen gegenseitigen Beeinflussungen ist es nahezu unmöglich, das Zustandekommen einer Antwort nachzuvollziehen oder gar zu verstehen, sog. Black-Box-Problem. Es gibt Versuche, neuronalen Netzen ihre Geheimnisse zu entlocken, indem man sie z.B. quasi rückwärts von hinten nach vorne durchläuft, aber mehr als vage Ideen über die eigentliche Funktionsweise sind da zum jetzigen Zeitpunkt kaum zu erhoffen. Hierbei handelt es sich aber um ein aktives Forschungsgebiet.
Diese Problematik hat weitreichende Konsequenzen, wenn es um Fragen der Urheberschaft, Sicherheit oder Begründungen geht.
A) Keine Intelligenz und kein Sprachverstehen
Als Sprachmodelle beruhen KI-gestützte Chatbots auf statistischen Entscheidungen. Ihnen kommt im Sinne des chinesischen Zimmers also keinerlei Intelligenz zu, sie verstehen Sprache nicht, besitzen keine Semantik.
Auch wenn viele generierte Texte inhaltlich korrekt zu sein scheinen, so gibt es dafür keine Gewähr, da kein implementierter Mechanismus dafür Sorge trägt.
Hier muss also durch den Nutzer in jedem Fall eine Überprüfung vorgenommen werden.
B.) Ideologische Tendenzen jeglicher Art möglich: Biase
Durch die Abhängigkeit von den Trainingsdaten (IA) spiegeln sich Vorurteile, gesellschaftliche Ungerechtigkeit etc. genauso in den Ergebnissen wieder, wie sie die Datenbasis vorgibt.
Auch wenn mittlerweile ganze wissenschaftliche Veröffentlichungen mit Hilfe von ChatGPT erstellt worden sind, so impliziert IA doch auch, dass längst nicht alle Wissensgebiete ausreichend abgedeckt sind. Für den Bereich der Mathematik sei stellvertretend das folgende Video genannt; schon Rechnen mit größeren Zahlen bereitet Probleme:
A) Beschränkung auf Texteingaben
Fragen werden nur in Textform akzeptiert, Zeichnungen oder Bilder können auch nicht zur Verdeutlichung oder Illustration verwendet werden.
B) Keine Visualisierungen
Ebenso kann man auch noch sehr darum betteln, eine Grafik oder einen Graphen spuckt ChatGPT nicht aus.
C) Nur Informationen, keine Beratung oder Beurteilung
Auch wenn ChatGPT auf konkrete Nachfrage behauptet, keine Beurteilungen oder Bewertungen vorzunehmen, so kann man ihm diese dennoch durch geschickte Prompts entlocken.
Wie Eliza von Joseph Weizenbaum (vgl. …) könnte es als psychologischer Berater missverstanden werden.
D) Logik und Argumentation
ChatGPT begründet seine Aussagen durchaus, von Logik oder Argumentation versteht er allerdings „eigentlich“ nichts, s. dazu
E) Kein Recherche-Ersatz
Das Internet als Ganzes ist deutlich größer und auch aktueller als die Datenbasis von ChatGPT und seine Verwandten. Eine gründliche Internet-Recherche erübrigt sich also durch deren Einsatz nicht.
F) Keine Quellenangaben
Qua Konstruktion kann ein KI-gestützter Chatbot keine Quellen für die von ihm generierten Texte angeben, da sie ein Kompilat verschiedenster Quellen darstellen.
Per Prompt lassen sich zwar Quellenangaben nachfordern; diese belegen aber im Hinblick auf seine ID nicht wirklich, woher jedes einzelne Wort stammt.
A) Closed Source
OpenAI als Betreiber von ChatGPT hat die Programmquellen bisher nicht offengelegt.
Über die in I.)D.) dargelegte dem neuronalen Netz inhärente Intransparenz hinaus herrscht also auch hier Unklarheit, die möglicherweise Missbrauch Tür und Tor öffnet.
B) Zugänglichkeit
Der momentane kostenfreie Zugang wird möglicherweise zukünftig eingeschränkt oder ganz entfallen.
Im Hinblick auf die horrenden Entwicklungskosten wird es kein freies und allen zugängliches Gut mehr sein.
