• ChatGPT - wie funktioniert das?

       ⚙💻 Die technische Perspektive


      ChatGPT erzeugt Texte und nur Texte, selbst eine Aufforderung zur Visualisierung beantwortet ChatGPT mit einem solchen.

      Es gehört also zum Gebiet des sogenannten NLP, Natural Language Processing, einem Teilgebiet der Linguistik, genauer zum Teilgebiet des NLG = Natural Language Generating.

      Ebenfalls von der Firma OpenAI entwickelt, erzeugt Dall-E „nur“ Bilder oder Jukebox „nur“ Musikstücke, jeweils als Antwort auf eine vom Benutzer formulierte Frage, auch als Prompt bezeichnet.

      Alle diese Systeme sind somit der schwachen KI zuzuordnen (vgl. Glossar), da sie „genau“ eine Aufgabe lösen.
      Zu einer Diskussion, ob gerade ChatGPT den Weg zu einer allgemeinen KI ebnen könnte, vgl.: https://kauz.net/chatbots/blog/gpt-3-ein-durchbruch-in-richtung-allgemeiner-ki/.

      Gestützt wird diese These durch die Fähigkeit von sogenanntem few-shot-learning im Gegensatz zum one-shot-learning, das unser menschliches Lernen beschreibt: Eine Erklärung oder ein paar Beispiele genügen uns dazu. ChatGPT scheint – im Gegensatz zum maschinellen Lernen, für das riesige Datenmengen erforderlich sind – anhand weniger Beispiele lernfähig, indem es nur einen Teilbereich der zur Verfügung stehenden Daten durchsucht, was zunächst revolutionär klingt.

      Hinter ChatGPT steckt ein trainiertes neuronales Netz, das auf viele im Internet verfügbare Daten, u.a. Wikipedia, Bücher und Common Crawl als Trainingsdaten (vgl. https://katzlberger.ai/2021/04/12/mit-diesen-daten-wurde-gpt-3-trainiert/) zurückgegriffen hat.

      Auf dieser Grundlage ermittelt es jeweils die wahrscheinlichste Fortsetzung zur eingegebenen Frage, macht also eine statistische Vorhersage und kann daher als ein spezielles prediction model aufgefasst werden.

      Aufgrund seines Trainings muss es nach jeder Eingabe nicht erneut vollständig die ursprünglich genutzte Datenbasis durchsuchen, was zu akzeptablen Antwortzeiten führt.

      Man kann sich ein solches fertig trainiertes Netz als eine Art künstliches Gehirn vorstellen, das allerdings statisch ist und nicht weiter hinzulernen kann.

    • Steigen Sie tiefer in das Thema ein  


    • Allgemeines

      Linguistische Grundlagen

      Exkurs I: KI

      Exkurs II: Künstliche neuronale Netze

      Grenzen von ChatGPT

      ChatGPT Glossar