Studie: ChatGPT und Co weniger lernfähig als bisher angenommen

Nach einer neuen Studie der TU Darmstadt sind ChatGPT und andere KI-Modelle von dem, was Menschen können, bisher noch weit entfernt. Risiken sehen die Forscher aber trotzdem - vor allem bei „Fake News“.

Berlin/Darmstadt (KNA) - KI-Modelle wie ChatGPT sind laut einer neuen Studie offenbar weniger selbstständig lernfähig als bisher angenommen. Es gebe keine Hinweise darauf, dass die sogenannten Large Language Models (LLMs) anfingen, ein allgemeines „intelligentes“ Verhalten zu entwickeln, das ihnen etwa ein planvolles oder intuitives Vorgehen oder komplexes Denken ermögliche, heißt es in der am Montag veröffentlichten Untersuchung der TU Darmstadt.

Die Autorinnen und Autoren kommen zu dem Schluss, dass es für die mutmaßliche Entwicklung eines differenzierten Denkvermögens der Modelle keine Beweise gebe. Stattdessen erlangten die LLMs die oberflächliche Fertigkeit, relativ einfachen Anweisungen zu folgen, wie die Forschenden zeigten. Von dem, was Menschen können, seien die Systeme noch weit entfernt.

Komplexe Aufgaben besser nicht KI überlassen
„Es ist wahrscheinlich ein Fehler, sich auf ein KI-Modell zu verlassen, um komplexe Aufgaben ohne Hilfe zu interpretieren und auszuführen“, erklärte Studienleiterin Iryna Gurevych, Informatikprofessorin an der TU Darmstadt. „Stattdessen sollten Nutzende explizit angeben, was die Systeme tun sollen, und wenn möglich Beispiele nennen.“ Die Tendenz dieser Modelle, plausibel klingende, aber falsche Ergebnisse zu erzeugen, werde wahrscheinlich weiter bestehen bleiben.

Daher sollte der Fokus künftiger Forschung auf weiteren Risiken liegen, die von den Modellen ausgehen, beispielsweise auf deren Potenzial zur Generierung von „Fake News“.

Leistungssprünge der KI auf dem Prüfstand
Im Mittelpunkt der Forschung in Darmstadt standen demnach unvorhergesehene und plötzliche Leistungssprünge der Sprachmodelle. Wissenschaftlerinnen und Wissenschaftler hatten nach Einführung der Modelle festgestellt, dass diese mit zunehmender Größe und der Menge an Daten, mit denen sie trainiert wurden (Skalierung), leistungsfähiger wurden.

Das weckte zum einen die Hoffnung, dass eine weitere Skalierung die Modelle noch besser machen würde. Zum anderen kam aber auch die Sorge auf, dass diese Fähigkeiten gefährlich werden könnten, da sich die LLMs quasi verselbstständigen und der menschlichen Kontrolle womöglich entziehen. Als Reaktion waren weltweit KI-Gesetze verabschiedet worden, darunter von der Europäischen Union und in den USA.