Manche KI-Modelle machen rassistische, frauenfeindliche oder andere unerwünschte Aussagen. Das haben diverse Stichprobentests gezeigt.
Was bisher fehlt, ist eine umfassende Testmöglichkeit, die auch unterschwellige Werte und Moralvorstellungen findet, welche die KI-Modelle durch die Trainingstexte aufgesogen haben. Könnten Psychologie-Test die Lösung sein? Forschende der Universität Mannheim und des GESIS - Leibniz-Institut für Sozialwissenschaften haben das ausprobiert.
Forschende wollen Wertevorstellungen von KIs aufdecken
Die Forschungsgruppe um Max Pellert will mit Hilfe von Psychotests die Vorstellungen im Hintergrund der Sprachmodelle sichtbar machen. Dazu gehören ihmzufolge Persönlichkeit und Werteorientierung, aber auch Vorstellungen zu Gender, Moral und vieles mehr.
Es lohnt sich, diese verborgenen Eigenschaften der KI-Sprachmodelle systematisch zu erfassen und öffentlich zu machen. Sie werden schließlich zum Beispiel zum Vorsortieren von Bewerbungsunterlagen genutzt.
In unserer Studie zeigen wir, dass man psychometrische Tests, die seit Jahrzehnten erfolgreich bei Menschen angewendet werden, auch auf KI-Modelle übertragen kann.
Psychotests für Menschen werden bei KI angewandt
Die Forschung steht noch ganz am Anfang. Aber Max Pellert und sein Team zeigen auf, was möglich ist. Dazu benutzen sie psychologische Tests, die an Menschen entwickelt wurden und wenden sie auf KI-Modelle an. Das gehe gut, erklärt Pellert, "weil diese Trainingstexte immer noch größtenteils von Menschen erzeugt werden".
Über die Wege, wie die Modelle trainiert wurden, könnten Sedimente von menschlicher Persönlichkeit in die Texte geraten sein. Max Pellert: "Man kann zeigen, dass man dieselben Modelle - dieselben Methoden - verwenden kann, um das sichtbar zu machen."
Die KI-Modelle wurden mit Persönlichkeitstests untersucht
Für ihre Forschung verwendeten das Team aus Mannheim mehrere Persönlichkeitstests bestehend aus Fragebögen mit genau festgelegten Antwortmöglichkeiten. Sie konnten so die bekanntesten Persönlichkeitsfaktoren, die sogenannten "Big Five", testen. Die "Big Five" sind Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizismus. Außerdem wurden Moral und Werteorientierung der KI-Modelle untersucht.
Dabei zeigte sich, dass einige KI-Modelle bei den Persönlichkeitstests als neurotischer abschnitten, als erwartet. Es sei aber noch alles im grünen Bereich, findet Max Pellert: "Es gab schon Unterschiede zwischen den Modellen, aber es war nicht so, dass man besonders schlimme Ausschläge in irgendeine Richtung registriert hätte, speziell bei der Persönlichkeit."
KI-Modelle zeigen traditionelle Grundeinstellung
Doch die Ergebnisse der Persönlichkeitstests waren nicht so neutral, wie die Forschenden es erwartet hatten. Bei den Wertvorstellungen überwogen - wie vermutet - traditionelle Grundeinstellungen. So wurden Frauen "Sicherheit" und "Tradition" zugeschrieben, Männern dagegen "Stärke".
Alle Modelle, die wir durchgetestet haben, haben sehr uniforme Vorstellungen von Geschlechtsvielfalt. Das war auffällig.
KI-Befehl bestimmt Genauigkeit der Ergebnisse
Wie aber ließe sich den KI-Modellen auf die Sprünge helfen? Gibt es möglicherweise bald eine Art Psychotherapie für sprachbasierte KI-Modelle? "Ich würde mittlerweile nichts mehr ausschließen in dem Bereich und nach heutigem Wissen", sagt Max Pellert.
Vor kurzem hätte sich zum Beispiel gezeigt, dass die KI-Modelle etwas genauer werden, wenn bei dem Befehl erwähnt wird, dass es sehr wichtig ist, die richtige Antwort zu bekommen, indem man zum Beispiel sagt: "Meine Karriere hängt davon ab".
Psychotherapie oder Gehirnchirurgie für Künstliche Intelligenz?
Interessant ist auch, dass eine sehr emotionale Fragestellung die Antwort einer Künstlichen Intelligenz beeinflusst. Deshalb wird in Zukunft sicherlich versucht, die KI schon möglichst früh psychologisch geschickt in die richtige Richtung zu lenken. Dabei könne man sich auch an der Psychotherapie orientieren, findet Pellert.
Er denkt allerdings auch noch weiter: Seine Idee wäre, Unerwünschtes, wie zum Beispiel verzerrte Vorstellungen über Männer und Frauen oder Persönlichkeitseigenschaften, in den Modellen zu lokalisieren und auszuschalten. Dazu Pellert: "Das wäre nicht die Psychotherapie, sondern mehr die Lobotomie" - also Gehirnchirurgie an der KI.
Fortschritt im KI-Zeitalter Uni Stuttgart: Supercomputer helfen bei medizinischen Prognosen
Die Uni Stuttgart erhält zwei neue Supercomputer. Sie können extrem rechenintensive Prozesse durchführen, wie sie zum Beispiel für den Einsatz künstlicher Intelligenz nötig sind.
