Ein komplett neues Qualitätslevel
Warum es sich lohnt, viel Aufwand in die Testentwicklung zu stecken
Professor Dr. Samuel Greiff ist Associate Professor für Educational Assessment an der Universität Luxemburg und leitet den Forschungsbereich Computer-Based Assessment. Dort ist auch das Projekt zur Entwicklung des LUXXprofile angesiedelt. Wir sprachen mit ihm darüber, warum es eine LUXXprofile-Variante für Business-Anwender und eine für Forscher geben wird.
Der Fokus Ihrer Abteilung liegt auf der Erforschung und Entwicklung neuartiger psychologischer Testverfahren. Weshalb brauchen wir innovativere Verfahren?
Greiff: Unsere Gesellschaft wird immer komplexer und damit werden es auch die Fragestellungen der Forschung – dies gilt auch für Themen wie Lernen und Leistung. Etablierte kognitive Verfahren wie Intelligenztests können diese Komplexität nicht mehr ausreichend abbilden. So haben in den letzten Jahren kombinierte Verfahren, die auch persönlichkeitsbezogene Leistungsaspekte wie Motivation miteinbeziehen, an Bedeutung gewonnen. Ein Beispiel: Wir wurden von der OECD beauftragt, für die PISA Studie eine unabhängige Validierungs- und Überprüfungsstudie zu konzipieren, durchzuführen und auszuwerten. Es galt u.a. herauszufinden, inwieweit internationale Vergleichsstudien zwischen Bildungssystemen auch die kollaborative Problemlösungskompetenz erfassen können. Ein Projekt wie PISA, bei dem über 50 Länder verglichen werden, ist für eine derartige Validierung durchaus anspruchsvoll und es spricht für die Qualität unserer Universität, dass wir von der OECD damit betraut wurden.
Sie planen, eine Variante des LUXXprofile der Forschung zur Verfügung zu stellen. Warum ist eine Variante für den wissenschaftlichen Einsatz sinnvoll?
Greiff: Das Forschungsteam, das unter der Leitung von Dr. Christoph Kemper das LUXXprofile entwickelt, hat sich zunächst mit der Konzeptualisierung von motivationalen Persönlichkeitsaspekten beschäftigt und validiert das Modell derzeit. Das Team geht hier einen neuen Weg, denn eine Reihe bestehender Persönlichkeitstests basiert auf dem Primat der „Augenscheinvalidität“ oder hat nur eine unzureichende theoretische Verankerung. Dabei muss man wissen: Je genauer die Persönlichkeit abgebildet werden soll, desto höher sind die Anforderungen an die Testkonstruktion. Steven Reiss hat ebenfalls den Weg der empirischen Überprüfung eingeschlagen, doch zum einen liegt diese Forschung mehr als zwanzig Jahre zurück, zum anderen hat auch Reiss bei der Testkonstruktion an der ein oder anderen Stelle eine „Abkürzung genommen“. Wir wenden nun die modernsten Methoden der Testkonstruktion an und erreichen so ein komplett neues Qualitätslevel.
Wo liegen die Unterschiede zwischen der Science- und der Coaching-Variante?
Greiff: Die konzeptionelle Basis der beiden ist die selbe. Die Unterschiede ergeben sich aus der Herangehensweise. Die Forschung schaut üblicherweise auf Gruppen – zum Beispiel Berufsgruppen oder Unterschiede zwischen Frauen und Männern. Die Science-Variante wird daher so aufgebaut sein, dass sie gruppenbezogene Fragestellungen beantworten kann. Im Coaching geht es hingegen um individuelle Diagnosen und Empfehlungen. Die Coaching-Variante erfordert daher ein viel genaueres Messverfahren und eine höhere Reliabilität. Methodisch hat sich hier in den letzten Jahren viel getan – ein Knowhow, das Christoph Kemper und sein Team einfließen lassen.
Welcher Nutzen ergibt sich daraus für den Business-Anwender?
Greiff: Die genaueren Messverfahren erlauben uns, die Komplexität der persönlichen Motive abzubilden und Muster nachzuweisen. Fragen, die uns dabei interessieren und die auch für den Anwender Relevanz haben, sind zum Beispiel: Wie stehen die Motive zueinander in Beziehung? Welche Motivausprägungen korrelieren häufig mit anderen? Welche treten häufig gegensätzlich auf? Welche Motivausprägungen kompensieren andere? Dies geht bis hin zur prädiktiven Validität, also die Vorhersagekraft des LUXXprofile für künftiges Verhalten einer Person. Sie wird durch das, was wir an Aufwand in die Testkonstruktion investieren, gegenüber anderen Verfahren deutlich steigen. Für Coaches und Berater ergibt sich dadurch eine nie da gewesene faktenbasierte Basis für unterstützende Interventionen, die sich positiv auf Motivation und Leistung auswirken können.
