Gütekriterien bei den Standard Progressive Matrices Plus
Die Psychologische Diagnostik, etwa zur Bewerberselektion, verlangt von den eingesetzten Verfahren die Einhaltung spezifischer Gütekriterien. Es gibt im wesentlichen zwei Zugänge: auf der einen Seite die Klassische Testtheorie, auf der anderen seit den 1970er Jahren die sog. Moderne Testtheorie, welche sehr hohe Anforderung an das Testmaterial stellt, die auch sehr umständlich und schwierig zu erfüllen sind. Die Methodik dahinter entwickelt sich ständig weiter.
Im Rahmen eines Forschungsprojektes in Kooperation mit der Universität Cluj in Rumänien und Dr. John Raven (Edinburgh) untersuchten wir das Verhalten empirischer Item Charakteristik Kurven sowie die rechnerisch ermittelten Parameter in Abhängigkeit verschieden „strenger“ Raschmodelle (1-Paramter, 2-Parameter und 3-Paramter-Modelle). Bei Gültigkeit der strengen Voraussetzungen müssen die geschätzten Kurven der Items bestimmte Eigenschaften aufweisen, da sie sonst ausgeschieden werden und im publizierten Testmaterial nicht mehr vorhanden sind. Die Anwendung unangemesser Testmodelle auf Daten, die „eigentlich“ weniger strenge Modelle erfordern würden, um die behauptete Gültigkeit zu besitzen, kann – wie sich in unserer Studie (wieder einmal) deutlich zeigte, zu gravierenden Fehlinterpretationen führen. Und: Abweichungen von (strengen) Modellen sind auch schon bei der einfachen, rein graphischen Darstellung der empirischen Item-Charakteristiken sichtbar, sodaß – dies ist eine der Kernaussagen – auf die Anwendung graphischer Methoden mehr Wert gelegt werden sollte (Artikel zum Download)