Testpsychologie: Einheit 3: Hauptgütekriterien Test (I)

Kovarianz beschreibt das Ausmass der gemeinsamen Variation zwischen zwei Variablen. Nachteil der Kovarianz: abhängig vom Masstab der zugrunde liegenden Variablen

Bivariate Korrelation (Produkt Moment Korrelation): die Kovarianz zweier Variablen wird durch das Produkt ihrer Standardabweichungen geteilt.

Determinationskoeffizient (r2): Prozentualer Anteil der Varianz des einen Merkmals, das aufgrund der Werte des anderen Merkmals erklärbar ist, d.h. der Anteil gemeinsamer Varianz.

• Objektivität
• Reliabilität
• Validität

Grad, in dem (1) Durchführung, (2) Auswertung und (3) Interpretation eines Tests unabhängig vom Untersucher sind. Objektivität ist das wichtigste Gütekriterium und gleichzeitig das am einfachsten zu gewährleisten. Die Qualität des Handbuches und die vorgeschriebene Standardisierung (Vorgabe, Auswertung, Interpretation) sind entscheidend.

Ausmass, in dem ein Test misst, was er zu messen beansprucht

• Durchführungsobjektivität: Standardisierte Testvorgabe und Instruktionen
• Auswertungsobjektivität: Verrechnungssicherheit, d.h. Auswerter müssen zum selben Schluss kommen. Möglich durch klaren Auswertungsschlüssel, Schablonen, Auswertprogramm
• Interpretationsobjektivität: Verschiedene Auswerter kommen zur gleichen Interpretation

• (innere) Konsistenz
• Retest-Korrelation
• Paralleltest-Korrelation

• Inhaltsvalidität
• Konstruktvalidität
• Kriteriumsvalidität

• liegt vor, wenn Test und jedes Item das zu messende Merkmal hinreichend präzise erfassen
• Die Items repräsentieren also das interessierende Merkmal (und nur dieses) tatsächlich und möglichst umfassend
• Es gibt typischerweise keinen Kennwert für Inhaltsvalidität. Steht und fällt mit einer klaren Definition des Merkmals

• Erfüllt, wenn sich theoretisch erwartete Zusammenhänge auch empirisch zeigen lassen
• Kann über Kennwerte quantifiziert werden

• Vorhersagevalidität (prognostische, prädiktive Validität)
• Übereinstimmungsvalidität (konkurrente Validität)
• Retrospektive Validität
• Inkrementelle Validität

Korrelation mit später liegenden Kriterien (IQ mit Abschlussnote)

Korrelation mit fast gleichzeitig erhobenen Kriterien

Korrelation mit zeitlich vorher erhobenen Merkmalen

Kann Test einen zusätzlichen Beitrag leisten, ein Merkmal vorherzusagen.

Welche Eigenschaft wird tatsächlich erfasst? Ist es die, die der Test/Fragebogen zu messen beansprucht?; kann über Kennwerte quantifiziert werden

• Konvergente Validität
• Diskriminante Validität
• Faktorielle Validität

Hohe Zusammenhänge mit Tests, die gleichen Gültigkeitsbereich haben; Übereinstimmung mit als ähnlich angenommenen Test

niedrige Zusammenhänge mit Tests für andere Merkmale; Abweichung oder Unabhängigkeit von als unähnlich angenommene Tests

Findet sich die theoretisch angenommene Struktur? Gemeinsame Faktorenanalyse von unterschiedlichen Tests um ähnliche und unähnliche Bereiche zu Identifizieren.

• Faktorenanalyse
• Nicht-korrelative Ansätze (zB. Extremgruppenvalidierung: 2 Gruppen, die sich im Merkmal extrem unterscheiden, werden getestet -> es sollten auch die entsprechenden Unterschiede rauskommen; experimentelle Designs)
• Multi-Trait-Multi-Method-Matrix (MTMM): Zusammenhangsanalyse mit anderen Tests; wichtig: Einbezug konstruktnaher und -ferner Instrumente und unterschiedlicher Erhebungsmethoden

• Monotrait-Monomethod (gleiche Methode, gleiches Trait)
• Hauptdiagonale
• Reliabilitäten der Messmethoden

• Korrelation zwischen selben Traits, die mit unterschiedlichen Methoden erfasst wurden
• Konvergente Validität: Werte auf der Validitätsdiagonalen sollten sig. verschieden sein und ausreichend hoch
• Gemeinsame Traitvarianz

• Werte in der Validitätsdiagonale sollten höher sein als andere Werte in selber Zeile und Spalte (im dazu gehörigen Heterotrait-Heteromethod-Block)
• Die Monotrait-Heteromethod-Korrelationen (einer Variablen) sollten höher sein als die Heterotrait-Monomethod-Korrelationen (dieser Variablen)
• Die Interkorrelationen zwischen verschiedenen Traits sowohl in den Monomethod-Blöcken als auch in den Heteromethod-Blöcken sollten ein ähnliches Muster aufweisen; der Zusammenhang zwischen verschiedenen Traits sollte also unter allen Messbedingungen ähnlich sein

• Methodenfaktoren: Verwendung unterschiedlicher Methoden (Fragebogen, Beobachtung etc.)
• Kriteriumskontamination und –defizienz: Kriterium erfasst etwas anderes, als angestrebt
• Mangelnde Symmetrie zwischen Prädiktor und Kriterium: die eingesetzten Messmethoden erfassen eine Eigenschaft mit unterschiedlicher Breite
• Streuungsrestriktion: Stichprobe ist vorausgewählt, führt zu verminderten Korrelationen
• Mangelnde Reliabilität im Kriterium oder Prädiktor: zu geringe Messgenauigkeit