M6 Grundlagen der Testkonstruktion

Prüfung der Gültigkeit (Validität) theoretischer Modellannahmen („faktorielle Validität“)

Entwicklung von Theorien über die interne Struktur psychologischer Konstrukte (oder messbarer Manifestationen)

Datenreduktion bzw. Zusammenfassen

Entdeckung theoretischer Modellvorstellungen im Rahmen eines theoriebildenden Vorgehens

Vereinfachung eines Datensatzes

stellt für induktive Testkonstruktion zentrale empirische Informationen zur Verfügung

Exploration der internen Struktur eher atheoretisch konstruierter externaler Tests

Die Ausprägung eines Individuums auf beobachteten Variablen wird ursächlich durch dahinter stehende, latente Konstrukte beeinflusst (Faktoren – ungleich (!) Faktoren der Varianzanalyse)

Simultaner Einfluss jedes Faktors auf mehrere beobachtete Variablen = „Effektindikatorenmodell“ (Gegensatz – mehrfaktorielle Varianzanalyse und multiple Regression: simultaner Einfluss mehrerer unabhängiger Variablen)

verwendet bei der Faktorenanalyse

dem Messmodell der KTT liegt ein faktorenanalytisches Modell zugrunde – unterstellt, dass die Indikatoren (Items) untereinander korrelieren (mindestens zwischen drei, i.d.R. Mehr Variablen / Inidikatoren)

betrachtet die Ausprägungen auf den Items als lineare Funktion dahinter stehender Faktoren (= Grund für Korrelation)

Kovarianzen auf manifester Ebene

Anzahl latenter Konstrukte und inhaltlicher Zusammenhang aus Stärke der Korrelationen

verwendet bei der Regressionsanalyse / Varianzanalyse

gilt bei strikter Orientierung am Zusammenhang der Items mit einem Außenkriterium im Rahmen der externealen Testkonstruktion → Homogenität / Korreliertheit der Items kann NICHT unterstellt werden

EFA: die erhobenen Daten bilden die Grundlage

vor Beginn der Datenanalyse

Hauptachsenanalyse (PAF, principal axis factor analysis)

Hauptkomponentenanalyse (PCA, principal components analysis)

(sieben Extraktionsmethoden in SPSS) implementiert

Dient nur der Datenreduktion und Beschreibung

latente Variablen heißen Komponenten (nicht Faktoren)

Häufige Verwendung (Voreinstellung SPSS)

geringe Unterschiede in Berechnung und Ergebnissen zur PAF

wichtigster Unterschied zu faktorenanalytischen Methoden im Anwendungszweck: reine Datenreduktion

Untersuchung der Kovarianz- bzw. Korrelationsmatrix eines Satzes beobachtbarer Variablen

zuerst: Extraktion kleinerer Anzahl latenter Variablen (Faktoren) – gewichtete Summe

Rotation vorläufiger Faktoren (Informationserhalt und Interpretationsgrundlage) → endgültige Faktoren

Zuweisung Messwerten (Faktorwerten) für Vpn auf den endgültigen Faktoren (Beschreibung der Ausprägung auf latenten Merkmalen)

Prüfung der Voraussetzungen einer EFA

Auswahl der faktorenanalytischen Methode (und Kommunalitätenschätzung, Methode Faktorextraktion)

Festlegung Anzahl der extrahierten Faktoren

Festlegung Rotationsmethode

Inhaltliche Interpretation der Faktoren

Festlegung der Methode Ermittlung der Faktorwerte (u.U. Faktoranalyse höherer Ordnung)

Substanzielle Korrelation der Items

Stichprobengröße

uni- und multivariate Verteilungseigenschaften der Items bzw. manifesten Variablen

(Wechselwirkungen)

Mindestvoraussetzung: beobachtete Korrelationsmatrix weicht signifikant von der vollständigen Unabhängigkeit der Variablen in der Population (Diagonal- bzw. Identitätsmatrix) ab

→ Signifikanztest: Bartlett-Test auf Sphärizität

→ KMO-Koeffizient (Kaiser-Meyer-Olkin-Koeffizient)

Kommunalitäten (>=.20)

MSA-Koeffizient (measure of sample adequacy) – ähnlich KMO zu interpretieren, bezieht sich jedoch auf einzelne Items

Kaiser-Meyer-Olkin-Koeffizient, Prüfung der Itemkorrelation (EFA)

gemeinsamer Varianzanteil der Items relativ zu deren spezifischen Varianzanteilen

sollte möglichst hoch (>=.50) sein

measure of sample adequacy, Prüfung der Itemkorrelation (EFA)

ähnlich KMO zu interpretieren, bezieht sich jedoch auf einzelne Items

Minimalgröße = Anzahl der Variablen (praktisch aber nie ausreichend)

je mehr Items eingehen, je weniger Items je Faktor zusammegefasst werden und je weniger reliabel die Items sind, desto größer sollte die Stichprobengröße sein

abhängig von der Extraktionsmethode (PCA relativ geringe Anforderungen, ML-Faktorenanalyse erfordert große Stichproben)

nach MacCallum et al. 1999: N = 60 Untergrenze für Faktorenanalyse (unter besten Bedingungen)

Die Kommunalität

Kontinuierliche Messung mindestens auf Intervallskalenniveau

(multivariate) Normalverteilung

Innerhalb eines Faktors vorwiegend Items mit ähnlichen Verteilungseigenschaften, die sich zwischen den Faktoren über alle Items je Faktor aber auffällig unterscheiden

Transformation der Items vor der Analyse (z.B. log-linear)

Zusammenfassung von Items („Päckchen“, parcels)

Miniskalen vor der Faktorisierung (auch Verbesserung der Reliabilität) – theoretische Vorannahmen erforderlich → vor allem bei CFA

EFA: Faktorenanalyse höherer Ordnung

anstelle der Matrix der Produkt-Moment-Korrelationen Analyse der tetrachorischen (für dichitome Items) bzw. polychorischen (für Ratingskalen) Korrelationen

alternative faktorenanalytische Methoden, beruhend auf der PPT

Kategoriale Daten werden als indirekte Indikatoren kontinuierlicher und normalverteilter Variablen aufgefasst

Ausprägung auf einer beobachtbaren Variable (z.B. einem Item) setzt sich aus einer gewichteten Kombination von Ausprägungen auf latenten Variablen plus einem Fehlerterm zusammen

Liegt PCA zugrunde: Kombination von Ausprägungen OHNE Fehlerterm → Interesse nur bei Informationen direkt aus empirischen Daten, nicht an dahinter liegenden „wahren“ Konstrukten

Standardiesierte Gewichte je Item und Faktor („Ladung des Items auf Faktor“)

Begriff kann mehrdeutig sein

interpretierbar als Korrelation zwischen Item und Faktor (solange Faktoren untereinander nicht korrelieren)

quadrierte Ladung = Anteil gemeinsamer Varianz an der Gesamtvarianz der beteiligten Variablen

z z-Werte einer Person auf Items

f Faktorwerte der Person auf Faktoren

a Ladungen der Items auf Faktoren

q Anzahl der Faktoren

e Fehlerkomponente, die durch extrahierte Faktoren nicht erklärt werden kann

Variablen in den Zeilen

Faktoren in den Spalten

Ladungen in den Zellen

h² Zeilensumme der quadrierten Ladungen der Ladungsmatrix

Anteil der Varianz eines Items, der durch alle extrahierten Faktoren gemeinsam aufgeklärt werden kann

Untergrenze für Schätzung der Reliabilität des Items

werden in die Hauptdiagonale der Korrelationsmatrix eingesetzt

Schätzung VOR der Durchführung der Faktorenanalyse, d.h. Bevor Anzahl der Faktoren und deren Ladungen bekannt sein können (ein Grundproblem der Faktorenanalyse)

Lösung des Problems für PCA grundsätzlich verschieden von anderen faktorenanalytischen Methoden

Zunächst werden Einsen in die Hauptdiagonale eingesetzt (entspricht vollständiger Aufklärung der Varianz des Items durch die Summe der Faktoren)

Die quadrierten multiplen Korrelationskoeffizienten R² zwischen dem jeweiligen Item und anderen Items (konservativ, da in jedem Item auch ein Anteil spezifischer Varianz S (Spezifität), der zur Reliabilität beiträgt aber von anderen Items nicht erfasst wird)