Testtheorie und Testkonstruktion - 3. Termin

Das Modell gilt als identifiziert, wenn die gesuchten Modellparameter (eindeutig) aus den Daten bestimmbar (ableitbar) sind.

Notwendige Bedingung: Keine negativen Freiheitsgrade.

Hinreichende Bedingung: Es muss gezeigt werden, dass alle zu schätzenden Parameter anhand der Varianzen und Kovarianzen der manifesten Variablen berechnet werden können.

df = Anzahl empirischer Informationen − Anzahl zu schätzender Parameter

df < 0 Modell ist unteridentifiziert

df = 0 Modell ist gerade identifiziert / saturiert (just identified)

df > 0 Modell ist überidentifiziert.

1. Bestimmung der Anzahl empirischer Informationen (d.h. Varianzen, Kovarianzen, Mittelwerte)

... wobei p die Anzahl der beobachteten Variablen (hier 6) kennzeichnet: [p* (p+1)] / 2 + p (hier: 27)

2. Anzahl der zu schätzenden Parameter im Zwei-Faktor-Modell

α1, α2, α3, α4, α5, α6, ε1, ε2, ε3, ε4, ε5 ε6, λ21, λ31, λ22, λ32

Var(η1), Var(η2), und Cov(η1,η2)

nicht mit geschätzt werden (weil fixiert): λ11, λ12

→ 19

⇒ 27 - 19 = 8

Die Nullhypothese ist, dass beide Matrizen (modellimplizierte Kovarianzmatrix und Populationskovarianzmatrix) gleich sind.

Ein nicht-signifikantes Ergebnis bedeutet, dass das Modell auf Grundlage der Daten nicht verworfen werden muss.

D.h. nicht, dass das Modell korrekt ist!

Vorteile:

- Liefert eine inferenzstatistische Absicherung der Modellpassung

- Hat eine klar definierte Bedeutung

Nachteile:

- Ist abhängig von der Stichprobengröße (Power)

- Testet die Identität von Modell und Realität, nicht ob das Modell eine geeignete Vereinfachung (Approximation) der Realität ist

- Nimmt multivariate Normalverteilung an

- Folgt nur asymptotisch der“echten” χ2-Verteilung

- Um die Parameter für die Faktorenanalyse mit ordinalen Indikatoren schätzen zu können, wird die Varianz der latenten Variablen Y ^∗_i  auf 1 und ihr Mittelwert auf 0 fixiert (sog. Delta-Parameterisierung)

- Dadurch sind die Leichtigkeitsparameter αi alle gleich 0 und können in der Grundgleichung weggelassen werden

- Alternativ kann auch die Varianz der latenten Residualvariablen Var(εi) auf 1 fixiert werden (sog. Theta-Parameterisierung)

- Die üblichen Restriktionen zur Normierung der latenten Faktoren η_j müssen ebenfalls getroffen werden, um das Modell zu schätzen

Im Unterschied zu den bisher behandelten Faktorenanalysen basiert die Parameterschätzung bei Modellen mit ordinalen beobachteten Variablen nicht auf der Kovarianzmatrix, sondern auf der Matrix polychorischer Korrelationen

→ Polychorische Korrelationen sind ein geeignetes Zusammenhangsmaß für geordnet kategoriale beobachtete Variablen

VS. 

tetrachorische Korrelationen: Korrelationen zwischen dichotomen beobachteten Variablen

Wenn mehr Informationen zur Verfügung stehen als zu schätzende Parameter  (df > 0; überidentifiziert).

Wenn das Modell in der Population gilt, dann sollte die modellimplizierte und die Populationskovarianzmatrix gleich sein

Unrestringiertes Modell (U, korrelierte Faktoren)

Restringiertes Modell (R, unkorrelierte Faktoren)

Interpretation: Das Modell R passt bedeutend schlechter auf die Daten als das Modell U, ∆ χ2(df =1)=54.59, p < .001. Das Modell mit korrelierten Faktoren (U) sollte bevorzugt werden.

AIC Akaike’s Information Criterion: Ungewichtete Bestrafung der Anzahl der Parameter

BIC Bayesian Information Criterion: Bestrafung durch n skaliert

aBIC Sample-Size-Adjusted BIC: Korrekturformel des BIC

→ Dienen dem Vergleich von (nicht geschachtelten) Modellen, die auf dieselben Daten angepasst wurden.

Vorteile:

- In fast allen Fällen berechenbar (unabhängig von Schätzern etc.)

- Können genutzt werden um nicht-geschachtelte Modelle zu vergleichen

- Bei multiplen Vergleichen kann die α-Fehlerkumulierung des LRT umgangen werden

Nachteile:

- Benötigen stets Vergleichsmodelle, liefern keine absolute Angabe zur Passung

- Bieten keine inferenzstatistische Absicherung oder Daumenregeln

Es könnte sich um Stichprobenzufälligkeiten handeln (“capitalization on chance”).

- theoriegeleitet sein

- dokumentiert werden

- kreuzvalidiert werden (soweit möglich)

- multivariat normalverteilte Daten (robust bis ca. Schiefe < 2, Exzess< 7)

- lineare Abhängigkeit zwischen manifesten und latenten Variablen (bei ordinalen Indikatoren nicht gegeben!)

- Unabhängige Beobachtungen (d.h. keine Cluster- bzw. Multilevel-Daten)

- ausreichend große Stichprobe (verschiedene Daumenregeln, Simulationsstudien)

Stichprobengröße von n ≥ 300

Bartlett-Test auf Sphärizität:

Nullhypothese (H0): Es gibt keine Zusammenhänge zwischen den manifesten Variablen (sog. Baseline-Modell)

Wichtig: Man ist daran interessiert, die Nullhypothese (H0) zu verwerfen und die Alternativhypothese (H1) anzunehmen!

in R: Funktion cortest.bartlett im Paket psych enthalten

→ Überprüft ob eine EFA sinnvoll ist !!!

Wenn die manifesten Variablen in der Population vollkommen unkorreliert sind. 

Das Ergebnis des Bartlett-Tests deutet darauf hin, dass die Nullhypothese verworfen werden muss, χ2(15)=10133, p<.001. Eine EFA ist somit sinnvoll.

Bei der Parameterschätzung kann die Situation auftreten, dass für eine Residualvarianz ein negativer (d.h. theoretisch unmöglicher) Wert geschätzt wird oder Korrelationen > 1 auftreten.

→ Heywood-Fall

Man kann in diesem Fall die Anzahl der Faktoren reduzieren, die betreffenden Items aus der Analyse ausschließen oder weitere (zu dem Faktor passende) Items in die Analyse mit aufnehmen.

1. Maximum-Likelihood Faktorenanalyse

- Es wird zunächst ein Modell mit einem Faktor geschätzt und dann schrittweise die Anzahl der Faktoren erhöht

- Die verschiedenen Modelle werden anhand von Modellgütekoeffizienten verglichen (z.B. χ2-Anpassungstest, informationstheoretische Maße wie AIC oder BIC, Closeness-of-Fit-Koeffizienten wie RMSEA)

Es wird dasjenige Modell ausgewählt,

→ das den Modellgütekriterien zufolge nicht verworfen werden muss

→ das die geringste (oder eine relativ geringe) Anzahl von Faktoren aufweist

→ das theoretisch sinnvoll interpretierbar ist

Weitere Methoden zur Bestimmung der Faktoranzahl

2. Kaiser-Guttman Kriterium: Extrahiere nur Faktoren, die einen Eigenwert > 1 aufweisen

3. Screeplot: Plotte den Eigenwertverlauf und wähle nur jene latente Faktoren aus, die links vor dem Knick im Eigenwertverlauf liegen.

4. Parallelanalyse nach Horn: Plotte den Eigenwertverlauf der empirischen Daten gegen einen zufälligen Eigenwertverlauf auf Basis von simulierten Daten. Extrahiere nur jene Faktoren, die vor dem Schnittpunkt der beiden Eigenwertverläufe liegen.

Eigenwerte zeigen an, wie viel der beobachteten Varianz aller Items durch einen bestimmten Faktor aufgeklärt wird

(formal: Summe der quadrierten standardisierten Faktorladungen)

Bestimmung der Faktoranzahl anhand der Eigenwerte.

Je größer der Eigenwert, desto größer die Varianzaufklärung des Faktors.

→ Extrahiere nur so viele latente Faktoren, wie unbedingt nötig !

Parallelanalyse nach Horn (1965)

Plottet den Eigenwertverlauf der empirischen Daten gegen einen zufälligen Eigenwertverlauf auf Basis von simulierten Daten.

→ Extrahiert werden sollen nur jene Faktoren, die vor dem Schnittpunkt der beiden Eigenwertverläufe liegen.

⇒ hier 2

Kommunalität: Anteil der Varianz einer beobachteten Variablen, der durch alle Faktoren erklärt wird. 

Kommunalität (h²) = Summe der quadrierten standardisierten Faktorladungen für ein Item über alle Faktoren

→ Im Fall von unkorrelierten Faktoren entspricht die Kommunalität der Reliabilität eines Items

1-Kommunalität (h²) = Uniqueness

Uniqueness: entspricht der standardisierten Fehlervarianz (der Anteil der Varianz einer beobachteten Variablen, der NICHT durch die Faktoren erklärt werden kann)

Um die Interpretierbarkeit zu erleichtern, werden die Faktoren bzw. Ladungen der Anfangslösung häufig gemäß bestimmter Optimalitätskriterien transformiert (“rotiert”)

Interpretation der Faktoren

- Die inhaltliche Bedeutung der Faktoren ergibt sich aus der Höhe der Ladungen

- Je höher die Ladung eines Items, desto stärker sollte dieses Item bei der inhaltlichen Interpretation des Faktors berücksichtigt werden

- Daumenregel, dass Ladungen mit einem Betrag > .30 (bzw. > .40) bedeutsam sind

- Maximum-Likelihood basierte Faktorenanalysen erlauben es, die Signifikanz der Faktorladungen zu prüfen und Konfidenzintervalle für die Ladungen zu berechnen

Bei orthogonalen Rotationen bleibt die Unkorreliertheit der Faktoren erhalten.

Die bekannteste orthogonale Rotation ist die Varimax-Rotation:

- diesem Kriterium zufolge werden die Faktoren so rotiert, dass die Varianz der quadrierten Ladungen maximiert wird

-  d.h. dass die quadrierten Ladungen entweder sehr hohe oder sehr niedrige Werte aufweisen

Es gibt zahlreiche weitere orthogonale Rotationsverfahren wie z.B. Quartimax, Equamax oder Geomin

ABBILDUNG (Punkte liegen beide im rechten (oberen) Winkel - alle positiv)

Oblique Rotationen erlauben, dass die Faktoren korreliert sind und erreichen so häufig eine bessere Annäherung an die Einfachstruktur

Das am häufigsten eingesetzte Verfahren ist die direkte Quartimin-Rotation

- diesem Kriterium zufolge werden die Faktoren so rotiert, dass die Kovarianz der quadrierten Ladungen, die zu verschiedenen Faktoren gehören, minimiert wird

Es gibt zahlreiche weitere oblique Rotationsverfahren wie z.B. Promax oder Prokrustes

ABBILDUNG (Punkte liegen direkt auf Linien der Faktoren → Faktoren korreliert!

EFA versus Hauptkomponentenanalyse

- Die Hauptkomponentenanalyse (“principal component analysis”, PCA) ist eine Technik der Datenreduktion, die häufig mit der EFA verwechselt wird

- Bei der PCA geht es um die optimale lineare Kombination der beobachteten Variablen (und NICHT um die Erklärung ihrer Kovariation durch latente Variablen)

- der PCA liegt kein Populationsmodell zugrunde und es werden keine Residualvariablen angenommen (die PCA ist keine EFA!)

- PCAs können mit der principal-Funktion aus dem R-Paket psychberechnet werden

-  Darüber hinaus gibt es weitere Verfahren (“principal axis analysis”, PAA), welche als Speziallfälle der EFA angesehen werden können