Testtheorie & Testkonstruktion

Bei orthogonalen Rotationen bleibt die Unkorreliertheit der Faktoren erhalten

•  Die bekannteste orthogonale Rotation ist die Varimax-Rotation
  ◃ Diesem Kriterium zufolge werden die Faktoren so rotiert, dass die

  Varianz der quadrierten Ladungen maximiert wird
  ◃ d.h. dass die quadrierten Ladungen entweder sehr hohe oder sehr

  niedrige Werte aufweisen

• Die Hauptkomponentenanalyse (“principal component analysis”, PCA) ist eine Technik der Datenreduktion, die h ̈aufig mit der EFA verwechselt wird

•  Bei der PCA geht es um die optimale lineare Kombination der beobachteten Variablen (und nicht um die Erkl ̈arung ihrer Kovariation durch latente Variablen)

•  Der PCA liegt kein Populationsmodell zugrunde und es werden keine Residualvariablen angenommen (die PCA ist keine EFA!)

Zusammenhangsmaße fu ̈r dichotome Variablen

IRT I

10 | 86

Das Pendent zur Produkt-Momenent Korrelation bei dichotomen Variablen heißt φ-Koeffizient

Ein Nachteil ist, dass der φ-Koeffizient h ̈aufig einen eingeschr ̈ankten Wertebereich aufweist (also nicht den maximalen Wert von 1 erreichen kann)

◃ φ kann nur 1 sein, wenn beide Variablen die gleiche Randverteilung (Schwierigkeit) haben

◃ φ ist umso kleiner, je unterschiedlicher die Randverteilungen der beiden Items sind

Alternative Zusammenhangsmaße

IRT I

11 | 86

Poly- und Tetrachorische Korrelationen (werden bei konfirmatorischen Faktorenanalysen mit geordnet kategorialen beobachteten Variablen eingesetzt)

Wettquotientenverh ̈altnis (Odds-Ratio) wird in der logistischen Regression eingesetzt

Yules-Q (γ-Koeffizient, besonders geeignet, wenn Items sich in Bezug auf ihre Schwierigkeiten auf einem gemeinsamen Konstrukt anordnen lassen)

Annahme 1: Rasch-Homogenit ̈at

Alle beobachteten Variablen erfassen in homogener Weise das gleiche latente Merkmal

Annahme 2: Bedingte stochastische Unabh ̈angigkeit

U ̈ber das latente Konstrukt hinaus bestehen keine Zusammenh ̈ange zwischen den beobachteten Variablen

Summenwert als suffiziente Statistik

Die Summe der gelo ̈sten Aufgaben bzw. bejahten Items
(S = Y1 + ... + Yp ) ist ein erscho ̈pfender (“suffizienter”) Sch ̈atzwert fu ̈r den Personenwert ηm

P(Yi =yi|η,S)=P(Yi =yi|S)
Es kommt nur darauf an, wie viele Items gelo ̈st/bejaht wurden, nicht

aber welche

Entspricht in dieser Hinsicht dem Modell (essentiell) τ- ̈aquivalenter Variablen

Alternative “schrittweise” ML-Sch ̈atzverfahren

Schritt 1: Sch ̈atzung der Itemparameter

•  Bedingte ML-Methode: Baut darauf auf, dass S eine suffiziente Statistik fu ̈r den Personenparameter ist (d.h. Itemparameter ko ̈nnen unabh ̈angig von den Personenparameter gesch ̈atzt werden)

•  Marginale ML-Methode: Item- und Personenparameter werden ebenfalls getrennt voneinander gesch ̈atzt. Setzt allerdings eine Annahme u ̈ber die Verteilung der Personenparameter voraus (z.B. Normalverteilung)

  Schritt 2: Sch ̈atzung der Personenparameter

• Unbedingte ML-Methode: Die Itemparameter werden in die Likelihood-Gleichung eingesetzt (Nachteil: es gibt keine Sch ̈atzwerte fu ̈rPersonenmits =0oders =p)

• Gewichtete ML-Methode: Methode der Wahl

Die Iteminformation entspricht der bedingten Itemvarianz

Ii(η)=P(Yi =1|η)·P(Yi =0|η) =Var(Yi|η)

Das Item ist am informativsten, wenn Lo ̈sen und Nicht-Lo ̈sen gleich wahrscheinlich sind

Einer Personen werden sukzessive (computerbasiert) diejenigen Items dargeboten, die maximal zur Sch ̈atzung ihres Personenwertes beitragen (d.h. deren Schwierigkeit mo ̈glichst nah am Personenwert liegt)

Reliabilit ̈at (“Personenseparierbarkeit”) bezieht sich auf den Anteil der Varianz der wahren Personenwerte an der Varianz der gesch ̈atzten Personenwerte

52.4% der gesch ̈atzten Personenwerte gehen auf wahre Personenunterschiede zuru ̈ck.

1. Gleichheit der Itemparameter in Subpopulationen

   • Bei bekannten Subpopulationen (z.B. M ̈anner und Frauen) werden die Itemparameteranhand der jeweiligen Substichproben gesch ̈atzt und verglichen

     1. Likelihood-Ratio-Test
     2. Itemspezifischer Wald-Test

2. Globale Modellgu ̈ltigkeit (Beobachtete und Erwartete H ̈aufigkeiten )

   • Pearson χ2-Tests

   • M2-Statistik (Maydeu-Olivares, 2013)

• es muss eine große Stichprobe vorliegen, damit die χ2-verteilt ist

•  daru ̈ber hinaus w ̈achst die Anzahl der mo ̈glichen Antwortmuster mit der Anzahl der Items p exponential an (im Beispiel 2p = 25 = 32, wobei die Mehrzahl der Antwortmuster in kleinen Stichproben gar nicht auftreten, 32-20=12)

•  Das fu ̈hrt dazu, dass die PE-Pru ̈fgro ̈ße in Anwendungen nicht χ2-verteilt ist

• Eine alternative Methode zur Pru ̈fung der globalen Modellgu ̈ltigkeit ist die M2-Statistik (Maydeu-Olivares, 2013) (implementiert in mirt mit der Funktion M2)

•  Anstatt wie beim Pearson-χ2-Test die Wahrscheinlichkeiten aller Antwortmuster zu beru ̈cksichtigen (“full information statistic”), basiert die M2-Statistik nur auf den univariaten und bivariaten Itemkennwerten (“limited information statistic”)

•  Vorteil: Die Pru ̈fgro ̈ße ist auch bei gro ̈ßeren Modellen und in kleineren Stichproben χ2-verteilt

• Alternative zum Pearson χ2-Tests

•  Eine alternative Methode zur Pru ̈fung der globalen Modellgu ̈ltigkeit ist die M2-Statistik (Maydeu-Olivares, 2013) (implementiert in mirt mit der Funktion M2)

•  Anstatt wie beim Pearson-χ2-Test die Wahrscheinlichkeiten aller Antwortmuster zu beru ̈cksichtigen (“full information statistic”), basiert die M2-Statistik nur auf den univariaten und bivariaten Itemkennwerten (“limited information statistic”)

•  Vorteil: Die Pru ̈fgro ̈ße ist auch bei gro ̈ßeren Modellen und in kleineren Stichproben χ2-verteilt

Mit einem Person x(2) Test können Beobachtete und Erwartete H ̈aufigkeiten von personen analysiert werden

Die Abweichung eines Personenwerts vom Schwierigkeitsparameter wird im Unterschied zum Rasch-Modell mit βi gewichtet

• Je gro ̈ßer βi ist, desto steiler verl ̈auft die Itemcharakteristikkurve an ihrem Wendepunkt

•  ein ho ̈heres βi bedeutet, dass sich Unterschiede zwischen Personen auf der latenten Variable deutlicher auswirken

•  d.h. die Items“diskriminieren”besser zwischen wahren Merkmalsunterschieden

Der wahre Wert ist als Erwartungswert einer intraindividuellen (personenspezifischen)Verteilung eines Merkmals definiert

1. E(εi|τj) = 0

Der Erwartungswert der Messfehlervariable ist für jede Ausprägung der True Score Variable gleich 0

2.  E(εi) = 0
der unbedingte Erwartungswert des Messfehlers ist 0

3. Cov(εi,τj)=0

Messfehler und Truescore sind unkorreliert

4. Var(Yi) = Var(τi)+Var(εi)

Die Varianz der beob. Var. lässt sich in die Varianz der True Score Var und die Messfehler Var zerlegen

Testreabilität ist die beob. Varianz durch die true Score Varianz definiert (Rel(Yi) = Var(τi) / Var(Yi))

Verfahren zur Bestimmung der Reliabilit ̈at:

1. Paralleltest Rel
2. Testhalbierungs Rel
3. Retest Rel

Durch die Summierung von mehreren Items (bzw. Testh ̈alften) kann die Pr ̈azision der Messung erho ̈ht werden.

I Spearman-Brown Formel zur Testverl ̈angerung bei Gu ̈ltigkeit des Modells mit essenziell t-parallelen Variablen

1. klassische Verfahren: beob Werte sind         Schätzwerte der wahren Werte: Präzision der              abhängig von der Fehlervarianz

2. modelbasierte Verfahren

Der Standardschätzfehler ist die Standardabweichung der Residuen und dient um die Güte der Schätzung anzugeben, je größer der SSF desto ungenauer ist die Schätzung

1. konvergente Konstruktvalidität
2. diskriminante Konstruktvalidität
3. Gültigkeit des Messmodells: (Gegeben, wenn sich die Testitems theoriekonform als Indikatoren eines gemeinsamen“latenten Faktors”nachweisen lassen)

Ziele der EFA:

1.  Wie viele Dimensionen (latente Faktoren) werden beno ̈tigt, um die Zusammenh ̈ange zwischen den beobachteten (manifesten) Variablen zu erkl ̈aren?

→ Datenreduktion
Wie ko ̈nnen die latenten Faktoren inhaltlich interpretiert werden, die

das Konstrukt repr ̈asentieren sollen?

→ Sch ̈atzung & Interpretation der Faktoren

• Bartlett-Test auf Sph ̈arizit ̈at

Nullhypothese (H0): Es gibt keine Zusammenh ̈ange zwischen den manifesten Variablen (sog. Baseline-Modell)

Wichtig: Man ist daran interessiert, die Nullhypothese (H0) zu verwerfen und die Alternativhypothese (H1) anzunehmen!

Bei der Parametersch ̈atzung kann die Situation auftreten, dass für eine Residualvarianz ein negativer (d.h. theoretisch unmo ̈glicher) Wert gesch ̈atzt wird (“Heywood-Fall”)

• Es wird zun ̈achst ein Modell mit einem Faktor gesch ̈atzt und dann schrittweise die Anzahl der Faktoren erho ̈ht

•  Die verschiedenen Modelle werden anhand von Modellgu ̈tekoeffizienten verglichen (z.B. χ2-Anpassungstest, informationstheoretische Maße wie AIC oder BIC, Closeness-of-Fit-Koeffizienten wie RMSEA)

•  Es wird dasjenige Modell ausgew ̈ahlt,

  ◃ das den Modellgu ̈tekriterien zufolge nicht verworfen werden muss

  ◃ das die geringste (oder eine relativ geringe) Anzahl von Faktoren aufweist

  ◃ das theoretisch sinnvoll interpretierbar ist

1. Kaiser-Guttman Kriterium
◃ Extrahiere nur Faktoren, die einen Eigenwert > 1 aufweisen

2. Screeplot
◃ Plotte den Eigenwertverlauf und w ̈ahle nur jene latente Faktoren aus, die vor dem Knick im Eigenwertverlauf liegen.

3. Parallelanalyse nach Horn (1965)

Plotte den Eigenwertverlauf der empirischen Daten gegen einen zuf ̈alligen Eigenwertverlauf auf Basis von simulierten Daten. Extrahiere nur jene Faktoren, die vor dem Schnittpunkt der beiden Eigenwertverl ̈aufe liegen.

Der Eigenwert eines Faktors ist die Summe der quadrierten Faktorladungen eines Faktors über alle Variablen. Der Eigenwert errechnet sich durch quadrieren und aufaddieren der Faktorladungen in den jeweiligen Spalten der Ladungsmatrix. Der Eigenwert gibt an, wie viel Varianz ein Faktor erklärt. Ein Eigenwert von eins bedeutet also, dass ein Faktor genauso viel Varianz wie eine Variable erklärt.