Testtheorie und Fragebogenkonstruktion

Antwortverhalten nur von der latenten Variablen und keinem anderen Merkmal abhängig

• Konsequenz:

Manifeste Variablen müssen Bedingung der lokalen stochastischen Unabhängigkeit genügen, damit man von Itemhomogenität ausgehen kann

• Untersuchbar anhand von Korrelationen

- Latente Variable ξ wird auf einem bestimmten Wert (der lokalen Stufe ξv) konstant gehalten

- Wenn dann die Korrelationen zwischen den Antwortvariablen verschwinden: lokale stochastische Unabhängigkeit --> Itemhomogenität

-Vergleiche zwischen Aufgaben/Personen immer unabhängig von Personen/Aufgabe 

--> 

-Unterschied zwischen 2 Itemschwierigkeiten ist immer gleich, egal mit welcher Person 

-Unterschied zwischen 2 Personenfähigkeiten immer gleich, egal mit welcher Aufgabe

Überprüfung: Produkt der Einzelwahrscheinlichkeit muss Wahrscheinlichkeit entsprechen beide Items zusammen zu lösen

-Ableitung der IC-Funktion: Stärkster Zuwachs, wenn Itemschwierigkeit = Merkmalsausprägung

-Steigerung der Itemzahl 

-Geeignete Itemauswahl (Items mit hohen individuellen Informationsbeiträgen)

-alle Itemfunktionen haben den gleichen Anstieg und sind parallel auf der x-Achse verschoben

Es hat noch einen weiteren Parameter bis auf die Schwierigkeit, nämlich den Itemdiskriminationsparameter

-besitzt im Gegensatz zum Raschmodell noch den Itemdiskriminationsparameter und den Rateparameter 

• In den Birnbaum-Modellen werden „vorteilhafte“ Eigenschaften aufgegeben (z.B. spezifische Objektivität), das könnte aber auch realistischer in der Abbildung von Itemeigenschaften sein.

• Empirische .berprüfung ausschließlich mit „Anpassungstests“ (sog. Goodness-of-Fit-Maßen), die feststellen, wie gut die beobachteten Daten zum postulierten Modell passen, ohne aber einen sicheren Rückschluss auf die Geltung der Modellimplikationen zu erlauben.

• Beim Raschmodell können diese Implikationen (z.B. spezifische Objektivität, Stichprobenunabhängigkeit, Intervallskalierung, Summenwerte als erschöpfende Statistik) teilweise mit Modelltests überprüft werden.

- expliziter, vorab festgelegter adaptiver Algorithmus zur Itemauswahl

- Items entsprechen den Annahmen eines ad.quaten Messmodells

• Menge aller Testitems (der sog. Itempool) weist Konformität mit den Annahmen des verwendeten IRT-Modells auf

• für IRT-konforme Items wird lokale stochastische Unabhängigkeit angenommen

- fest verzweigte Strategie (.fixed-branched strategy.)

• Beginn: Item mittlerer Schwierigkeit für alle

• Danach: je nach Antwort schwierigeres oder leichteres Item (bereits vor Testbeginn festgelegt, welches)

• Ende: Schätzung der individuellen Merkmalsauspr.gung (Schwierigkeit des Items, das als nächstes vorgelegt worden w.re oder mittlere Schwierigkeit aller im Testverlauf vorgelegten Items inkl. des Items, das als nächstes vorgelegt worden w.re, aber ohne das erste Item, das für alle Probanden identisch war)

- maßgeschneiderte Strategien (.tailored strategy.)

• Sehr feine Anpassung der vorzugebenden Items an das Antwortverhalten der Probanden möglich

• Setzt Computer voraus

• Verzweigung ergibt sich erst w.hrend der Testung (.variable branched tests.)

- eine bestimmte Anzahl von Items vorgelegt wurde und/oder

- der Standardfehler der Personenparametersch.tzung hinreichend klein ist und/oder

- eine maximale Testzeit erreicht wurde oder

- alle im Itempool verfügbaren Items vorgelegt wurden

+ hohe Testsicherheit

+ standardisierter Testablauf

+ probandenbestimmte Testgeschwindigkeit

+ schnelle und fehlerfreie Testwertbestimmung

+ Auswertung ohne psychometrisches Fachwissen

+ schnelle Ergebnisrückmeldung

+ Möglichkeit zur Verwendung innovativer Itemformate

- hoher Entwicklungsaufwand

- Aufwand durch die Bereitstellung von Computern am Testort

- teilweise höhere Kosten

- problematische Fairness hinsichtlich computerbezogener Personenmerkmale (z. B. Erfahrung, .ngstlichkeit)

Durch die Standardnormalverteilung (z-Verteilung) 

Normorientiert und kriteriumsorientiert

Prozentualer Flächenanteil der Häufigkeitsverteilung der Bezugsgruppe vom unteren Skalenende bis zum Testwert. --> wie viel Prozent der Bezugsgruppe hat einen Testwert erzielten der niedriger oder ebenso hoch ist wie der Wert der Testperson

Welcher Testwert dem korrepsondierenden Prozentrang entspricht

+-auch für nicht normalverteilte Variablen ermittelbar 

-- immer ordinalskaliert --> PR-Differenzen sind nicht aussagekräftig

Um das Vertrauens/Konfidenzintervall zu berechnen (Statistische Absicherung von beobachteten Testwerten) 

Standardmessfehler: Ausgangspunkt: Äquivalenzhypothese: Beobachteter Wert des Probanden ist gute Annährerung an den wahren Wert des Probanden (Keine Korrektur zur Mitte, aber ein breiteres KI bei Extremwerten = bessere Schätzung des KI für Extremwerte) 

Standardschätzfehler: Ausgangspunkt: Regressionshypothese: Wahrer Wert des Probanden muss aus beobachtetem Wert erst geschätzt werden, Korrektur zur Mitte: bei extremen beob. Werten ist bei Messwiederholung weniger extremer Wert zu erwarten

Vertrauensintervall nach Regressionshypothese schmaler als nach Äquivalenzhypothese --> aber bei hohen Reliabilität = ähnliche Ergebnisse

1). Art der Extraktionsmethode (z.B. Hauptskomponenten- oder Hauptachsenmethode) 

2). die Wahl des Abbruchkriteriums (z.B. Scree-Test oder Parallelanalyse)

3). die Methode der Faktorenrotation (z.B. orthogonal oder oblique Rotation)

Ausmaß, wie stark die Ausprägung der Itemantwort von einem oder mehreren Faktoren beeinflusst wird (wie stark hängt individuelles Item mit Faktor zusammen. 

-zwischen -1 und +1 

-Bei unkorrelierten Faktoren: Korrelation: Item-Faktor 

-Bei korrelierten Faktoren: semipartielles Regressionsgewicht

Ausprägung einer Person auf einem Faktor

Die durch den Faktor erklärte Varianz aller Items --> zeigt die Wichtigkeit des Faktors 

-bei unkorrelierten Faktoren: quadierte Faktorladungen aller Variablen aufsummiert (spaltenweise) 

-Variablen sind z-standardisert: Varianz von 1, dementsprechend immer wenn > 1, dann erklärt Faktor mehr Varianz als eine einzelne Variable 

die durch alle Faktoren aufgeklärte Varianz einer Variable

-bei unkorrelierten Faktoren: Summe der quadrierten Ladungen über alle Faktoren (zeilenweise) 

PCA: max. 1, da die Variablen z-standardisiert sind 

PFA: max. so groß wie die Reliabilität der Variablen 

bei niedriger Kommunlalität: misst etwas anderes als das Konstrukt, jängt nicht gut den anderen Faktoren zusammen

- 1-h2

- Varianz eines Items, die das Item mit keinem anderen teilt

- Setzt sich aus Spezifität (systematischer Varianzanteil, der nicht durch andere Faktoren erklärt werden kann) und Messfehler des Items zusammen) 

-Hauptkomponentenanalyse, PCA

- Hauptachsenanalyse PFA

- Maximum-Likelihood-Faktorenanalyse