Testtheorie und Fragebogenkonstruktion

Erhöhte Korrelationen versch. Traits mit unterschiedlichen Methoden (spricht gegen Validität) 

• Häufigkeitsauszählungen und Einzelvergleiche--> nur grober Überblick, kein zufallskritisches Vorgehen

• Inspektion manifester Variablen (nicht latente Traits)

• Keine unabhängige Bestimmung konvergenter und diskriminanter Validität

• Keine exakten Entscheidungsregeln --> subjektive Auswertung

--> Lösung: konfirmatorische Analyse (CFA)

• Analyse der Korrelationsmatrizen mit konfirmatorischen Faktorenanalysen

• Erlaubt Trennung von Trait-, Methoden- und Messfehleranteilen

• Erlaubt .berprüfung der Gültigkeit der zugrunde liegenden Annahmen, z. B. .berprüfung der Eindimensionalität der einzelnen Traits und der Unkorreliertheit oder Korreliertheit von Methoden- oder Traitfaktoren

• Möglichkeit, die latenten Traitfaktoren mit Kriterien in Beziehung zu setzen --> Kriteriumsvalidität auf latenter Ebene überprüfen

Arten von Modellen:

--> Modelle mit Trait- und Methodenfaktoren

--> Modelle mit Traitfaktoren und korrelierten Messfehlern

Aufbau des Modells

- mindestens drei Traits

- mindestens drei Methoden

- mindestens 9 (3 Å~ 3) Indikatoren (Messvariablen)

- jeder Indikator lädt jeweils auf einem Traitfaktor und auf einem Methodenfaktor, nicht aber auf den anderen Faktoren

- Traitfaktoren und die Methodenfaktoren können jeweils untereinander korrelieren, es dürfen jedoch keine Beziehungen zwischen diesen beiden Faktorengruppen bestehen

•Testtheorie: Zusammenhang von Testverhalten und dem zu erfassenden psychischen Merkmal

•Psychologische Konstrukte nicht direkt beobachtbar

Korrelation zwischen den Antwortvariablen verschwindet, wenn man die lantente Variable auf einem bestimmten Wert (auf einer lokalen Stufe = eine Gruppe von Personen die die gleichen Werte auf der Latenten Variable hat) konstant hält 

--> Korrelationsmuster: bei heterogener Gruppe Korrelation zwischen den Items, bei homogener Gruppe (lokal), keine Korrelation --> Hinweis dass die Items das latente Konstrukt messen. 

Annahme: es gibt für jedes dichotim beantwortete Item einen bestimmten Wert auf der Ksi-Skale, ab dem das Item gelöst bzw. bejaht wird. (je weiter rechts desto schwieriger das Item) Lösungwahrscheinlichkeit springt von 0 auf 1 (wenn Person höhere Fähigkeit als die Aufgabenschwierigkeit besitzt) -> keine reellen Daten entsprechen diesem Modell

Kritik: Modellverletzung z.B. beim Abschreiben 

-haben alle den gleichen Anstieg/Kurvenverlauf, aber der Start ist verschoben, wenn sich nur die Schwierigkeit unterscheidet

- lokale stochastische Unabhängigkeit

- Eindimensionalität & Itemhomogenität

- Anzahl gelöster Aufgaben als „erschöpfende Statistik“

- spezifische Objektivität der Vergleiche

- Stichprobenunabhängigkeit

- Prüfbarkeit

--> Diese Eigenschaften folgen aus der Modelldefinition des Rasch-Modells; sie gelten nur für Items, für die das Rasch-Modell gilt!

Antwortverhalten nur von der latenten Variablen und keinem anderen Merkmal abhängig

• Konsequenz:

Manifeste Variablen müssen Bedingung der lokalen stochastischen Unabhängigkeit genügen, damit man von Itemhomogenität ausgehen kann

• Untersuchbar anhand von Korrelationen

- Latente Variable ξ wird auf einem bestimmten Wert (der lokalen Stufe ξv) konstant gehalten

- Wenn dann die Korrelationen zwischen den Antwortvariablen verschwinden: lokale stochastische Unabhängigkeit --> Itemhomogenität

-Vergleiche zwischen Aufgaben/Personen immer unabhängig von Personen/Aufgabe 

--> 

-Unterschied zwischen 2 Itemschwierigkeiten ist immer gleich, egal mit welcher Person 

-Unterschied zwischen 2 Personenfähigkeiten immer gleich, egal mit welcher Aufgabe

Überprüfung: Produkt der Einzelwahrscheinlichkeit muss Wahrscheinlichkeit entsprechen beide Items zusammen zu lösen

-Ableitung der IC-Funktion: Stärkster Zuwachs, wenn Itemschwierigkeit = Merkmalsausprägung

-Steigerung der Itemzahl 

-Geeignete Itemauswahl (Items mit hohen individuellen Informationsbeiträgen)

-alle Itemfunktionen haben den gleichen Anstieg und sind parallel auf der x-Achse verschoben

Es hat noch einen weiteren Parameter bis auf die Schwierigkeit, nämlich den Itemdiskriminationsparameter

-besitzt im Gegensatz zum Raschmodell noch den Itemdiskriminationsparameter und den Rateparameter 

• In den Birnbaum-Modellen werden „vorteilhafte“ Eigenschaften aufgegeben (z.B. spezifische Objektivität), das könnte aber auch realistischer in der Abbildung von Itemeigenschaften sein.

• Empirische .berprüfung ausschließlich mit „Anpassungstests“ (sog. Goodness-of-Fit-Maßen), die feststellen, wie gut die beobachteten Daten zum postulierten Modell passen, ohne aber einen sicheren Rückschluss auf die Geltung der Modellimplikationen zu erlauben.

• Beim Raschmodell können diese Implikationen (z.B. spezifische Objektivität, Stichprobenunabhängigkeit, Intervallskalierung, Summenwerte als erschöpfende Statistik) teilweise mit Modelltests überprüft werden.

- expliziter, vorab festgelegter adaptiver Algorithmus zur Itemauswahl

- Items entsprechen den Annahmen eines ad.quaten Messmodells

• Menge aller Testitems (der sog. Itempool) weist Konformität mit den Annahmen des verwendeten IRT-Modells auf

• für IRT-konforme Items wird lokale stochastische Unabhängigkeit angenommen

- fest verzweigte Strategie (.fixed-branched strategy.)

• Beginn: Item mittlerer Schwierigkeit für alle

• Danach: je nach Antwort schwierigeres oder leichteres Item (bereits vor Testbeginn festgelegt, welches)

• Ende: Schätzung der individuellen Merkmalsauspr.gung (Schwierigkeit des Items, das als nächstes vorgelegt worden w.re oder mittlere Schwierigkeit aller im Testverlauf vorgelegten Items inkl. des Items, das als nächstes vorgelegt worden w.re, aber ohne das erste Item, das für alle Probanden identisch war)

- maßgeschneiderte Strategien (.tailored strategy.)

• Sehr feine Anpassung der vorzugebenden Items an das Antwortverhalten der Probanden möglich

• Setzt Computer voraus

• Verzweigung ergibt sich erst w.hrend der Testung (.variable branched tests.)

- eine bestimmte Anzahl von Items vorgelegt wurde und/oder

- der Standardfehler der Personenparametersch.tzung hinreichend klein ist und/oder

- eine maximale Testzeit erreicht wurde oder

- alle im Itempool verfügbaren Items vorgelegt wurden

+ hohe Testsicherheit

+ standardisierter Testablauf

+ probandenbestimmte Testgeschwindigkeit

+ schnelle und fehlerfreie Testwertbestimmung

+ Auswertung ohne psychometrisches Fachwissen

+ schnelle Ergebnisrückmeldung

+ Möglichkeit zur Verwendung innovativer Itemformate

- hoher Entwicklungsaufwand

- Aufwand durch die Bereitstellung von Computern am Testort

- teilweise höhere Kosten

- problematische Fairness hinsichtlich computerbezogener Personenmerkmale (z. B. Erfahrung, .ngstlichkeit)