M6 Grundlagen der Testkonstruktion

- Ein alternatives Verfahren zur Korrektur der Trennschärfen von Items mit extremen Schwierigkeiten

- Entwickelt von Moosbrugger und Zistler 1993

- Die Trennschärfe dichotomer Items wird dabei aufgewertet, indem ein sog. Selektionskennwert berechnet wird, der eine Art Korrektur der Trennschärfe um Varianzeinschränkung darstellt.

- Dies führt zu einer Selektion von Items, bei der solche mit extremen Schwierigkeiten weniger stark benachteiligt sind als bei Anwendung der unkorrigierten Trennschärfen.

ANALYSIEREN-> SKALIERUNG -> RELIABILITÄTSANALYSE

Die Items müssen in die Itemliste verschoben werden. Bei mehrdimensionalem Inventar wird jede Dimension einzeln verschoben

-> STATISTIKEN -> SKALA WENN ITEM GELÖSCHT

indem ein Item mit den Summenwerten der anderen Faktoren korreliert wird.

ANALYSIEREN-> KORRELATION -> BIVARIAT

- Es ist ein nicht automatisierterer Prozess des Abwägend und Begründens

- Die Indikatoren sind simultan zu betrachten und gegen inhaltliche Gesichtspunkte abzuwägen

- Faustregeln zu einzelnen Indizes können nur eine grobe Richtschnur sein

Itemschwierigkeit

Trennschärfe

Evt. : Varianz, Korrelation mit Außenkriterien

die korrelativen: Trennschärfe und in inhaltlich begründeten Fällen auch die Korrelation mit Außenkriterien.

bei gleichzeitig angemessen hohen Trennschärfen

Behalte Items bei, solange sie positiv zur Erhöhung der Reliabilität beitragen

Das Rasch-Modell

Es geht darum, wie Antworten auf Items zustande kommen. Antwortmuster werden untersucht

1. Von der Fähigkeit oder Eigenschaftsausprägung einer Person

2. Von der Schwierigkeit des Items

dann sagt der ungewichtete Summenwert der Itemantworten auch wirklich etwas über den Ausprägungsgrad einer Person auf der latenten Variable aus.

erst dann ist der Summenwert eine erschöpfende Statistik der Personenfähigkeit

Es heißt, der Summenwert einer Person liefert alle Informationen über die Fähigkeitsausprägung der Person

Demnach muss das Antwortmuster der Person nicht mehr Item für Item betrachtet werden.

wenn die Antwort auf dieses Item komplett auf eine einzige Fähigkeit- oder Eigenschaftsausprägung zurückzuführen ist und nicht auf mehrere Fähigkeiten oder Eigenschaften.

er ist eindimensional

lokale Unabhängigkeit: wenn die Korrelation zwischen den Items eines Tests nach Auspartiialisierung der latenten Eigenschaft (d.h. bei deren konstanter Ausprägung) verschwindet

lokale stochastische Unabhängigkeit: wenn für jede einzelne Person die Lösungswahrscheinlichkeiten zweier beliebiger Items multipliziert werden dürfen um die kombinierte Lösungswahrscheinlich beider Items zu ermitteln.

1. Vergleiche zwischen Personen sind invariat über spezifische Items und Maße, die verwendet werden

2. Vergleiche zwischen Items sind invariat über die spezifischen Personen, an denen die Items kalibriert werden.

Itemparameter = kennzeichnet die Itemschwierigkeit (sigma)

Personenparameter= kennzeichnet die Fähigkeitsausprägung (Theta) einer Person Er stellt den Ort oder den Wert einer Person auf der latenten Variablen (theta) dar

Itemparameter werden benötigt. Diese können mit Hilfe der conditional Maximum-Likelihood-Methode (cML) geschätzt werden

Sie sind nicht intervallskaliert und deshalb kann man keine belastbaren Aussagen über die Unterschiede von Personen treffen.

sie haben Differenzskalenniveau (logarithmierte Verhältnisskala) und eine sogenannte Logit- Einheit

Es handelt sich u eine nicht-lineare Transformation, die Differenzskalenniveau von Item- und Personenparametern sichert und damit im Gegensatz zu ordinalskalierten Rohwerten die Interpretation von Differenzen zwischen Fähigkeits- und Eigenschaftsausprägungen zulässt.

zwischen Plus und Minus unendlich, aber in der Regel zwischen plus und minus 3

leichte Items oder Personen mit geringerer Fähigkeit

schwere Items, die nur von wenigen Personen gelöst werden können oder nur geringe Zustimmung finden oder aber Personen mit höherer Fähigkeit

Vorraussetzung:

1. Item- und Personenparameter müssen bekannt sein

2. Die gleiche Einheit

Verantwortlich dafür, ob ein Proband ein Item löst (+) oder nicht (-), sind dabei seine Fähigkeitsausprägung bzw. der Itemparameter sigma.

Je größer die Fähigkeit eines Probanden (Theta) im Vergleich zur Schwierigkeit des Items (sigma) ist, desto größer wird die Wahrscheinlichkeit (p) die Aufgabe zu lösen.

Beide Parameter besitzen das selbe Skalenniveau und dieselbe Einheit und können dadurch additiv (Additivität, genauer gesagt subtraktiv) verknüpft werden. Die Lösung eines Items wird immer wahrscheinlicher , je weiter die Fähigkeit oder Eigenschaftsausprägung die Itemschwierigkeit übersteigt.

Die Beziehung zwischen Itemlösungswahrscheinlichkeit sowie Fähigkeits- oder Eigenschaftsausprägung und Itemschwierigkeit ist dabei eine logistische Funktion.

logistische Funktionen zwischen Itemlösungswahrscheinlichkeit und den Parametern

Durch Modelltests

Es handelt sich um ein Streudiagramm, in dem die geschätzten Itemparameter aus zwei Stichproben dargestellt werden

Die Schätzung der Itemparameter sollte dabei unabhängig von der Teilstichprobe sein.

Im Idealfall liegen die Schätzungen der Itemparameter in den beiden Stichproben auf der Regressionsgeraden und diese fällt mit der Winkelhalbierenden zusammen.

Der Nachteil ist, dass es sich nicht um einen Signifikanztest handelt.

Der (bedingte) Anderson Likelihood Quotienten Test

Er ist die teststatistische Umsetzung des grafischen Modelltests

Ein Modelltest für verschiedene Prüfgrößen, der sich als kritisch erwiesen hat, um festzustellen, ob das Rasch-Modell durch Daten abgelehnt werden muss. Die B.-Methode simuliert für verschiedene Modelltests eine Verteilung der jeweiligen Prüfgrößen unter Geltung des Rasch-Modells. Dies ist deshalb nötig, da die Verwendung der asymptotischen Prüfgröße der chi-quadrat-Verteilungen an Vorraussetzungen geknüpft ist, die im Rahmen des Rasch-Modells selten erfüllt sind.

1. Die Lösungswahrscheinlichkeit wird durch eine logistische Funktion beschrieben

2. Summenwerte sind suffiziente oder erschöpfende Statistiken der Personenfähigkeit

3. Vergleiche zwischen Items und Personen sind spezifisch objektiv

4. Items sind- abgesehen von wenigen Ausnahmen- eindimensional (die Forderung der lokalen stochastischen Unabhängigkeit der Items erfüllt ist)

5. (Nur im Rahmen des dichotomen Rasch-modells notwendig und sie ist eine Grundvoraussetzung für erschöpfende Statistiken) Alle Items besitzen die gleiche Trennschärfe