M6 - Grundlagen der Testkonstruktion
Kapitel 3 - Itemanalyse: Kürzung und Revision des Entwurfs
Kapitel 3 - Itemanalyse: Kürzung und Revision des Entwurfs
-
- 1 / 44
-
Cartes-fiches
Was sollte durchgeführt werden, um die Items auf Verständlichkeit und Eindeutigkeit zu prüfen?
ein Pretest
Was ist das BFI? (beim ersten mal hab ich übrigens "BIFI" gelesen! ;-))
- Big Five Inventory
- kurzes Inventar zur Messung des fünf-Faktoren-Modells der Persönlichkeit
Welcher Schritt steht vor allen Berechnungen?
die Rekodierung invertierter Items
Was bewirkt eine Rekodierung?
- die Gleichpolung aller Items eines Datensatzes, weil manche Items unterschiedlich gepolt sind, z.B. stehen hohe Werte manchmal für hohe, manchmal auch für niedrige Ausprägungen des jeweiligen Merkmals
Was geschieht nach der Rekodierung?
- die wichtigsten Kennwerte können berechnet werden - z.B. Median, Varianz etc.
- wichtig ist auch die Anwendung von grafischen Hilfsmitteln, z.B. Histogramm
Was ist die Itemschwierigkeit?
der prozentuale Anteil der richtigen Lösungen an allen Lösungen eines Items innerhalb einer Stichprobe
P = (NR/N) * 100
NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben
N = Anzahl aller Probanden
P = Schwierigkeitsindex ohne Korrektur
Wie lautet der Schwierigkeistindex mit Zufallskorrektur?
Pzk = ((Nr - (Nf/(m-1)) / N) * 100
Nf = Anzahl der Probanden, die die Antwort falsch gelöst haben
m = Anzahl der Wahlmöglichkeiten (bei dichotomen Aufgaben mit m=2 entfällt der Ausdruck m-1)
Pzk = Schwierigkeitsindex mit Zufallskorrektur
Welcher Schwierigkeitsindex wird bei Leistungstests verwendet, bei denen nicht alle Items von allen Probanden bearbeitet werden können?
Schwierigkeitsindex mit Inangriffnahmekorrektur
Was bedeutet die Itemschwierigkeit?
die Zahl der theoretisch möglichen Unterscheidungen und damit die Informationshaltigkeit eines Items, hängt direkt von dessen Schwierigkeit ab
- sie erreicht ihr theoretisches Maximum bei genau mittlerer Schwierigkeit
--> wenn 100 Personen an einem Test teilnehmen, kann ein Item, das von exakt 50 Personen richtig gelöst wird, jede dieser 50 Personen von jeder der anderen 50 Personen unterscheiden (siehe Seite 66)
ab welchen Schwierigkeitsindizies sollten die Items besser eliminiert werden?
unter 5% bzw. über 95%
Was ist die Trennschärfe in der KTT?
der wichtigste Indikator dafür, wie gut jedes einzelne Item das zugrunde liegende Merkmal abbildet
Was ist die Eigentrennschärfe?
- wie prototypisch ist das Item für die eigene Skala ist
- Ein Indikator für die inhaltliche Angemessenheit eines Items zur Messung des
psychologischen Konstrukts ist die Trennschärfe also nur unter der Annahme,
dass die Summe der übrigen Items bzw. die gesamte Skala dieses Merkmal valide
miss
Was sind Fremdtrennschärfen?
Korrelationen von Items mit den Skalen oder Testwerten anderer Fragebögen oder mit Kriterien und können insbesondere für die externale Skalenkosntruktion herangezogen werden
liegt immer zwischen -1 und +1
Was ist die Part-whole-Korrektur?
- wird vor der Berechnung der Trennschärfe mit der Skala vorgenommen, weil das betreffende Item sonst mit in den Skalenwert eingeht, was zu einer Überschätzung der Trennschärfe führen würde
Was ist die Trennschärfe bei Ratingskalen?
entspricht der Produkt-Moment-Korrelation nach Part-Whole-Korrektur --> Formel Seite 69
Was ist die Trennschärfe bei dichotomen Items?
hier kommt die punktbiseriale Korrelation zur Anwendung --> Formel Seite 69
Welches sind Ursachen für verzerrte Trennschärfen und Schwierigkeitskorrektur?
- Varianzeinschränkungen durch schiefe Verteilungen
- Varianzerweiterungen durch Ausreißer bei bimodalen Verteilungen
Was ist ein alternatives Verfahren zur Korrektur der Trennschärfen von Items mit extremen Schwierigkeiten?
- schwierigkeitsproportionale Stichprobenverteilung von Moosbrugger und Zistler
- die Trennschärfe dichotomer Items wird dabei aufgewertet, indem ein sog. Selektionskennwert berechnet wird, der eine Art Korrektur der Trennschärfe um Varianzeinschränkung darstellt --> führt zu einer Selektion von Items, bei der solche mit extremen Schwierigkeiten weniger stark benachteiligt sind als bei Anwendung der unkorrigierten Trennschärfen
Welche Kennwerte sollte man bei der Itemselektion simultan betrachten?
- Itemschwierigkeit
- Trennschärfe
- ggf. Varianz und andere deskriptive Statistiken
- Korrelation mit Außenkriterien
Welches ist das wichtigste Probabilistische Testmodell?
Rasch-Modell
Worum geht es in der PTT?
im Gegensatz zur KTT, geht es darum, wie Antworten auf Items zustande kommen
Was sagt das Rasch-Modell voraus?
dass mit steigender Personenfähigkeit die Wahrscheinlichkeit einer Itemlösung zunimmt
Wovon hängt die Lösungswahrscheinlichkeit für ein bestimmtes Item ab?
1. von der Fähigkeit oder Eigenschaftsausprägung einer Person
2. von der Schwierigkeit eines Items
Was heißt erschöpfende Statistik?
der Summenwert einer Person liefert alle Informationen über die Fähigkeitsausprägung der Person --> demnach muss das Antwortmuster der Person nicht mehr Item für Item betrachtet werden
Wann ist Eindimensionalität bei einem Test gegeben?
wenn die Korrelation zwischen den Items eines Tests nach Auspartialisierung der latenten Eigenschaft verschwindet
Wann ist die lokale stochastische Unabhägigkeit gegeben?
wenn für jede einzelne Person die Lösungswahrscheinlichkeiten zweier beliebiger Items multipliziert werden dürfen, um die kombinierte Lösungswahrscheinlichkeit beider Items zu ermitteln
Bsp. siehe Seite 81 oben
Was ist die spezifische Objektivität?
- ein weiterer Aspekt eines Rasch-skalierten Tests
Wodurch ist die spezifische Objektivität gekennzeichnet?
durch zwei Arten invarianter Vergleiche:
1. Vergleiche zwischen Personen sind invariant über die spezifischen Items und Maße die verwendet werden
2. Vergleiche zwischen Items sind invariant über die spezifischen Personen, an denen die Items kalibriert werden
Von welchen zwei Parametern hängt die Itemlösung beim Rasch-Modell ab?
- Itemparameter, der die Itemschwierigkeit (Sigma) kennzeichnet
- Personenparameter, der die Fähigkeitsausprägung (Theta) einer Person kennzeichnet
Was stellt der Personenparameter dar?
den Ort oder den Wert einer Person auf der latenten Variablen
Wie kann man die Modellparameter schätzen?
mit Hilfe der conditional Maximum-Likelihood-Methode (cML)
Welche Einheit haben die Modellparameter?
Logit-Einheit
Wie erhält man die Logit-Einheit?
- durch Logit-Transformation --> nichts anderes als eine Transformation der Rohwerte in die geforderte abstrakte Einheit
- das ist eine nichtlineare Transformation, die Differenzskalennievau von Item- und Personenparamter sicher und damit im Gegensatz zu ordinalskalierten Rohwerten die Interpretation von Differenzen zwischen Fähigkeits- oder Eigenschaftsausprägungen zulässt
- der Logit-Wertebereich liegt zwischen plus und minus unendlich; i.d.R. aber zwischen plus drei und minus drei
Was kennzeichnen negative und positive Parameter?
negativ:
- leichte Items oder Personen mit geringerer Fähigkeit
positiv:
- schwere Items oder Personen mit höherer Fähigkeit
Was ist die Item-Characteristic-Curve (ICC)?
- eine logistische Funktion zwischen Itemlösungswahrscheinlichkeit und den Parametern im Modell
- Abb. Seite 83
Was ist der grafische Modelltest?
- eine Methode, um einen Eindruck davon zu bekommen, ob das Rasch-Modell mit den Daten vereinbar ist
- Streudiagramm (Abb. Seite 84)
Welchen Nachteil hat der grafische Modelltest?
es handelt sich nicht um einen Signifikanztest
Zusammenfassung: Welche Annahmen treffen zu, wenn das Rasch-Modell nicht durch einen Modelltest abgelehnt wird?
- die Lösungswahrscheinlichkeit wird druch eine logistische Funktion beschrieben
- Summenwerte sind suffiziente oder erschöpfende Statistiken der Personenfähigkeit
- Vergleiche zwischen Items und Personen sind spezifisch objektiv
- Items sind eindimensional (die Forderung der lokalen stochastischen Unabhängigkeit der Items ist erfüllt)
Was ist das 2-Parameter-Modell (Birnbaum-Modell)?
- Erweiterung des Rasch-Modells
- es beinhaltet Trennschärfe als zusätzliche Einflussgröße der Itemlösung
- Formel Seite 85
Was spiegelt die Trennschärfe in der PTT wieder?
die Steigung der Itemfunktion --> gemeint ist die Steigung einer Tangente am Wendepunkt der ICC
