Testtheorie und Testkonstruktion - 2. Termin

- cronbachs-alpha

- auf Basis einer Summenvariable S

---> alle Items müssen gleich gewichtet sein!

- semTools::reliability(fit)["alpha",]

----> eta und total / Gesamtreliabilität gleich, da es nur eine latente Variable gibt

----> ab .70 supi

...zur Testverlängerung (siehe Reliabilität) bei essenziell tau-parallelen Variablen

= Das Summieren von mehreren Items kann Präzision der Messung erhöhen

- jede beobachtete Variable lässt sich in eine True-Score-Variable und eine Messfehlervariable zerlegen

- die True-Score-Variablen sind bis auf eine additive Konstante (alpha / Itemschwierigkeit) identisch -> daher essenziell

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------------neu hinzukommend---------------------------------------------------------------------------------------

- Messfehlervarianzen sind identisch für verschiedene Items (tau-parallel)

---> wir gewinnen dadurch 2 zusätzlich Freiheitsgrade

INFO:

- streng parellel = alle Items messen genau gleich - gleiche "Messgenauigkeit", gleiche Reliabilität

- essenziell-parallel = ein Item darf anders sein (sehr ökonomische Methode, da Items austauschbar sind)

ess.parallel <- 'eta =~ 1*Q1 + 1*Q6 + 1*Q11,

Q1 ~~ eps*Q1

Q6 ~~ eps*Q6

Q11~~ eps*Q11'

- Fehlervarianzen (Std. Error) auch alle gleich

1. nach Formel, wie für tau-äquivalente Reliabilität

2. Convenience Funktion: inspect(fit, "rsquare")

---> in beiden Fällen gleiche Reliabilität für alle drei Items

------> Testverlängerung praktisch

= zur Erhöhung der Präzision unserer Messung

- durch Summierung von mehreren Items

Ich: "Wie viele Items brauche ich denn, um die Präzision meiner Messung zu erhöhen?"

Spearman-Brown: "Warum hast du mich das nicht gleich gefragt..."

- beobachtete Variable in True-Score-Variable und Messfehlervariable zerlegt

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------nur hier--------------------------------------------------------

- die True-Score-Variablen sind lineare Transformationen voneinander

---> Bsp.: Umrechnung von Fahrenheit in Celsius

- Itemschrierigkeit und Trennschärfe sind unterschiedlich

- True-Score und Fehlervarianz sind gleich

---> bei einigen Items werden Fähigkeiten schneller entdeckt, als bei anderen

------> Faktorladungen verschieden (Lambda)

kongener <- 'eta1 =~ 1*Q1 + Q6 + Q11'

Ein tau-kongenerisches Modell mit 3 Indikatoren weist immer einen perfekten Fit / saturierte Identifikation auf

-> nicht restriktiv genug

-> mindestens 4 Indikatoren notwendig, um testbare Konsequenzen aufzudecken

- cronbachs-alpha ist hier zu ungenau

--> repräsentiert nur die untere Grenze der Reliabilität

-----> McDonalds omega ist das Reliabilitätsmaß der Wahl

= Wahrscheinlichkeit, mit der die Variable den Wert 1 annimmt

- Faktorladung

- Leichtigkeitsparameter

- Fehlervarianzen

- Reliabilität

--> bei allen: Kovarianzen der Fehler = 0

----> sonst könnte ein anderer Faktor dahinter liegen!

= Rel(Yi) ist der Anteil der wahren Varianz an der Gesamtvarianz einer beobachteten Variablen

- Wie zuverlässig können interindividuelle Merkmalsunterschiede erfasst werden?

- kann Werte zwischen 0 (schlecht, Unterschiede sind messfehlerbedingt)

und 1 (supi, beobachtete Unterschiede sind auf "wahre" Merkmalsunterschiede zurückzuführen) annehmen

---> je kleiner der Messfehler, desto höher die Reliabilität

- in homogenen Stichproben ist die Reliabilität meist geringer als in heterogenen, da geringere Varianz wahrer Werte

----> wir sollten also zusätzlich die Messfehlervarianz berechnen

- das Merkmal muss mindestens zweimal gemessen werden

- weitere Annahmen bezüglich des zugrundeliegenden Messmodells müssen getroffen werden

Aber wie..?

1. Testwiederholungsmethode

2. Paralleltestmethode

3. Testhalbierungsmethode

Wenn sich der beobachtete Wert des Gesamttests in zwei parallele Messwerte aufspalten lässt.

--> Modell paralleler Messungen

1. klassische Verfahren

- basieren auf Konzeption der wahren Werte (True-Score-Variablen)

2. modellbasierte Verfahren

- basieren auf konkretem psychometrischem Modell und verwenden die vorliegenden Items zur Schätzung der wahren Werte

---> da wahre Werte stets nur geschätzt werden, sind sie mit gewisser Unsicherheit behaftet und sollten daher mittels Konfidenzintervall interpretiert werden

- beobachtete Werte werden als Schätzerwerte für die wahren Werte genutzt

--> zulässig, da der personenbedingte Erwartungswert einer Variablen gleich dem wahren Wert ist

--> wie präzise der wahre Wert geschätzt werden kann hängt von der Fehlervarianz ab (große Fehlervarianz = unpräzise)

------> Konfidenzintervall zur Bestimmung der Präzision

Sie unterscheiden sich darin, wie die Faktorwerte (wahre Werte) und deren Standardfehler geschätzt werden

--> In R (lavaan) können diese mit der lavPredict Funktion bestimmt werden

Der Standardschätzfehler entspricht der Standardbaweichung der Fehlervariablen.

Er wird benötigt, um ein Konfidenzintervall zu berechnen

---> Reliabilität hoch --> Standardschätzfehler gering --> Konfidenzintervall kleiner

= Pi

= Popularitätsindex

= Itemleichtigkeit

- entspricht dem Anteil der Personen, die das Item richtig lösen oder bejahen

--> das Mininum von Pi ist hierbei der niedrigste Wert, der angekreuzt wurde (kann auf einer Skala von 1 - 5 also auch die 2 sein)

--> mittlere Schwierigkeiten (50%) sind zu bevorzugen, unter 20% und über 80% Pi werden Items i.d.R. ausgeschlossen

= Differenzierungsindex eines Items

= Ausmaß der interindividuellen Unterschiede im Antwortverhalten der Probanden für ein bestimmtes Item i

--> wenn alle das Item gleich lösen, ist die Varianz = 0

--> in der Praxis wird i.d.R. die Standardabweichung berichtet

- ist das Item extrem leicht oder extrem schwer, ist die Varianz am kleinsten

- größter Differenzierungsgrad / Varianz bei mittelschweren Items

--> bei dichotomen Items ist der Zusammenhang kurvilinear

------> heißt, er entspricht einer quadrierten Funktion

= Maß dafür, wie gut ein Item zwischen Personen mit niedriger und hoher Merkmalsausprägung trennt / differenziert

- Korrelation zwischen Item i und Gesamttest

-----> Item-to-Total-Correlation

- Berechnung der Trennschärfe eines Items

--> betrachtetes Item aus Gesamttest entfernen, da es sonst mit sich selbst korrelieren würde (Ergebnisverzerrung)

---> alle Items sollten dafür dasselbe Merkmal messen = Gültigkeit Eindimensionales Messmodell

Kovarianz zwischen dem betrachteten Item und der 1. Subskala (ohne betrachtetes Item) geteilt durch seine Standardabweichung*Standardabweichung der Subskala (ohne das betrachtete Item)

Bsp: Kovarianz = 1.604, Item-SD = 1.45, Subskala-SD = 1.26

---> 1.604 / (1.45*1.26)

- nahe 1: differenziert gut (Probanden mit hoher Merkmalsausprägen lösen es)

- nahe 0: ist ungeeignet, misst vielleicht etwas anderes

- nahe -1: Probanden niedriger Ausprägung lösen es - vielleicht vergessen umzupolen?

- in R-Output mit part-whole-Korrektur: r.drop

- in R-Output ohne part-whole: raw.r