Testtheorie und Testkonstruktion - 2. Termin

ess.aequiv <- 'eta =~ 1*Q1 + 1*Q6 + 1*Q11'

- ihre Metrik ist beliebig und muss in konkreter Anwendung festgelegt werden

1. Fixierung des Erwartungswerts auf beliebigen Wert

--> E(Yi) = alphai

----> Voreinstellung in den meisten Statistikprogrammen

2. Fixierung eines Parameters alphai auf beliebigen Wert

--> E(Y1) = E(eta)

----> Anwendung vor allem in Veränderungsmessung

1. spezifische Objektivität

--> Vergleiche zw zwei Personen hängen nicht von Item/Subskala ab, sondern sind für alle gleich

--> Vergleiche zw zwei Items/Subskalen hängen nicht von betrachteter Person ab

2. Gesamtreliabilität

--> cronbachs-alpha geeignetes Maß, sofern Modell auf Daten passt

3. Vergleich zur IRT

--> äquivalent zum Rasch-Modell

Ein Chi²-Test vergleicht Daten der modellimplizierten Kovarianzmatrix mit der empirisch beobachteten Kovarianzmatrix auf Abweichungen.

Je weniger unterschiedlich die Daten sind, desto besser die Passung unseres Modells.

--> Der Modellfit sollte also nicht signifikant werden!

Reliabilität berechnen: Rel(Y1) = 1.230 / (1.230+0.751)

- cronbachs-alpha

- auf Basis einer Summenvariable S

---> alle Items müssen gleich gewichtet sein!

- semTools::reliability(fit)["alpha",]

----> eta und total / Gesamtreliabilität gleich, da es nur eine latente Variable gibt

----> ab .70 supi

...zur Testverlängerung (siehe Reliabilität) bei essenziell tau-parallelen Variablen

= Das Summieren von mehreren Items kann Präzision der Messung erhöhen

- jede beobachtete Variable lässt sich in eine True-Score-Variable und eine Messfehlervariable zerlegen

- die True-Score-Variablen sind bis auf eine additive Konstante (alpha / Itemschwierigkeit) identisch -> daher essenziell

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------------neu hinzukommend---------------------------------------------------------------------------------------

- Messfehlervarianzen sind identisch für verschiedene Items (tau-parallel)

---> wir gewinnen dadurch 2 zusätzlich Freiheitsgrade

INFO:

- streng parellel = alle Items messen genau gleich - gleiche "Messgenauigkeit", gleiche Reliabilität

- essenziell-parallel = ein Item darf anders sein (sehr ökonomische Methode, da Items austauschbar sind)

ess.parallel <- 'eta =~ 1*Q1 + 1*Q6 + 1*Q11,

Q1 ~~ eps*Q1

Q6 ~~ eps*Q6

Q11~~ eps*Q11'

- Fehlervarianzen (Std. Error) auch alle gleich

1. nach Formel, wie für tau-äquivalente Reliabilität

2. Convenience Funktion: inspect(fit, "rsquare")

---> in beiden Fällen gleiche Reliabilität für alle drei Items

------> Testverlängerung praktisch

= zur Erhöhung der Präzision unserer Messung

- durch Summierung von mehreren Items

Ich: "Wie viele Items brauche ich denn, um die Präzision meiner Messung zu erhöhen?"

Spearman-Brown: "Warum hast du mich das nicht gleich gefragt..."

- beobachtete Variable in True-Score-Variable und Messfehlervariable zerlegt

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------nur hier--------------------------------------------------------

- die True-Score-Variablen sind lineare Transformationen voneinander

---> Bsp.: Umrechnung von Fahrenheit in Celsius

- Itemschrierigkeit und Trennschärfe sind unterschiedlich

- True-Score und Fehlervarianz sind gleich

---> bei einigen Items werden Fähigkeiten schneller entdeckt, als bei anderen

------> Faktorladungen verschieden (Lambda)

kongener <- 'eta1 =~ 1*Q1 + Q6 + Q11'

Ein tau-kongenerisches Modell mit 3 Indikatoren weist immer einen perfekten Fit / saturierte Identifikation auf

-> nicht restriktiv genug

-> mindestens 4 Indikatoren notwendig, um testbare Konsequenzen aufzudecken

- cronbachs-alpha ist hier zu ungenau

--> repräsentiert nur die untere Grenze der Reliabilität

-----> McDonalds omega ist das Reliabilitätsmaß der Wahl

= Wahrscheinlichkeit, mit der die Variable den Wert 1 annimmt

- Faktorladung

- Leichtigkeitsparameter

- Fehlervarianzen

- Reliabilität

--> bei allen: Kovarianzen der Fehler = 0

----> sonst könnte ein anderer Faktor dahinter liegen!

= Rel(Yi) ist der Anteil der wahren Varianz an der Gesamtvarianz einer beobachteten Variablen

- Wie zuverlässig können interindividuelle Merkmalsunterschiede erfasst werden?

- kann Werte zwischen 0 (schlecht, Unterschiede sind messfehlerbedingt)

und 1 (supi, beobachtete Unterschiede sind auf "wahre" Merkmalsunterschiede zurückzuführen) annehmen

---> je kleiner der Messfehler, desto höher die Reliabilität

- in homogenen Stichproben ist die Reliabilität meist geringer als in heterogenen, da geringere Varianz wahrer Werte

----> wir sollten also zusätzlich die Messfehlervarianz berechnen

- das Merkmal muss mindestens zweimal gemessen werden

- weitere Annahmen bezüglich des zugrundeliegenden Messmodells müssen getroffen werden

Aber wie..?

1. Testwiederholungsmethode

2. Paralleltestmethode

3. Testhalbierungsmethode

Wenn sich der beobachtete Wert des Gesamttests in zwei parallele Messwerte aufspalten lässt.

--> Modell paralleler Messungen

1. klassische Verfahren

- basieren auf Konzeption der wahren Werte (True-Score-Variablen)

2. modellbasierte Verfahren

- basieren auf konkretem psychometrischem Modell und verwenden die vorliegenden Items zur Schätzung der wahren Werte

---> da wahre Werte stets nur geschätzt werden, sind sie mit gewisser Unsicherheit behaftet und sollten daher mittels Konfidenzintervall interpretiert werden

- beobachtete Werte werden als Schätzerwerte für die wahren Werte genutzt

--> zulässig, da der personenbedingte Erwartungswert einer Variablen gleich dem wahren Wert ist

--> wie präzise der wahre Wert geschätzt werden kann hängt von der Fehlervarianz ab (große Fehlervarianz = unpräzise)

------> Konfidenzintervall zur Bestimmung der Präzision

Sie unterscheiden sich darin, wie die Faktorwerte (wahre Werte) und deren Standardfehler geschätzt werden

--> In R (lavaan) können diese mit der lavPredict Funktion bestimmt werden

Der Standardschätzfehler entspricht der Standardbaweichung der Fehlervariablen.

Er wird benötigt, um ein Konfidenzintervall zu berechnen

---> Reliabilität hoch --> Standardschätzfehler gering --> Konfidenzintervall kleiner

= Pi

= Popularitätsindex

= Itemleichtigkeit

- entspricht dem Anteil der Personen, die das Item richtig lösen oder bejahen

--> das Mininum von Pi ist hierbei der niedrigste Wert, der angekreuzt wurde (kann auf einer Skala von 1 - 5 also auch die 2 sein)

--> mittlere Schwierigkeiten (50%) sind zu bevorzugen, unter 20% und über 80% Pi werden Items i.d.R. ausgeschlossen

= Differenzierungsindex eines Items

= Ausmaß der interindividuellen Unterschiede im Antwortverhalten der Probanden für ein bestimmtes Item i

--> wenn alle das Item gleich lösen, ist die Varianz = 0

--> in der Praxis wird i.d.R. die Standardabweichung berichtet

- ist das Item extrem leicht oder extrem schwer, ist die Varianz am kleinsten

- größter Differenzierungsgrad / Varianz bei mittelschweren Items

--> bei dichotomen Items ist der Zusammenhang kurvilinear

------> heißt, er entspricht einer quadrierten Funktion

= Maß dafür, wie gut ein Item zwischen Personen mit niedriger und hoher Merkmalsausprägung trennt / differenziert

- Korrelation zwischen Item i und Gesamttest

-----> Item-to-Total-Correlation

- Berechnung der Trennschärfe eines Items

--> betrachtetes Item aus Gesamttest entfernen, da es sonst mit sich selbst korrelieren würde (Ergebnisverzerrung)

---> alle Items sollten dafür dasselbe Merkmal messen = Gültigkeit Eindimensionales Messmodell

Kovarianz zwischen dem betrachteten Item und der 1. Subskala (ohne betrachtetes Item) geteilt durch seine Standardabweichung*Standardabweichung der Subskala (ohne das betrachtete Item)

Bsp: Kovarianz = 1.604, Item-SD = 1.45, Subskala-SD = 1.26

---> 1.604 / (1.45*1.26)

- nahe 1: differenziert gut (Probanden mit hoher Merkmalsausprägen lösen es)

- nahe 0: ist ungeeignet, misst vielleicht etwas anderes

- nahe -1: Probanden niedriger Ausprägung lösen es - vielleicht vergessen umzupolen?

- in R-Output mit part-whole-Korrektur: r.drop

- in R-Output ohne part-whole: raw.r

= Reliabilität / interne Konsistenz der Skala

- größer, je besser Item mit Gesamtskala korreliert

---> Item wird beibehalten, wenn bei Entfernung alpha niedriger werden würde als zuvor

alpha sollte nie zu hoch sein - könnte auf Redundanzen hinweisen

- Itemschwierigkeit, Itemvarianz und Itemtrennschärfe sollten simultan berücksichtigt werden

- Daumeregeln:

--> Trennschärfen zwischen .30 und .50 mittel, > .50 gut

--> hohe Itemvarianzen / -standardabweichungen

--> gleichmäßig verteilte Itemschwierigkeiten zwischen 20 und 80

beobachteter Wert = True Score (wahrer Wert) + Fehlerwert

Der wahre Wert ist als Erwartungswert einer intraindividuellen, d.h. personenspezifischen Verteilung eines Merkmals definiert.

1. Instabilität = generelle Schwankungen in Messung

2. Messfehler = Messung erfasst Merkmal nicht genau

-------------------------------------------------------------------------------------------------------------------------------------------------------

1. Systematische Einflüsse, die etwas über Veränderung aussagen und von großem Forschungsinteresse sind

2. Unsystematische Einflüsse, die unabhängig von Merkmalsausprägungen einer Person auftreten