Testtheorie und Testkonstruktion - 2. Termin

Sie unterscheiden sich darin, wie die Faktorwerte (wahre Werte) und deren Standardfehler geschätzt werden

--> In R (lavaan) können diese mit der lavPredict Funktion bestimmt werden

Der Standardschätzfehler entspricht der Standardbaweichung der Fehlervariablen.

Er wird benötigt, um ein Konfidenzintervall zu berechnen

---> Reliabilität hoch --> Standardschätzfehler gering --> Konfidenzintervall kleiner

= Pi

= Popularitätsindex

= Itemleichtigkeit

- entspricht dem Anteil der Personen, die das Item richtig lösen oder bejahen

--> das Mininum von Pi ist hierbei der niedrigste Wert, der angekreuzt wurde (kann auf einer Skala von 1 - 5 also auch die 2 sein)

--> mittlere Schwierigkeiten (50%) sind zu bevorzugen, unter 20% und über 80% Pi werden Items i.d.R. ausgeschlossen

= Differenzierungsindex eines Items

= Ausmaß der interindividuellen Unterschiede im Antwortverhalten der Probanden für ein bestimmtes Item i

--> wenn alle das Item gleich lösen, ist die Varianz = 0

--> in der Praxis wird i.d.R. die Standardabweichung berichtet

- ist das Item extrem leicht oder extrem schwer, ist die Varianz am kleinsten

- größter Differenzierungsgrad / Varianz bei mittelschweren Items

--> bei dichotomen Items ist der Zusammenhang kurvilinear

------> heißt, er entspricht einer quadrierten Funktion

= Maß dafür, wie gut ein Item zwischen Personen mit niedriger und hoher Merkmalsausprägung trennt / differenziert

- Korrelation zwischen Item i und Gesamttest

-----> Item-to-Total-Correlation

- Berechnung der Trennschärfe eines Items

--> betrachtetes Item aus Gesamttest entfernen, da es sonst mit sich selbst korrelieren würde (Ergebnisverzerrung)

---> alle Items sollten dafür dasselbe Merkmal messen = Gültigkeit Eindimensionales Messmodell

Kovarianz zwischen dem betrachteten Item und der 1. Subskala (ohne betrachtetes Item) geteilt durch seine Standardabweichung*Standardabweichung der Subskala (ohne das betrachtete Item)

Bsp: Kovarianz = 1.604, Item-SD = 1.45, Subskala-SD = 1.26

---> 1.604 / (1.45*1.26)

- nahe 1: differenziert gut (Probanden mit hoher Merkmalsausprägen lösen es)

- nahe 0: ist ungeeignet, misst vielleicht etwas anderes

- nahe -1: Probanden niedriger Ausprägung lösen es - vielleicht vergessen umzupolen?

- in R-Output mit part-whole-Korrektur: r.drop

- in R-Output ohne part-whole: raw.r

= Reliabilität / interne Konsistenz der Skala

- größer, je besser Item mit Gesamtskala korreliert

---> Item wird beibehalten, wenn bei Entfernung alpha niedriger werden würde als zuvor

alpha sollte nie zu hoch sein - könnte auf Redundanzen hinweisen

- Itemschwierigkeit, Itemvarianz und Itemtrennschärfe sollten simultan berücksichtigt werden

- Daumeregeln:

--> Trennschärfen zwischen .30 und .50 mittel, > .50 gut

--> hohe Itemvarianzen / -standardabweichungen

--> gleichmäßig verteilte Itemschwierigkeiten zwischen 20 und 80

beobachteter Wert = True Score (wahrer Wert) + Fehlerwert

Der wahre Wert ist als Erwartungswert einer intraindividuellen, d.h. personenspezifischen Verteilung eines Merkmals definiert.

1. Instabilität = generelle Schwankungen in Messung

2. Messfehler = Messung erfasst Merkmal nicht genau

-------------------------------------------------------------------------------------------------------------------------------------------------------

1. Systematische Einflüsse, die etwas über Veränderung aussagen und von großem Forschungsinteresse sind

2. Unsystematische Einflüsse, die unabhängig von Merkmalsausprägungen einer Person auftreten

einfache Regression / bivariate Korrelation

- Unterschätzung des wahren Zusammenhangs

- verzerrte Standardfehler

- geringere Teststärke

multiple Regression

- Unter- / Überschätzung der Regressionskoeffizienten

- verzerrte Standardfehler

- geringere Teststärke

ANCOVAs in quasiexperimentellen Untersuchungen

- Lords-Paradox: fälschlicherweise Interventionseffekt (Gruppenunterschiede, obwohl es die gar nicht gibt)

1. Prüfung der Eindimensionalität

2. Prüfung von Homogenitätsannahmen (zur Bestimmung von Reliabilität)

3. Bestimmung der wahren Werte für psychodiagnostische Zwecke

1. Modell mit tau-kongenerischen Annahmen

- allgemeinstes Modell, keine Vorannahmen

2.1 Modell mit essenziell tau-äquivalenten Variablen

- Leichtigkeit kann um eine additive Konstante verschoben werden, Faktorladungen gleich, unterschiedliche Messfehler

2.2 Modell mit tau-äquivalenten Variablen

- Leichtigkeiten gleich, Faktorladungen gleich, unterschiedliche Messfehler

3.1 Modell mit essenziell tau-parallelen Variablen

- Leichtigkeit kann um eine additive Konstante verschoben werden, wahrer Wert und Messfehler gleich, Trennschärfen und Korrelationen mit Außenkriterien gleich, Faktorladungen gleich

3.2 Modell mit tau-parallelen Variablen

- Leichtigkeit gleich, wahrer Wert und Messfehler gleich, Trennschärfen und Korrelationen mit Außenkriterien gleich, Faktorladungen gleich

- jede beobachtete Variable lässt sich in eine True-Score-Variable und eine Messfehlervariable zerlegen

- True-Score-Variablen bis auf eine additive Konstante (alpha / Itemschwierigkeit) identisch -> essenziell

--> hier als Y1, Y2, Y3: wenn alpha = 1, dann Y auch = 1

- Messfehler ei und ej sind unkorreliert

----> Items diskriminieren in gleicher Weise, der Anstieg im Graphen ist für alle gleich/parallel

----> Items vergleichbar in Bezug auf Personen

ess.aequiv <- 'eta =~ 1*Q1 + 1*Q6 + 1*Q11'

- ihre Metrik ist beliebig und muss in konkreter Anwendung festgelegt werden

1. Fixierung des Erwartungswerts auf beliebigen Wert

--> E(Yi) = alphai

----> Voreinstellung in den meisten Statistikprogrammen

2. Fixierung eines Parameters alphai auf beliebigen Wert

--> E(Y1) = E(eta)

----> Anwendung vor allem in Veränderungsmessung

1. spezifische Objektivität

--> Vergleiche zw zwei Personen hängen nicht von Item/Subskala ab, sondern sind für alle gleich

--> Vergleiche zw zwei Items/Subskalen hängen nicht von betrachteter Person ab

2. Gesamtreliabilität

--> cronbachs-alpha geeignetes Maß, sofern Modell auf Daten passt

3. Vergleich zur IRT

--> äquivalent zum Rasch-Modell

Ein Chi²-Test vergleicht Daten der modellimplizierten Kovarianzmatrix mit der empirisch beobachteten Kovarianzmatrix auf Abweichungen.

Je weniger unterschiedlich die Daten sind, desto besser die Passung unseres Modells.

--> Der Modellfit sollte also nicht signifikant werden!

Reliabilität berechnen: Rel(Y1) = 1.230 / (1.230+0.751)

- cronbachs-alpha

- auf Basis einer Summenvariable S

---> alle Items müssen gleich gewichtet sein!

- semTools::reliability(fit)["alpha",]

----> eta und total / Gesamtreliabilität gleich, da es nur eine latente Variable gibt

----> ab .70 supi

...zur Testverlängerung (siehe Reliabilität) bei essenziell tau-parallelen Variablen

= Das Summieren von mehreren Items kann Präzision der Messung erhöhen

- jede beobachtete Variable lässt sich in eine True-Score-Variable und eine Messfehlervariable zerlegen

- die True-Score-Variablen sind bis auf eine additive Konstante (alpha / Itemschwierigkeit) identisch -> daher essenziell

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------------neu hinzukommend---------------------------------------------------------------------------------------

- Messfehlervarianzen sind identisch für verschiedene Items (tau-parallel)

---> wir gewinnen dadurch 2 zusätzlich Freiheitsgrade

INFO:

- streng parellel = alle Items messen genau gleich - gleiche "Messgenauigkeit", gleiche Reliabilität

- essenziell-parallel = ein Item darf anders sein (sehr ökonomische Methode, da Items austauschbar sind)

ess.parallel <- 'eta =~ 1*Q1 + 1*Q6 + 1*Q11,

Q1 ~~ eps*Q1

Q6 ~~ eps*Q6

Q11~~ eps*Q11'

- Fehlervarianzen (Std. Error) auch alle gleich

1. nach Formel, wie für tau-äquivalente Reliabilität

2. Convenience Funktion: inspect(fit, "rsquare")

---> in beiden Fällen gleiche Reliabilität für alle drei Items

------> Testverlängerung praktisch

= zur Erhöhung der Präzision unserer Messung

- durch Summierung von mehreren Items

Ich: "Wie viele Items brauche ich denn, um die Präzision meiner Messung zu erhöhen?"

Spearman-Brown: "Warum hast du mich das nicht gleich gefragt..."

- beobachtete Variable in True-Score-Variable und Messfehlervariable zerlegt

- Messfehlervariablen ei und ej sind unkorreliert

--------------------------------------------nur hier--------------------------------------------------------

- die True-Score-Variablen sind lineare Transformationen voneinander

---> Bsp.: Umrechnung von Fahrenheit in Celsius

- Itemschrierigkeit und Trennschärfe sind unterschiedlich

- True-Score und Fehlervarianz sind gleich

---> bei einigen Items werden Fähigkeiten schneller entdeckt, als bei anderen

------> Faktorladungen verschieden (Lambda)

kongener <- 'eta1 =~ 1*Q1 + Q6 + Q11'

Ein tau-kongenerisches Modell mit 3 Indikatoren weist immer einen perfekten Fit / saturierte Identifikation auf

-> nicht restriktiv genug

-> mindestens 4 Indikatoren notwendig, um testbare Konsequenzen aufzudecken