Testtheorie und Testkonstruktion - 1. Termin

Das Rasch-Modell geht von beobachtbaren dichotomen Antwortvariablen wie z. B. der Lösung vs. Nichtlösung einer Aufgabe aus.

Dem Rasch-Modell zufolge hängen die Lösungswahrscheinlichkeiten aller betrachteten Aufgaben (Items) von einer nicht direkt beobachtbaren (latenten) kontinuierlichen Merkmalsvariablen ab.

- Lösungswahrscheinlichkeit nimmt mit Zunahme der Werte auf der latenten Variablen zu.

- Abhängigkeit der Lösungswahrscheinlichkeit von der latenten Variablen wird durch eine Itemcharakteristik beschrieben

- Im Rasch-Modell verlaufen alle Itemcharakteristiken parallel

⇒ Lösungswahrscheinlichkeiten aller Items hängen im Rasch-Modell sowohl von der Itemschwierigkeit als auch dem Personenmerkmal ab

Testtheoretische Modelle lassen sich nach der Art der beobachtbaren und der latenten Variablen unterscheiden.

- Durchführungsobjektivität

- Auswertungsobjektivität

- Interpretationsobjektivität 

Gegegeben, wenn Testergebnis nicht vom Testleiter/ der Testleiterin abhängt. 

Durch Standardisierung der Durchführung

- präzise Anweisungen im Testmanual 

- Vermeidung von Interkation zwischen Testleiter und Testperson

Als Versuchsleitereffekt bezeichnet man die Beeinflussung (Verzerrung) der Testergebnisse durch das Verhältnis zwischen Versuchsleiter und Versuchsperson.

Anhand der Übereinstimmung von verschiedenen Testauswertern. 

→ Gegeben, wenn Schlussfolgerungen nicht vom Testanwender abhängen.

Wird durch Hilfestellungen im Testmanual erreicht. 

Um Verhaltensunterschiede zwischen Personen zuverlässig zu messen. 

- Wiederholung der Messung zu mind. zwei Messgelegenheiten

- Bestimmung der Reliabilität anhand der Korrelation zwischen beiden Testergebnissen 

Restest-Reliabilität -> Wiederholung der Messung.

Je nach Zeitintervall sind unterschiedliche verzerrende Einflüsse mögliche:

- Übungs- und Erinnerungseffekte 

- tatsächliche Veränderungen des Merkmals 

- mit der Spearman-Brown-Formel berrechnet man die korrigierte Korrelation der beiden Testergebnisse

- Korrektur ist nötig, weil die beiden Testhälften kürzer sind als der Test selbst 

- ohne Korrektur wird Reliabilität des Tests unterschätzt !

- Theoriegeleitete Zuweisung (z.B. nach Ähnlichkiet des Iteminhalts)

- Zufällige Zuweisung (z.B. Odd-Even-Methode)

- Empirische Zuweisung (z.B. faktoranalytisch durch Höhe der Faktorladungen) 

Cronbachs Alpha entspricht der Summe aller möglichen Split-Half-Reliabilitäten.

Gültigkeit des Messmodells: Gegeben, wenn sich die Testitems theoriekonform als Indikatoren eines gemeinsamen “latenten Faktors” nachweisen lassen

Konvergente Validität: Gegeben, wenn die Korrelation zwischen Testwerten, die das gleiche Merkmal (Konstrukt) messen sollen, hoch ist

Diskriminante Validität: Gegeben, wenn die Korrelation zwischen Testwerten, die verschiedene Merkmale (Konstrukt) erfassen sollen, gering ist

Gegeben, wenn der Rückschluss vom Testergebnis auf das zugrundeliegende Merkmal wissenschaftlich fundiert ist.

Gegeben, wenn die Testwerte die empirischen Merkmalsrelationen adäquat abbilden.

Hängt somit vom Skalenniveau des Tests ab
- Abbildung von Größer/Kleiner Relationen zwischen Testpersonen → mindestens Ordinalskalenniveau
- Beurteilung der Größe von Unterschieden (Differenzen)  → mindestens Intervallskalenniveau

Wird anhand von Messmodellen überprüft.

Gegeben, wenn eine Bezugsnorm vorliegt, anhand der individuelle Testwerte verglichen und eindeutig interpretiert werden können.

Hierzu wird der Test (regelmäßig) in einer möglichst großen und repräsentativen Eichstichprobe angewendet

- Prozentrangnormen

- Standardnormen

Reliabilität bedeutet Messgenauigkeit und ist definiert als Anteil der wahren Varianz an der beobachteten Varianz. (Wertebereich [0;1] )


-  Retest-Reliabilität 


- Paralleltest-Reliabilität


- Testhalbierungs-Reliabilität 

- Innere oder Interne Konsistenz 


Augenscheinvalidität 

→ Gegeben, wenn der Validitätsanspruch eines Tests einem Laien gerechtfertigt erscheint.

Vor allem relevant bezüglich der Mitteilbarkeit der Ergebnisse und der Akzeptanz von Seiten der Testpersonen. 


Aus wissenschaftlicher Sicht nicht ausreichend. 


- Inhaltsvalidität

- Kriteriumsvalidität

- Konstruktvalidität 

Im deutschsprachigen Raum werden Tests im Auftrag des Diagnostik-und Testkuratoriums (DTK; Gremium des BDP und der DGPs) systematisch von jeweils zwei unabhängigen Gutachtern beurteilt. 


AERA (American Educational Research Association)

APA (American Psychological Association)

NCME (National Council on Measurement in Education) 

Definition nach Eid und Petermann (2006)

1. regelgeleitetes Sammeln und Verarbeiten von gezielt erhobenen Informationen

2. dient der Bearbeitung von Fragestellungen (eines Auftragsstellers) und der Entscheidungsfindung (Ziel: bestmögliche Entscheidung)

3. Prinzipien der Entscheidungsfindung müssen wissenschaftliche Kriterien erfüllen

4. Schritte müssen nachvollziehbar sein und die Schlußfolgerungen ethischen Standards genügen.

In psychometrischen Modellen wird das beobachtbare Verhalten als Funktion eines latenten Personenmerkmals und eines Itemmerkmals dargestellt.

Ziel ist es, mittels solcher Modelle aufgrund von registrierten Verhaltensweisen die Merkmalsausprägungen einer Person auf einer latenten Variablen zu schätzen.

Die Funktion beschreibt einen nicht-deterministischen Zusammenhang → probabilistischer Zusammenhang (auf Wahrscheinlichkeiten basierend)

In psychometrischen Modellen werden Konstrukte als latente Variablen definiert. 

Können zur Testkonstruktion herangezogen werden.

Ein Personenmerkmal, dessen Ausprägungen nicht direkt beobachtbar sind, sondern über beobachtbares Verhalten erschlossen wird.

Im Gegensatz zu latenten Variablen sind die Ausprägungen einer latenten Variablen direkt beobachtbare Reaktionen (z.B. Lösen vs. Nichtlösen einer Aufgabe) 

Ein psychologischer Test besteht aus einer Menge von Reizen mit den zugehörigen zugelassenen Reaktionen und einer Vorschrift 

MERKE:

→ Reize, die merkmalsrelevantes Verhalten provozieren

→ Reaktionsformen, anhand derer das Verhalten registriert werden kann

→ Psychometrisches Modell (d.h. Verbindung zwischen den beobachteten Reaktionen und dem latenten Merkmal)

1. Festlegung des zu erfassenden Konstrukts

2. Erstellung eines Itempools

3. Auswahl eines Antwortformats

4. Itemanalyse und -auswahl

5. Testanalyse

6. Skalierung und Normierung

7. Testdokumentation

8. Weitere Untersuchungen zur Güte des Verfahrens und Testrevision

Um welche Art von Merkmal handelt es sich?

→ kontinuierliches (quantitatives) versus kategoriales (qualitatives) Merkmal

→ eindimensionales versus mehrdimensionales Merkmal

Unterrepräsentation des Konstrukts

→ Wichtige Facetten des Konstrukts fehlen

Kontrolle von konstruktirrelevanten Faktoren

→ Einflüsse, die nichts mit dem zu erfassenden Konstrukts zu tun haben, beeinflussen das Testverhalten

1. rationale Testkonstruktion

2. induktive sowie kriteriumsorientierte Testkonstruktion

3. externale Testkonstruktion

→ zählt zu Schritt 2 der Testkonstruktion: Erstellung eines Itempools

- auch deduktive Methode genannt

- Items werden eng an der Definition eines Konstrukts konstruiert

Vorgehen nach Wilson (2005):

1. Erstellen einer Konstruktkarte (z.B. für Emotionen: todunglücklich - traurig - betrübt - unwohl - wohl - froh - glücklich - euphorisch)

2. Konstruktion von Items (z.B. trifft nicht zu - trifft zu)

3. Kodierung von Antworten (z.B. 1 und 2)

4. Auswahl eines Messmodells (z.B. Rasch-Modell)

- Items sollen repräsentativ für das Konstrukt sein (d.h. inhaltsvalide)

→ Test enthällt alle Items einer definierten Grundgesamtheit oder einer repräsentativen Stichprobe (Itempopulation und -stichprobe)

→ Zusammenhang mit einem externen Kriterium (kriteriumsbezogene Validität) steht im Fokus

⇒ Itemauswahl anhand der empirischen Vorhersageleistung für ein spezifisches Kriterium

◃ zeitgleich (Konkurrente Validität),
◃ später (Prognostische Validität), oder
◃ früher (Retrograde Validität) 

Die Items wurden basierend auf der Literatur zu allgemeinen Verschwörungstheorien entwickelt. Die Items sollen eine repräsentative Stichprobe darstellen und das Merkmal umfassend erfassen.