Testtheorie und Testkonstruktion - 1. Termin

In psychometrischen Modellen wird das beobachtbare Verhalten als Funktion eines latenten Personenmerkmals und eines Itemmerkmals dargestellt.

Ziel ist es, mittels solcher Modelle aufgrund von registrierten Verhaltensweisen die Merkmalsausprägungen einer Person auf einer latenten Variablen zu schätzen.

Die Funktion beschreibt einen nicht-deterministischen Zusammenhang → probabilistischer Zusammenhang (auf Wahrscheinlichkeiten basierend)

In psychometrischen Modellen werden Konstrukte als latente Variablen definiert. 

Können zur Testkonstruktion herangezogen werden.

Ein Personenmerkmal, dessen Ausprägungen nicht direkt beobachtbar sind, sondern über beobachtbares Verhalten erschlossen wird.

Im Gegensatz zu latenten Variablen sind die Ausprägungen einer latenten Variablen direkt beobachtbare Reaktionen (z.B. Lösen vs. Nichtlösen einer Aufgabe) 

Ein psychologischer Test besteht aus einer Menge von Reizen mit den zugehörigen zugelassenen Reaktionen und einer Vorschrift 

MERKE:

→ Reize, die merkmalsrelevantes Verhalten provozieren

→ Reaktionsformen, anhand derer das Verhalten registriert werden kann

→ Psychometrisches Modell (d.h. Verbindung zwischen den beobachteten Reaktionen und dem latenten Merkmal)

1. Festlegung des zu erfassenden Konstrukts

2. Erstellung eines Itempools

3. Auswahl eines Antwortformats

4. Itemanalyse und -auswahl

5. Testanalyse

6. Skalierung und Normierung

7. Testdokumentation

8. Weitere Untersuchungen zur Güte des Verfahrens und Testrevision

Um welche Art von Merkmal handelt es sich?

→ kontinuierliches (quantitatives) versus kategoriales (qualitatives) Merkmal

→ eindimensionales versus mehrdimensionales Merkmal

Unterrepräsentation des Konstrukts

→ Wichtige Facetten des Konstrukts fehlen

Kontrolle von konstruktirrelevanten Faktoren

→ Einflüsse, die nichts mit dem zu erfassenden Konstrukts zu tun haben, beeinflussen das Testverhalten

1. rationale Testkonstruktion

2. induktive sowie kriteriumsorientierte Testkonstruktion

3. externale Testkonstruktion

→ zählt zu Schritt 2 der Testkonstruktion: Erstellung eines Itempools

- auch deduktive Methode genannt

- Items werden eng an der Definition eines Konstrukts konstruiert

Vorgehen nach Wilson (2005):

1. Erstellen einer Konstruktkarte (z.B. für Emotionen: todunglücklich - traurig - betrübt - unwohl - wohl - froh - glücklich - euphorisch)

2. Konstruktion von Items (z.B. trifft nicht zu - trifft zu)

3. Kodierung von Antworten (z.B. 1 und 2)

4. Auswahl eines Messmodells (z.B. Rasch-Modell)

- Items sollen repräsentativ für das Konstrukt sein (d.h. inhaltsvalide)

→ Test enthällt alle Items einer definierten Grundgesamtheit oder einer repräsentativen Stichprobe (Itempopulation und -stichprobe)

→ Zusammenhang mit einem externen Kriterium (kriteriumsbezogene Validität) steht im Fokus

⇒ Itemauswahl anhand der empirischen Vorhersageleistung für ein spezifisches Kriterium

◃ zeitgleich (Konkurrente Validität),
◃ später (Prognostische Validität), oder
◃ früher (Retrograde Validität) 

Die Items wurden basierend auf der Literatur zu allgemeinen Verschwörungstheorien entwickelt. Die Items sollen eine repräsentative Stichprobe darstellen und das Merkmal umfassend erfassen.

1. Woran, wie und zu welchen Gelegenheiten manifestiert sich das interessierende Verhalten?
2. Sind die erhobenen Verhaltensweisen repräsentativ für das Konstrukt, um es adäquat abzubilden?
3. Differenzieren die gewählten Verhaltensweisen zwischen Personen mit unterschiedlichen Ausprägungen des Konstrukts?

1. Formuliere einfach und kurz.

2. Formuliere so konkret und verhaltensbezogen wie möglich.

3. Formuliere neutral und versuche, die Antwort so wenig wie möglich zu beeinflussen.

4. Beziehe dich auf einen Sachverhalt.

5. Vermeide Negationen, v.a. aber doppelte Verneinungen.

1. geschlossenes (gebundenes) Antwortformat

→ Antwortkategorien liegen apriori fest

→ Beispiel: trifft nicht zu - trifft kaum zu - trifft eher zu - trifft zu

2. offenes (freies) Antwortformat

→ Es werden gar keine Antwortalternativen vorgegeben

→ Beispiel: Welche Strategien der Testkonstruktionen kennen Sie?

3. halboffenes Antwortformat

→ Es gibt eine begrenzte Anzahl von Kategorien, die die Person jedoch selbst festlegt

→ Beispiel: Zeiteinteilung für Tätigkeiten am Tag

4. atypisches Antwortformat

→  zeichnen sich durch eine gewisse “Eigenständigkeit” aus

→ Beispiel: Drücken von Tasten am Computer

Expertenurteile

Prozessanalyse

Empirische (testtheoretische) Untersuchungen:

→ deskriptiv-statistische Itemanalyse
→ Explorative Faktorenanalysen (EFA)
→ Konfirmatorische Faktorenanalysen (CFA)

- Fragebögen

- Leistungstests

- Verhaltensbobachtungen 

- Gespräche (Interviews)

- physiologische Messungen 

→ Teilgebiet der Psychometrie 

- Entwicklung und Formalisierung psychometrischer Modelle

- Konstruktion und Evaluation von psychologischen Tests 

Validität

Beispiel: Konstruktion von Klausuraufgaben

1. Spezifikation von Lehrzielen und Kompetenzstufen

2. Konstruktion von Aufgaben/Fragen zur Abfrage der Lehrziele

3. (Zufalls-)Ausfall aus den Aufgaben/Fragen

4. Notenschlüssel

- Passung des Modells

- Schätzungsgenauigkeit

- Ökonomie

- Zumutbarkeit

- Testfairness

- deskriptiv-statistische Itemanalyse

- Explorative Faktorenanalyse (EFA)

- Kofirmatorische Faktorenanalyse (CFA)

- im Idealfall erfoglt Testanalyse an einer neuen und repräsentativen Stichprobe 

- um Gefahr der Überanpassung und somit verringerter Prognosegüte zu vermeiden (siehe Multivariate Statistik)

Normorientierte Transformation der Merkmalsausprägungen:

...als Bewertungssystem dient Verteilung der Testwerte in der Bezugspopulation 

→ z-Transformation: Mittelwert = 0, Standardabweichung = 1 

Kriteriumsorientierte Transformation der Merkmalsausprägungen:

...als Bewertungssystem dient Erreichung eines Kriteriums

→ Klausur: 17 von 33 Fragen korrekt beantworten, dann Klausur bestanden

z-Werte: Mittelwert = 0, Standardabweichung = 1

IQ-Werte: Mittelwert = 100, Standardabweichung = 15

T-Werte: Mittelwert = 50, Standardabweichung = 10

Prozentränge: Wie viel Prozent der Referenzpopulation haben einen niedrigeren bzw. gleich hohen Testwert als der der Testperson? 

→ Bei psychologischen und physikalischen Messungen geht es darum, ein Merkmal mit hoher Objektivität, Reliabilität und Validität zu messen.

Im Gegensatz zur physikalischen Messung gibt es bei der Erfassung psychologischer Merkmale häufig keinen allgemein akzeptierten Vergleichsstandard, den man zur Eichung von Messinstrumenten heranziehen könnte. Dies liegt unter anderem daran, dass häufig eine allgemein akzeptierte Definition eines Merkmals fehlt.

Darüber hinaus kann man in der Psychologie das interessierende Merkmal anhand eines einzelnen Messvorgangs häufig nur viel gröber messen als dies bei physikalischen Messungen der Fall ist, und es fehlen generell akzeptierte Maßeinheiten. 

Das Rasch-Modell geht von beobachtbaren dichotomen Antwortvariablen wie z. B. der Lösung vs. Nichtlösung einer Aufgabe aus.

Dem Rasch-Modell zufolge hängen die Lösungswahrscheinlichkeiten aller betrachteten Aufgaben (Items) von einer nicht direkt beobachtbaren (latenten) kontinuierlichen Merkmalsvariablen ab.

- Lösungswahrscheinlichkeit nimmt mit Zunahme der Werte auf der latenten Variablen zu.

- Abhängigkeit der Lösungswahrscheinlichkeit von der latenten Variablen wird durch eine Itemcharakteristik beschrieben

- Im Rasch-Modell verlaufen alle Itemcharakteristiken parallel

⇒ Lösungswahrscheinlichkeiten aller Items hängen im Rasch-Modell sowohl von der Itemschwierigkeit als auch dem Personenmerkmal ab

Testtheoretische Modelle lassen sich nach der Art der beobachtbaren und der latenten Variablen unterscheiden.

- Durchführungsobjektivität

- Auswertungsobjektivität

- Interpretationsobjektivität