Testtheorie & Testkonstruktion

Ein psychologischer Test besteht aus einer Menge von Reizen mit den zugeho ̈rigen zugelassenen Reaktionen und einer Vorschrift (siehe Kraut, 1995, S.18)

(auch deduktive Methode genannt)
Items werden eng an der Definition eines Konstrukts konstruiert Vorgehen nach Wilson (2005):

1. Erstellen einer Konstruktkarte (z.B. fu ̈r Emotionen: todunglu ̈cklich - traurig - betru ̈bt - unwohl - wohl - froh - glu ̈cklich - euphorisch)

2. Konstruktion von Items (z.B. trifft nicht zu - trifft zu)

3. Kodierung von Antworten (z.B. 1 und 2)

4. Auswahl eines Messmodells (z.B. Rasch-Modell)

• Items sollen repr ̈asentativ fu ̈r das Konstrukt sein (d.h. inhaltsvalide)

•  Test enth ̈alt alle Items einer definierten Grundgesamtheit oder eine

  repr ̈asentative Stichprobe daraus (Itempopulation und -stichprobe)

•  Beispiel: Konstruktion von Klausuraufgaben

1. Spezifikation von Lehrzielen und Kompetenzstufen
2. Konstruktion von Aufgaben/Fragen zur Abfrage der Lehrziele 3. (Zufalls-)Ausfall aus den Aufgaben/Fragen
4. Notenschlu ̈ssel

Weitere Methoden
◃ Lexikalischer Ansatz (z.B. Konstruktion des NEO-FFI)

◃ Prototypenansatz

• Ziel: Zusammenhang mit einem externen Kriterium (kriteriumsbezogene Validit ̈at) steht im Fokus

•  Itemauswahl anhand der empirischen Vorhersageleistung fu ̈r ein spezifischen Kriterium

•  Die Messung des Kriteriums kann ..

  ◃ zeitgleich (Konkurrente Validit ̈at),
  ◃ sp ̈ater (Prognostische Validit ̈at), oder
  ◃ fru ̈her (Retrograde Validit ̈at) mit dem Test erfolgen.

Beispiel für eine externale Testkonstruktion:

-         Minnesota Multiphasic Personality Inventory

-         California Psychological Inventory (CPI)

-         typisch: inhaltlich heterogen, „Polung“ nicht notwendig intuitiv

1. Formuliere einfach und kurz.

2. Formuliere so konkret und verhaltensbezogen wie mo ̈glich.

3. Formuliere neutral und versuche, die Antwort so wenig wie mo ̈glich zu beeinflussen.

4. U ̈berpru ̈fe, ob hypothetische Fragen unvermeidlich sind.

5. Beziehe dich auf einen Sachverhalt.

6. Vermeide Negationen, v.a. aber doppelte Verneinungen.

7. Frage nach Informationen, die dem Befragten einfach zug ̈anglich sind (vermeide Fragen, die komplizierte Kalkulationen erfordern).

8. Formuliere eindeutig. W ̈ahle eindeutige zeitliche Bezu ̈ge. Erkl ̈are ggf. uneindeutige Begriffe, wenn sie fu ̈r die Frage selbst erforderlich sind.

Expertenurteile
Prozessanalyse
Empirische (testtheoretische) Untersuchungen

◃ deskriptiv-statistische Itemanalyse
◃ Explorative Faktorenanalysen (EFA)
◃ Konfirmatorische Faktorenanalysen (CFA)

•  Zusammenstellung aller Items zu einem Gesamttest

•  Bestimmung der Gu ̈tekriterien des Gesamttests

•  insb. der Hauptgu ̈tekriterien: Reliabilit ̈at, Validit ̈at, & Objektivit ̈at (behandeln wir im Anschluss)

•  im Idealfall wird der Test einer neuen und repr ̈asentativen Stichproben vorgelegt (d.h. Itemanalyse bzw. -selektion und Testanalyse erfolgt getrennt voneinander)

◃ normorientierte Transformation der Merkmalsauspr ̈agungen
◃ kriteriumsorientierte Transformation der Merkmalsauspr ̈agungen

Beispiel:
◃ Einbu ̈rgerungstest → 17 von 33 Fragen korrekt beantworten

◃ Klausur → 11 von 20 Fragen korrekt beantworten

• essentiell τ-paralleler Variablen

• Verallgemeinerung der Testhalbierungs-Methode, wobei jedes Item als eigenst ̈andiger Teil des Tests betrachtet wird

•  Cronbachs Alpha entspricht der Summe alle mo ̈glichen Split-Half-Reliabilit ̈aten (Annahme: essentiell τ- ̈aquivalenter Variablen)

•  Je st ̈arker ein zus ̈atzliches Item mit der Summenvariable S positiv korreliert, desto ho ̈her ist die interne Konsistenz des Tests

  p ∑ki=1Var(Yi)
  α=p−1 1− Var(S) (2)

  wobei p= Anzahl der beobachteten Variablen (Items), Var(Yi)= beobachtete Varianz von Item i, Var(S) beobachtete Varianz der Summenvariablen S = Y1 + ... + Yp .

Es gibt zwei Sichtweisen auf das Konzept der Validit ̈at

1. Eigenschaft eines Tests (Kelly, 1927; Borsboom Mellenbergh, & van Heerden, 2004)

2. Angemessenheit der Schlussfolgerungen auf Basis der Testergebnisse (Cronbach, 1970; Messick, 1989)