Testtheorie und Fragebogenkonstruktion

Insbesondere im Leistungsbereich sind auch kriterienorientierte Tests zu finden: Es interessiert, ob ein bestimmter Wert erreicht wird => Hierbei interessiert nicht, wie viele Personen das Kriterium erfüllen (theoretisch könnten alle getesteten Personen ein Kriterium erreichen oder aber keine einzige)

Merke: Kriterienorientiert interpretierbare Tests können jederzeit auch normorientiert verwendet werden, nicht jedoch umgekehrt.

Kriterienorientiert interpretierbare Tests können jederzeit auch normorientiert verwendet werden, nicht jedoch umgekehrt!

Um eine kriteriumsorientierte Interpretation eines Testwertes vorzunehmen, werden i.d.R. vorab bestimmte Schwellenwerte definiert, ab denen ein Kriterium als zutreffend angenommen wird.

• Bezug zu einem externen Kriterium; das Vorliegen des externen Kriteriums muss in diesen Untersuchungen zusätzlich zu den individuellen Testwerten erfasst werden.
• Bezug auf die Testinhalte, wenn die Items eine repräsentative Stichprobe aller möglichen Items darstellen.

Falscher Alarm = Alpha-Fehler: da ist etwas, obwohl da nichts ist.
Verpasserquote = Beta-Fehler: da ist nichts, obwohl da in Wirklichkeit was ist.

=> diese beiden Fehler wollen vermieden werden

Merke: Im Nenner stehen immer die Zeilensummen der jeweiligen Zeile.

Aufgrund des Unterschieds zwischen beiden Gruppen kann ein Schwellenwert ermittelt werden, ab dem das Vorliegen einer Major Depression angenommen werden sollte => Dabei strebt man in der Regel ein optimales Gleichgewicht zwischen Sensitivität und Spezifität an.

Eine Erhöhung der Sensitivität (Trefferquote) führt zu einer Verringerung der Spezifität (Quote korrekter Ablehnung)

Wenn die Sensitivität und die Spezifität als gleich wichtig erachtet wird, dann nimmt man ein optimales Gleichgewicht zwischen der Sensitivität und der Spezifität an = Youden-Index: für alle möglichen cut-off-Werte (Schwellenwerte) wird die Sensitivität und die Spezifität ermttelt, es wird der wert als cut-off-Wert bestimmt, bei dem die Summe von der Senitivität und der Spezifität maximal ist.

Youden-Index: Sensitivität + Spezifität - 1: Trefferquote + Quote korrekter Ablehnung -1

Häufiger Fehler: Kriteriumsorientierte Interpretation anhand der Antwortskala

Bei Lernziel- oder Leistungstests kann eine kriteriumsorientierte Interpretation durch eine entsprechende Itemauswahl möglich werden -> Im Falle von Fragebögen ist dieses Vorgehen i.d.R. nicht möglich: die Schwierigkeiten der Items eines Fragebogens wird nicht nur durch die Inhalte, sondern auch durch die verbale Formulierung beeinflusst.

Siehe Grafik: Zwei unterschiedlich schwierige Fragebogenitems zur Erfassung derselben depressiven Symptomatik mit einer vierstufigen Antwortskala.

Norm- und kriteriumsorientierte Testwertinterpretationen schließen sich nicht gegenseitig aus, vielmehr ist je nach Anwendungsfall die eine oder andere Art vorherrschend => Beide Arten der Testwertinterpretation können sich ergänzen, z.B. bei der Beurteilung der Schulleistung (Bezug zum Lehrziel und zur Klasse)

Merke: Bei der Setzung von (Auswahl-)Standards können im Falle konfligierender Interessenlagen norm- und kriteriumsorientierte Testwertinterpretationen zu unvereinbaren Zielsetzungen führen.

z_{v = (50 - 60) / 20 = -0,5}

IQ: 100 + 15 * (-0,5) = 100 - 7,5 = 92,5
=> bei IQ wird immer aufgerundet => 93

50 + 10 * (-2,5) = 50 + (-25) = 25

• Schwächen bezüglich der Skalierung
• Schwächen bezüglich der Konstruktvalidität
• Heterogenität von Populationen
• Paradoxe Zusammenhänge zwischen Gütekriterien
• Antworttendenzen

• Die Axiome der KTT ermöglichen es, die Genauigkeit einer Messung einzuschätzen
• Dies basiert auf den grundlegenden Annahmen über den wahren Wert (true score) und den Messfehler
• Die Axiome werden nicht weiter hinterfragt und sind nicht prüfbar
• Die KTT beinhaltet die notwendigen Überlegungen, um aus einer Anzahl von Messungen x_vi an Probanden in bestimmten Items auf die wahre Ausprägung \(τ\)_v von Probant v im untersuchten Merkmal schließen zu können.

Die Reliabilität Rel bezeichnet die Messgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte an der Varianz der beobachteten Testwerte x definiert:

Unterschiedliche Methoden zur Bestimmung der Reliabilität.

-> Nicht überprüfbar, da sowohl der wahre Wert wie auch der Fehler nicht direkt beobachtbar sind => „Modellgültigkeit“ ist also empirisch nicht nachweisbar

Skalenniveau der Testwerte xvi kann nicht überprüft werden => KTT setzt aber Intervallskalenniveau voraus

• Qualitative Beobachtungen werden in ein Testergebnis x_vi umgewandelt
• Statt x_vi könnte aber auch eine Funktion f(xvi) verwendet werden -> Diese Transformation darf aber die Zuverlässigkeit eines Tests nicht beeinflussen, d.h die Reliabilität des Tests muss invariant gegenüber Transformationen xv_{vi  ->} f(x_vi) sein, wenn das Testergebnis wissenschaftlich sinnvoll sein soll.
• siehe Bild

• Homogenität der Testitems bezüglich des jeweils untersuchten Merkmals ist anhand der Modellannahmen nicht überprüfbar
• Dies ist aber die Voraussetzung für die Berechnung des Testwerts als Summen- oder Mittelwert über alle Items
• Homogenitätsbeurteilung erfolgt ersatzweise über Itemtrennschärfen, Iteminterkorrelationen (als Basis der internen Konsistenz) und Faktorenanalyse -> Merkmal ist nur operational definiert!

-> Die Reliabilität ist keine Eigenschaft des Tests an sich, sondern eine Eigenschaft des Tests in Bezug auf eine Population mit ihrer gegebenen Variabilität hinsichtlich des latenten Merkmals.

=> Reliabilität und Validität sollten eine Eigenschaft des Tests sein, d.h. sie sollten invariant gegenüber der Population bzw. Stichprobe sein.

Maximal erreichbare Validität (hier Kriteriumsvalidität): Kriteriumsvalidität anhand der Korrelation zwischen den Testwerten x und den Kriteriumswerten y => in der Regel sind in beiden Werten Messfehler enthalten => die wahre Validität wird unterschätzt.

Merke: Die wahre Validität eines Tests wird stets unterschätzt und das umso mehr, je größer der Messfehler ist!

Im Rahmen der Messfehlertheorie gilt die Beziehung, dass die Korrelation zweier Variablen stets kleiner sein muss als die Wurzel aus der Reliabilität der Variablen mit der geringeren Reliabilität:

Bsp: Man nimmt die kleinste Reliabilität: Rel = 0,81 => Wurzel aus 0,81 = 0,9 => Seine Validität kann nicht größer als .90 sein.

Verdünnungsformel = Spearmans Minderungskorrektur: Validität ist die Korrelation dividiert durch die Wurzel der beiden Reliabilitäten
Validität: 0,6 / ( Wurzel aus (0,81 * 0,64)) = 0,6 / 0,715 = 0,839

Merke: Messfehler senkt die Korrelation - nimmt man den Messfehler raus, steigt die Korrelation.
Bild unten: Hier wird jeweil aus den beiden Reliabilitäten der Messfehler rausgerechnet =>
Korrelation 0,60 -> 0,67 wenn die Rel = 0.81 ist
Korrelation 0.60 -> 0,75 wenn die Rel = 0,64 ist

=> je kleiner die Reliabilität, desto größer der Messfehler

Widersprüch lässt sich im Rahmen der KTT ableiten:
Imtemantworten = fehlerbehaftete Messwerte
Valitdität eines Items = Korrelation mit dem Kriterium
Reliabilität = Trennschärfe (Res ist abhängig von der Trennschärfe) 

Jedes Item und der Gesamtscore erfassen die gleiche Variable mit unterschiedlicher Genauigkeit, daher Reliabilität ungleich Trennschärfe -> Reliabilität eines Items ist stest kleiner als die Trennschärfe

=> Reliabilitäts-Validitäts-Dilemma
Die Kriteriumsvalidität sinkt mit steigenden Itemtrennschärfen bei gegebenen Itemvaliditäten
=> Eine Erhöhung der Trennschärfe, erhöht man die Reliabilität des Tests, aber verringert gleichzeitig die Validität des Tests

Beispiel „Personal Need for Structure“
Es gefällt mir, wenn ich ein klares und strukturiertes Leben habe.
Ich bin ungern mit Leuten zusammen, deren Verhalten nicht vorhersehbar ist.
Ich fühle mich unwohl, wenn die Regeln in einer Situation unklar sind.

(Antwortformat: 1 „trifft gar nicht zu“ – 6 „trifft vollkommen zu“

Hoher Testwert

• Hohe Merkmalsausprägung
• Moderat hohe Merkmalsausprägung mit Tendenz zu extremen 

Mittlerer Testwert

• Mittlere Merkmalsausprägung
• Hohe Merkmalsausprägung mit Tendenz zu mittleren Antworten