Testtheorie und Fragebogenkonstruktion

50 + 10 * (-2,5) = 50 + (-25) = 25

• Schwächen bezüglich der Skalierung
• Schwächen bezüglich der Konstruktvalidität
• Heterogenität von Populationen
• Paradoxe Zusammenhänge zwischen Gütekriterien
• Antworttendenzen

• Die Axiome der KTT ermöglichen es, die Genauigkeit einer Messung einzuschätzen
• Dies basiert auf den grundlegenden Annahmen über den wahren Wert (true score) und den Messfehler
• Die Axiome werden nicht weiter hinterfragt und sind nicht prüfbar
• Die KTT beinhaltet die notwendigen Überlegungen, um aus einer Anzahl von Messungen x_vi an Probanden in bestimmten Items auf die wahre Ausprägung \(τ\)_v von Probant v im untersuchten Merkmal schließen zu können.

Die Reliabilität Rel bezeichnet die Messgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte an der Varianz der beobachteten Testwerte x definiert:

Unterschiedliche Methoden zur Bestimmung der Reliabilität.

-> Nicht überprüfbar, da sowohl der wahre Wert wie auch der Fehler nicht direkt beobachtbar sind => „Modellgültigkeit“ ist also empirisch nicht nachweisbar

Skalenniveau der Testwerte xvi kann nicht überprüft werden => KTT setzt aber Intervallskalenniveau voraus

• Qualitative Beobachtungen werden in ein Testergebnis x_vi umgewandelt
• Statt x_vi könnte aber auch eine Funktion f(xvi) verwendet werden -> Diese Transformation darf aber die Zuverlässigkeit eines Tests nicht beeinflussen, d.h die Reliabilität des Tests muss invariant gegenüber Transformationen xv_{vi  ->} f(x_vi) sein, wenn das Testergebnis wissenschaftlich sinnvoll sein soll.
• siehe Bild

• Homogenität der Testitems bezüglich des jeweils untersuchten Merkmals ist anhand der Modellannahmen nicht überprüfbar
• Dies ist aber die Voraussetzung für die Berechnung des Testwerts als Summen- oder Mittelwert über alle Items
• Homogenitätsbeurteilung erfolgt ersatzweise über Itemtrennschärfen, Iteminterkorrelationen (als Basis der internen Konsistenz) und Faktorenanalyse -> Merkmal ist nur operational definiert!

-> Die Reliabilität ist keine Eigenschaft des Tests an sich, sondern eine Eigenschaft des Tests in Bezug auf eine Population mit ihrer gegebenen Variabilität hinsichtlich des latenten Merkmals.

=> Reliabilität und Validität sollten eine Eigenschaft des Tests sein, d.h. sie sollten invariant gegenüber der Population bzw. Stichprobe sein.

Maximal erreichbare Validität (hier Kriteriumsvalidität): Kriteriumsvalidität anhand der Korrelation zwischen den Testwerten x und den Kriteriumswerten y => in der Regel sind in beiden Werten Messfehler enthalten => die wahre Validität wird unterschätzt.

Merke: Die wahre Validität eines Tests wird stets unterschätzt und das umso mehr, je größer der Messfehler ist!

Im Rahmen der Messfehlertheorie gilt die Beziehung, dass die Korrelation zweier Variablen stets kleiner sein muss als die Wurzel aus der Reliabilität der Variablen mit der geringeren Reliabilität:

Bsp: Man nimmt die kleinste Reliabilität: Rel = 0,81 => Wurzel aus 0,81 = 0,9 => Seine Validität kann nicht größer als .90 sein.

Verdünnungsformel = Spearmans Minderungskorrektur: Validität ist die Korrelation dividiert durch die Wurzel der beiden Reliabilitäten
Validität: 0,6 / ( Wurzel aus (0,81 * 0,64)) = 0,6 / 0,715 = 0,839

Merke: Messfehler senkt die Korrelation - nimmt man den Messfehler raus, steigt die Korrelation.
Bild unten: Hier wird jeweil aus den beiden Reliabilitäten der Messfehler rausgerechnet =>
Korrelation 0,60 -> 0,67 wenn die Rel = 0.81 ist
Korrelation 0.60 -> 0,75 wenn die Rel = 0,64 ist

=> je kleiner die Reliabilität, desto größer der Messfehler

Widersprüch lässt sich im Rahmen der KTT ableiten:
Imtemantworten = fehlerbehaftete Messwerte
Valitdität eines Items = Korrelation mit dem Kriterium
Reliabilität = Trennschärfe (Res ist abhängig von der Trennschärfe) 

Jedes Item und der Gesamtscore erfassen die gleiche Variable mit unterschiedlicher Genauigkeit, daher Reliabilität ungleich Trennschärfe -> Reliabilität eines Items ist stest kleiner als die Trennschärfe

=> Reliabilitäts-Validitäts-Dilemma
Die Kriteriumsvalidität sinkt mit steigenden Itemtrennschärfen bei gegebenen Itemvaliditäten
=> Eine Erhöhung der Trennschärfe, erhöht man die Reliabilität des Tests, aber verringert gleichzeitig die Validität des Tests

Beispiel „Personal Need for Structure“
Es gefällt mir, wenn ich ein klares und strukturiertes Leben habe.
Ich bin ungern mit Leuten zusammen, deren Verhalten nicht vorhersehbar ist.
Ich fühle mich unwohl, wenn die Regeln in einer Situation unklar sind.

(Antwortformat: 1 „trifft gar nicht zu“ – 6 „trifft vollkommen zu“

Hoher Testwert

• Hohe Merkmalsausprägung
• Moderat hohe Merkmalsausprägung mit Tendenz zu extremen 

Mittlerer Testwert

• Mittlere Merkmalsausprägung
• Hohe Merkmalsausprägung mit Tendenz zu mittleren Antworten 

- Theorie über den Zusammenhang zwischen latenter (nicht beobachtbaren) Eigenschaft und beobachtbarem Testverhalten.
Oder: Formale Modelle über den Zusammenhang zwischen latenten Eigenschaften und beobachtbaren Tesergebnissen (Teswerten oder Itemantworten)
- Grundlage der Testkonstrution, Testanalyse, Testauswrtung und Testinterpretation.

• Erfassen latenter Eigenschaftsausprägung durch beobachtbares Verhalten
• Rückschluss auf latente Eigenschaft aufgrund von mehreren Verhaltesbeobachtungen/Reaktionen auf mehrere Testitems
  
  ("Geht gerne auf Partys" => Extraversion = 120 Was sagt die Zahl 120 aus, auf mein latentes Merkmal, was dem zugrunde liegt?)

Rückschluss vom Testergebnis auf latente Eigenschaft oder Fähigkeit

Ein Test ist ein wisschenschaftliches Routineverfahren zur Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkamle mit dem Ziel einer möglischt genauen quantitativen Aussage über den Grad der individuellen Merkamlsausprägung.

beobachtbare Variable / manifeste Variable

Reflexives Messmodell: Hohe Korrelationen unter den Indikationen werden als ein Hinweis auf die Validität und Reliabilität des Messmodells angesehen.

Formatives Messmodell: die Richtung der Kausalität ist entgegengesetzt, die Indikationen verusrsachen das latente Konstrukt.

theoretisches Konstrukt, latente Varible

Unabhängigkeit des Testergebnisses von Einflüssen außerhalb der getesteten Person.
Grad der Unabhängigkeit des Testerbebnisses von/vom

• Testleiter
• Sitautionsmerkmalen
• Testauswerter
• usw.

• Unabhängigkeit vom Verhalten des Versuchsleiter
  (=> Standardisierung der Instruktion und Testdurchführung (Befragung am Computer): Situationsmerkmale haben einen geringen Einfluss auf die Testergebnisse)

• Unabhängigkeit vom Testauswerter
  (=> geschlossenes Antwortformat mit algorithmischer Auswertung)