Diagnostik Vorlesung

•  rit = Korrelation zw. Itemscore (Itemwert) & Testscore (Summenwert) der entsprechenden Skala 
• Ausmaß der Übereinstimmung zw. Item & Skala bzgl. Differenzierung der Probanden (Löser vs. Nichtlöser) 
• Je höher Trennschärfe, desto mehr trägt ein Item zur Differenzierung der VP durch den Test bei → je höher desto besser ist Item für Test 
• Formale Berechnung abh. von Skalenniveaus des Items & Testscores 

• bei intervallskalierten Items: Produkt-Moment-Korrelation
•  bei dichotomen Items: Punkt-Biseriale-Korrelation

• Algebraische Abhängigkeit zw. Testscore & Itemscore → Überschätzung der Korrelation
• um Trennschärfe eines Items zu ermitteln, wird Itemscore jeweils von Berechnung des Testscores ausgeschlossen
• Trennschärfen werden verringert → keine Überschätzung
• Je mehr Items der Test hat, desto weniger fällt der Effekt einer TGK eines Items ins Gewicht
• je homogener, desto kleiner der TGK-Effekt

• = Ausmaß der formalen & inhaltlichen Einheitlichkeit von Items
• = mittlere Korrelation eines Itemscores mit anderem Itemscore 

• HItem = Homogenität eines Items = mittlere Korrelation eines Items mit den anderen Items einer Skala
• Hgesamt = Homogenität einer Skala = mittlere Korrelation aller Items einer Skala

• Trennschärfe- & Homogenitätsindices abh. von Interkorrelation der Items
• Trennschärfe- & Homogenitätsindices positiv korreliert
• Trennschärfe & Homogenität essentiell dasselbe: rit = f(HItem) 

• Standardabweichung eines dichotomen Items x ist nur Funktion seiner Schwierigkeit: SD(x) = √pq
• Std(x) wird maximal für mittlere Itemschwierigkeit (P=50)  

• Mittlere Werte (P=50) bedeuten maximale Streuung der Itemscores
• Ausreichende Streuung ist eine praktische (keine theoretische!) Voraussetzung für hohe Korrelationskoeffizienten
• mittlere Schwierigkeitsindices begünstigen hohe Trennschärfe- & Homogenitätsindices (garantieren sie aber nicht)
• umgekehrt U-förmiger Zusammenhang zw. Itemschwierigkeit & Trennschärfe

• Ziel: möglichst breite Streuung der Schwierigkeitsindices einer Skala & möglichst große Trennschärfeindices aller Items
• Aber: das behindert sich gegenseitig

1. Items mit niedriger Trennschärfe rauswerfen & hoher Trennschärfe beibehalten 
2. Auswahl mit Selektionskennwert (sollte möglichst hoch sein)
3. Sel = rit/(2xSD(x))

• Trennschärfe: je höher TS rit, desto höher Selektionskennwert
• Streuung: je höher SD, desto kleiner Selektionskennwert
• Schwierigkeit: je extremer Schwierigkeit, desto weniger Streuung desto größer Selektionskennwert

= Ausmaß, in dem die Ergebnisse eines Tests unabh. von der Person des Untersuchungsleiters sind

Durchführungs-, Auswertungs-, Interpretationsobjektivität 

• Maximale Standardisierung der Testsituation
• Maximale Standardisierung der Testauswertung
• Interpretation mittels statistischer Regeln  

• Theorie: jeder Proband wird von versch. Testleitern mit demselben Verfahren untersucht, ausgewertet bzw. interpretiert → Objektivität = (mittlere) Korrelation der Testergebnisse zw. versch. Testleitern
• Praxis: mehrfach wiederholte Testdurchführung bei denselben Probanden kaum sinnvoll
• Üblicherweise selten quantitative Angaben
• Bewertung der Objektivität anhand von Plausibilitätserwägungen

• = Wert zw. 0-1, der als Maß für Messgenauigkeit eines Tests genutzt wird
• = Anteil der Varianz einer Testvariable Yi, der auf Varianz der True-Score-Variable τi zurückgeführt werden kann

1. Truescore τ (= wahrer Wert)
2. Messfehler ε (= Abweichung)
3. Testwert Y = τ + ε 

Rel(Y) = Var(τ) / Var(Y)

1. Messfehler zufällig positiver oder negativer Wert & unsystematisch; Erwartungswert = 0; es gibt niemals einen Zusammenhang des Messfehlers mit irgendwas
2. Truescore bleibt zeitlich gleich; Einfluss auf Testwert immer gleich

1. Modell essentiell Tau-äquivalenter Variablen (Truescore bleibt immer gleich); Rel(Y) = Cov(Y1;Y2) / Var(Y)
2. Modell Tau-kongenerischer Variablen (Truescore übt untersch. Einfluss auf Testwert aus)

= nach gewissem Zeitraum wird jeder VP der Test ein zweites Mal präsentiert; anschließend korreliert man die zwei Tests miteinander → Rel. 

• KTT nimmt an, der Truescore ist bei beiden Messungen der Gleiche; bei vielen Konstrukten (insbes. States) ist das nicht der Fall → Lösung: bes. kurze Zeitintervalle wählen
• Viele Tests könnten durch Erinnerungs- & Übungseffekte o.ä. beeinflusst werden → Lösung: lange Zeitintervalle wählen

= Parallelversion des Tests erstellt, die exakt gleichen Truescore misst; beide gibt man VPs; anschließend korreliert man beide Testergebnisse → Rel.

• Funktioniert nur, wenn Tests tatsächlich parallel sind (gl. MW, SD)
• Sehr schwierig zu konstruieren; da Tests hintereinander präsentiert werden, müssen sie so verschieden sein, dass kein Übungseffekt auftritt → Ausnahmen Speedtests: gleichen Test einfach 2x machen 

= Test wird einfach halbiert & VP beide Hälften präsentiert; anschließend korreliert man Tests miteinander → Rel. 

• Split-half
• Odd-Even-Split (zunächst Nummerierung der Items: ungerade in eine Hälfte, gerade in andere)
• Random-Split (Zufallszuteilung der Items in Testhälften)
• Itemkennwert-Split (man sucht 2 Items mit ähnl. Trennschärfe & Schwierigkeit; das eine Item kommt in die eine Hälfte, das andere in die andere)

• Statt zwei Messungen mit z.B. 80 Items haben wir nun zwei Messungen mit 40 Items
• Wir berechnen als nicht Reliabilität des gesamten Tests, sondern nur der Hälften → Reliabilität wird unterschätzt → muss wieder hochgerechnet werden mit Spearman-Brown-Formel 

• Testverlängerung
• Wie viele Items k bräuchte der Test, damit er eine Reliabilität von Rel(neu) erreicht? 
  • k = 2, wenn eigentlicher Test verlängert werden soll 
  • k = 0,5, wenn aktueller Test halbiert werden soll 
• Ursprüngliche Itemzahl mit k multiplizieren, um Rel(neu) zu erreichen

• Wie sehr messen die Items den gleichen Truescore? 
• einfaches Konsistenzmaß = Anteil der Summe aller Kovarianzen von allen Items an der Varianz des Testscores 
• interne Konsistenz eines Items = Konsistenz der Items

• Generell: Test muss genau messen, damit man Vorhersage treffen kann; muss reliabel sein, um valide zu sein
• Dennoch: je reliabler, desto enger misst man Konstrukt; je enger Konstrukt, desto geringer ist Vorhersagemöglichkeiten mit anderen Kriterien/Konstrukten → Test weniger valide 

= Wie repräsentativ sind die Items für das zu messende Merkmal?

= Ausmaß, mit dem mittels Repräsentationsschluss vom Test auf Zielmerkmal geschlossen werden kann

• Items des Tests werden unabh. Experten vorgelegt, diese bewerten Übereinstimmung der Items mit Definition des Konstruktes (Ratingskalen) 
• Übereinstimmung zw. Experten wird quantifiziert (Interklassenkorrelation)
• durchschnittl. Expertenurteil = Inhaltsvalidität
• Beurteilerübereinstimmung = Maß der Genauigkeit der Inhaltsvalidität

• Definition wird 2 unabh. Expertengruppen vorgelegt: diese konstruieren Items nach der rationalen Methode
• Beide Itemsammlungen (Tests) werden einer Stichprobe vorgelegt
• Übereinstimmung zw. Testergebnissen wird quantifiziert (Pearson-Korrelation)
• Testübereinstimmung = Inhaltsvalidität 

= Kann der Test Verhalten vorhersagen?

= Ausmaß, mit dem mittels Korrelationsschluss vom Test auf Zielmerkmal geschlossen werden kann