Diagnostik

Die Reliabilität (rtt)bezeichnet die Messgenauigkeiteines Tests!

Lineal vs. Gummiband

gut konstruierter Fragebogen vs. Psycho‐Test in einer Zeitschrift

Ein Test ist dann messgenau, wenn der Testwert von Personen bei wiederholter Messung immer gleich ist und / oder die Rangreihe der Personenimmer gleich ausfällt
Test A -> Person X. ……  40, 34, 67, 50…..

Test B -> Person X. …..  50, 51, 49, 50….
In der Praxis sind wiederholte Messungen jedoch nicht immer realisierbar. Aus diesem  Grund werden neben der Testwiederholung noch andere Methoden eingesetzt, um die  Reliabilität zu schätzen. 

Also: Reliabilität wird geschätzt!

Reliabilität als Korrelationskoeffizient zweier paralleler Messungen zum Zeitpunkt  T1 und T2 (d.h. Testwiederholung unter absolut identischen Bedingungen)  

t1 = Testwertzum Zeitpunkt 1;

 t2 = Testwertzum Zeitpunkt 2

..über einige mathematische Umformungen und basierend auf den Axiomen (S. 35 – 36, Amelang& Schmidt‐Atzert)kommt man dann zu folgender Definition: Mathematische Definition der Reliabilität

In Worten:Reliabilität rttist der Anteil der wahrer Varianz (swt²) an der beobachteten Varianz (sxt²).

Was heißt das inhaltlich? Was bedeutet eine Reliabilität von rtt= .80?

Nach den Axiomen der KTT (und weiteren Annahmen), kann man durch  Umformung den Standardmessfehler(Set) ermitteln

Anteil an der Streuung eines Tests, der zu Lasten seiner (Un)zuverlässigkeit geht.

zB: Frau Müller hat einen IQ‐Wert von 89im Intelligenztest (XYZ) was bedeutet das,  wenn man die Unzuverlässigkeit des Tests berücksichtig???

(Kann man die  Eigenschaft  eines Menschen  mit einemWert  beschreiben?)

Nein!, denn: Konfidenzintervall /Vertrauensbereich (VB):  Beobachteter Wert (X) in Abhängigkeit von der (Un)zuverlässigkeit(rtt) Streuung der beobachteten Werte (Sxt) in Abhängigkeit von zα (für das 5%‐Niveau bedeutet dies  zα=1.96)

Beobachteter Wert (X) in Abhängigkeit von der (Un)zuverlässigkeit(rtt) Streuung der beobachteten Werte (Sxt) in Abhängigkeit von zα (für das 5%‐Niveau bedeutet dies  zα=1.96)

Angenommen der Test XYZ hätte eine Reliabilität von rtt.90

Gibt es signifikante Unterschiede zwischen zwei Kompetenzen??

Frau Müller erzielt Werte in 2 Subtests: verbal = 89 und räumlich = 101  

Demp= 12

rtt(v).89 und rtt(v).94 (bei gleicher Streuung = 10)

Je länger ein Test –desto….. … reliabler!
Welches Linear misst genauer?  
Was bedeutet dies, wenn wir es auf einen „längerer Test“ übertragen?
mehr Items!! Skala differenziert besser!  

inter‐individuelle Varianz kommt besser heraus! Wieso?

und die intra‐individuelle Varianz?

 Psychometrisches Beispiel:

Sind sie extravertiert? ja –nein
0 ‐1 (Positiv im Sinne des Konstrukts = 1 Pkt. Negativ im Sinne des Konstrukts  = 0 Pkt.)

Gehen Sie gerne auf Partys?ja–nein

Haben Sie viele Freunde?ja–nein

Können Sie eine traurige Gesellschaft aufheitern?ja–nein

Lesen Sie lieber ein Buch als sich mit Bekannten zu treffen? ja –nein 

Mathematische Betrachtung: Auswirkungen einer Testverlängerung

Angenommen wir verlängern einen Test T(mit 20 Items) mit einem Test U (mit  20 Items) Angenommen beide Tests messen das gleiche Konstrukt M(xu) + M(xt) = M(xu+xt)
Dann addieren sich die Varianzen der Testteile wie folgt: 

Für die Varianz der wahren Werte wt und wu würde dies bedeuten:

r(wt,wu) = 1
… weil sie das Gleiche (also den gleichen wahren Wert) messen.

Es gilt dann: s(wu)²= s(wt)²

       = 4 s²wt 

Wegen der Korrelation der „Fehlerwerte“ reu,et= 0 gilt, und unter der Annahme,  dass die Fehlervarianzen S²e(u)= S²e(t)
d.h. in Worten: Testverdoppelung führt zu Verdopplung der Fehlervarianz

Also Testverdoppelung führt somit dazu, dass bei Testverdopplung  die Varianz wahrer Werte stärker an als die  Fehlervarianz wächst. Welche Folgen hat das…???

k = Verlängerungsfaktor

r(tt)= Reliabilität vorher

corr(rtt)= Reliabilität nachher

Homogene Items finden (d.h. Items, die das gleich Konstrukt messen)

Testlänge … Müdigkeit, Konzentration

Bei der Reliabilitätsbestimmung (i.d.R. Korrelationen) werden mehrere Methoden  unterschieden!  Wichtig: alle Methoden sind letztendlich nur Schätzungen der Reliabilität!!!

Methoden:

1.Testhalbierungsmethode

2.Testwiederholungsmethode

3.Paralleltestmethode

4.Konsistenzanalys

1.Was bedeutet Reliabilität?  

2.Wieso ist die mathematische Definition der Reliabilität sinnvoll?

3.Wie hängen Standardmessfehler und Reliabilität zusammen?

4.Erläutern Sie den Zusammenhang zwischen Testlänge und Messgenauigkeit

(a)  intuitiv

(b) an einem Beispiel und

(c) mathematisch