Diagnostik
3. Grundlagen (Reliabilität, Reliabilität und Methoden der Reliabilität)
3. Grundlagen (Reliabilität, Reliabilität und Methoden der Reliabilität)
Set of flashcards Details
| Flashcards | 17 |
|---|---|
| Language | Deutsch |
| Category | Psychology |
| Level | University |
| Created / Updated | 29.01.2016 / 31.01.2016 |
| Weblink |
https://card2brain.ch/box/diagnostik5
|
| Embed |
<iframe src="https://card2brain.ch/box/diagnostik5/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Kernkonzept der KTT: Reliabilität
Reliabilität: erstmal die „unmathematische“ Sichtweise
Ziel: Grad der Genauigkeit, mit dem Test ein Merkmal misst, unabhängig davon, ob er dieses Merkmal auch zu messen beansprucht.
Reliabilität:Messgenauigkeit, Zuverlässigkeit
unterschiedliche Methoden dies zu bestimmen
Reliabilitätsmaß: Korrelation (0‐1), es kan nicht negativ werden.
r(tt)
Reliabilität (Defi)
Die Reliabilität (rtt)bezeichnet die Messgenauigkeiteines Tests!
Lineal vs. Gummiband
gut konstruierter Fragebogen vs. Psycho‐Test in einer Zeitschrift
Ein Test ist dann messgenau, wenn der Testwert von Personen bei wiederholter Messung immer gleich ist und / oder die Rangreihe der Personenimmer gleich ausfällt
Test A -> Person X. …… 40, 34, 67, 50…..
Test B -> Person X. ….. 50, 51, 49, 50….
In der Praxis sind wiederholte Messungen jedoch nicht immer realisierbar. Aus diesem Grund werden neben der Testwiederholung noch andere Methoden eingesetzt, um die Reliabilität zu schätzen.
Also: Reliabilität wird geschätzt!
Reliabilität & Varianz
Reliabilität als Korrelationskoeffizient zweier paralleler Messungen zum Zeitpunkt T1 und T2 (d.h. Testwiederholung unter absolut identischen Bedingungen)
t1 = Testwertzum Zeitpunkt 1;
t2 = Testwertzum Zeitpunkt 2
..über einige mathematische Umformungen und basierend auf den Axiomen (S. 35 – 36, Amelang& Schmidt‐Atzert)kommt man dann zu folgender Definition: Mathematische Definition der Reliabilität
Mathematische Definition der Reliabilität
In Worten:Reliabilität rttist der Anteil der wahrer Varianz (swt²) an der beobachteten Varianz (sxt²).
Was heißt das inhaltlich? Was bedeutet eine Reliabilität von rtt= .80?
Standardmessfehler
Nach den Axiomen der KTT (und weiteren Annahmen), kann man durch Umformung den Standardmessfehler(Set) ermitteln
Anteil an der Streuung eines Tests, der zu Lasten seiner (Un)zuverlässigkeit geht.
zB: Frau Müller hat einen IQ‐Wert von 89im Intelligenztest (XYZ) was bedeutet das, wenn man die Unzuverlässigkeit des Tests berücksichtig???
(Kann man die Eigenschaft eines Menschen mit einemWert beschreiben?)
Nein!, denn: Konfidenzintervall /Vertrauensbereich (VB): Beobachteter Wert (X) in Abhängigkeit von der (Un)zuverlässigkeit(rtt) Streuung der beobachteten Werte (Sxt) in Abhängigkeit von zα (für das 5%‐Niveau bedeutet dies zα=1.96)
Standardmessfehler (Konfidenzintervall, Vertrauensbereich VB)
Beobachteter Wert (X) in Abhängigkeit von der (Un)zuverlässigkeit(rtt) Streuung der beobachteten Werte (Sxt) in Abhängigkeit von zα (für das 5%‐Niveau bedeutet dies zα=1.96)
Standardmessfehler (Konfidenzintervall, Vertrauensbereich VB)
Recehnbeispiel
Angenommen der Test XYZ hätte eine Reliabilität von rtt.90
Rechenbeispiel: Für kritische Differenzen
Gibt es signifikante Unterschiede zwischen zwei Kompetenzen??
Frau Müller erzielt Werte in 2 Subtests: verbal = 89 und räumlich = 101
Demp= 12
rtt(v).89 und rtt(v).94 (bei gleicher Streuung = 10)
Reliabilität und Testlänge: Intuitiv
Je länger ein Test –desto….. … reliabler!
Welches Linear misst genauer?
Was bedeutet dies, wenn wir es auf einen „längerer Test“ übertragen?
mehr Items!! Skala differenziert besser!
inter‐individuelle Varianz kommt besser heraus! Wieso?
und die intra‐individuelle Varianz?
Psychometrisches Beispiel:
Sind sie extravertiert? ja –nein
0 ‐1 (Positiv im Sinne des Konstrukts = 1 Pkt. Negativ im Sinne des Konstrukts = 0 Pkt.)
Gehen Sie gerne auf Partys?ja–nein
Haben Sie viele Freunde?ja–nein
Können Sie eine traurige Gesellschaft aufheitern?ja–nein
Lesen Sie lieber ein Buch als sich mit Bekannten zu treffen? ja –nein
Additivitätder Varianzen(incl. Kovarianz) der beobachtetenWerte
Mathematische Betrachtung: Auswirkungen einer Testverlängerung
Angenommen wir verlängern einen Test T(mit 20 Items) mit einem Test U (mit 20 Items) Angenommen beide Tests messen das gleiche Konstrukt M(xu) + M(xt) = M(xu+xt)
Dann addieren sich die Varianzen der Testteile wie folgt:
Additivitätder Varianzen(incl. Kovarianz) der wahrenWerte
Für die Varianz der wahren Werte wt und wu würde dies bedeuten:
r(wt,wu) = 1
… weil sie das Gleiche (also den gleichen wahren Wert) messen.
Es gilt dann: s(wu)²= s(wt)²
= 4 s²wt
Additivitätder Varianzen(incl. Kovarianz) der Fehler‐Werte
Wegen der Korrelation der „Fehlerwerte“ reu,et= 0 gilt, und unter der Annahme, dass die Fehlervarianzen S²e(u)= S²e(t)
d.h. in Worten: Testverdoppelung führt zu Verdopplung der Fehlervarianz
Varianz wahrer Werte und Fehlervarianz?
Also Testverdoppelung führt somit dazu, dass bei Testverdopplung die Varianz wahrer Werte stärker an als die Fehlervarianz wächst. Welche Folgen hat das…???
Reliabilität & Testlänge: Zusammenhang definiert über Spearman‐Brown‐Formel S. 46‐47
k = Verlängerungsfaktor
r(tt)= Reliabilität vorher
corr(rtt)= Reliabilität nachher
Probleme bei der Testverlängerung
Homogene Items finden (d.h. Items, die das gleich Konstrukt messen)
Testlänge … Müdigkeit, Konzentration
Methoden der Reliabilitätsbestimmung
Bei der Reliabilitätsbestimmung (i.d.R. Korrelationen) werden mehrere Methoden unterschieden! Wichtig: alle Methoden sind letztendlich nur Schätzungen der Reliabilität!!!
Methoden:
1.Testhalbierungsmethode
2.Testwiederholungsmethode
3.Paralleltestmethode
4.Konsistenzanalys
Fragen
1.Was bedeutet Reliabilität?
2.Wieso ist die mathematische Definition der Reliabilität sinnvoll?
3.Wie hängen Standardmessfehler und Reliabilität zusammen?
4.Erläutern Sie den Zusammenhang zwischen Testlänge und Messgenauigkeit
(a) intuitiv
(b) an einem Beispiel und
(c) mathematisch
