Diagnostik

Arten der Teilung

Odd-Even: Items mit gerader Reihungsnummer werden in die eine Testhälfte, diejenigen mit
ungerader Reihungsnummer in die andere Testhälfte aufgenommen
T1 = 1, 3, 5, 7, …. T2 = 2, 4, 6, 8…
Zufällige Aufteilung: Items werden zufällig zwei Testhälften zugewiesen
T1 = 1, 3, 4, 10, 11, 12, … T2 = 2, 5, 6, 7, 8, 9…
Itemzwillinge: Aufgabenpaare mit je zwei Aufgaben ähnlicher Schwierigkeit und  Trennschärfe.
Aufteilung der Aufgaben nach Testzeit: bei (Speed-) Schnelligkeitstests ist eine Aufteilung der Aufgaben nach Testzeit sinnvoll
1, 2, 3, 4, 5, 6, 7, 8… 12
nach 3 min: 13, 14, 15, 16, 17… 20

Zusammenhang Testlänge und Reliabilität: Je länger ein Test, desto reliabler wird er i.d.R. (wenn homogene Items), d.h. auch je kürzer, desto weniger reliabel wird ein Test.

Wenn in beiden Testhälften die Itemzahl gleich ist und es sich um homogene Items handelt, verwendet man die unten aufgeführte Spearman-Brown-Formel zur Berechnung der (Testhalbierungs-)Reliabilität eines Tests
Diese Methode wird in der Praxis häufig eingesetzt (hier k = 2 Verdopplung)

s. Formel

weitere Methoden: je nach Bedingungen unterschiedliche Streuungen der Testhälften, kleine Stichprobengröße, unterschiedliche Itemzahl (Guttman, Flanagen, Raju, Kristof...)

wiederholte Darbietung ein und desselben Tests an ein und derselben Stichprobe in einem angemessenen Zeitabstand
gewählter Zeitabstand kann sich auf die Höhe des Korrelationskoeefizienten auswirken
In der Regel fällt die Retestreliabilität geringer aus, je weiter zwei Testungen auseinander liegen
Ist das negativ?

Die Berechnung erfolgt durch die Korrelation der Rohwertpaare zwischen der ersten Testung und der Testwiederholung

Anwendung :
häufig bei Schnelligkeitstests durchgeführt
bei allen Tests sinnvoll, die von Lern- oder Übungseinflüssen unabhängig sind (sonst Erhöhung oder Verringerung der Retestreliabilität)
Durchführungsbedingungen zu beiden Testzeitpunkten möglichst gleich
am besten mit mehren Intervallen in Handbuch angegeben

zwei Parallelformen (A, B) eines Tests ein und derselben Stichprobe:
je 1 Darbietung
Möglichkeit zwei Parallelformen herzustellen gegeben?
bei Aufgaben mit einmaligem Charakter oft schwierig

Parallele (homogene Items) finden: Persönlichkeit
Test A: Ich gehe gerne auf Partys. Test B: Auf Partys fühle ich mich wohl.
Leistungstest für Wahrnehmungsgeschwindigkeit (zB ähnl. Gesichter)

Berechnung:
Die Korrelation der Rohwertepaare aus beiden Testformen (A, B) wird ermittelt.

Anwendung:
bei Niveautests (Powertests) und (Speed-) Schnelligkeitstests
auch bei parallelen Tests Übungs- bzw. Transfereffekte
Um diese Effekte zu kontrollieren, verwendet man ein „cross over design”, d.h., die
Testabfolge wird variiert

Durchführung: Der Test wird einmalig einer Stichprobe dargeboten

Prinzip:
„Jedes item ist eine Testwiederholung  -> misst den gleichen wahren Wert“
Jedes Item mit jedem Item in Beziehung setzen
Es erfolgt eine Überprüfung des inneren Zusammenhangs der Items
Der Test wird im extrem in so viele „Untertests” zerlegt, wie er Aufgaben oder Items besitzt
Der Test kann aber auch in beliebig viele äquivalente* Teile (z.B. nur in 4 Subtests) zerlegt werden(*inhaltlich gleiche Items werden zusammengefasst)
Anmerkung: Testhalbierung im Prinzip auch interne Konsistenz

Berechnung:
Die Berechnung erfolgt auf Basis von Itemstreuungen, Korrelationen oder
Kovarianzen: Hängt von Koeffizienten ab!

Anwendung:
sinnvoll, wenn homogene Merkmalsbereiche erfasst werden z.B.
Persönlichkeitstests
Bei Tests, die heterogene Aufgaben enthalten, ist die Konsistenzanalyse nicht
sinnvoll
 

(1) Cronbach-alpha: meist eingesetzte
(2) weitere sind möglich z.B. Kuder & Richardson (KR) 8, KR20, KR21, Horst,
Raju, Kristof, Gulliksen, Ebel, Guttmanns Lambda3 (λ3)

Cronbach-alpha-Koeffizient
Standardmethode zur Schätzung der inneren Konsistenz (wenn Anzahl der Testteile = Anzahl der Items)
genaue Schätzung der Reliabilität, wenn es sich bei allen Items um äquivalente Messungen handelt (d.h. homogene Items!)
 

Homogenität der Tests
Je homogener, desto ähnlicher die verschiedenen Koeffizienten.
Homogene Tests sind fast immer hoch reliabel, da sie meist ähnliche oder gleiche Items bzw. Aufgaben enthalten
Heterogene Tests (zB Berufseignungstest) enthalten seht unterschiedliche Items oder Aufgaben und sind i.d.R. nur bedingt reliabel

Art des Messfehlers
Zufällig (variierender Lärm, Müdigkeit…)
Systematisch (wie z.B. Übungseffekte oder Antworttendenzen)
Spezifisch
(beinhalten unterschiedliche Auffassungen von Personen bezüglich gleicher Begriffe:
„Aufmerksamkeit“ ->  z.B. als „schnell reagieren” oder „auf mehrere Dinge gleichzeitig achten)

Wichtig zur Beurteilung eines Tests: Im Handbuch prüfen, welche Koeffizienten durchgeführt wurden und wie lang die Intervalle sind! Dies hat je nach Testart unterschiedliche Interpretationsmöglichkeiten!

s.Bild

Die Güte (Qualität) eines Tests hängt von vielen Aspekten ab.

Mit den Reliabilitätsmessmethoden versucht man den Einfluss der verschiedenen Fehlerquellen auf die Messung statistisch zu bestimmen.

Die Gültigkeit (Validität) kann auf verschiedene Weisen bestimmt werden, um zu prüfen, ob der Test misst, was er zu messen vorgibt.

Je mehr Informationen im Handbuch über die Methode und Einflussfaktoren angegeben werden, desto besser kann man abschätzen, ob der jeweilige Test für die Fragestellung geeignet ist.
 die Fragestellung geeignet ist.

1. Wie unterscheiden sich die verschiedenen Reliabilitätskoeffizienten?

2. Wie wirken sich die unterschiedlichen Einflussfaktoren auf die Reliabilitätskoeffizienten aus?