M6a FUH - TESTGÜTEKRITERIEN ab 2018

... die Testperson stellt die einzige Variationsquelle dar.

Alle anderen Bedigungen sollten konstant und kontrolliert sein

!! verbal conditioning!! -> Versuchsleitereffekt

das Testergebnis nicht von der Person des Testauswerters abhängt.

im Allgemeinen ist diese Problemlos zu erreichen

es müssen detaillierte Auswertungsregeln vorliegen, deren einheitliche Anwendung empirisch überprüft werden muss.

1. Konkordanzkoeffizient W (nach Kendall, 1962) uvm.
2. gemessen wird der Grad der Übereinstimmung, die von verschiedenen Testauswertern bei der Auswerrtung einer bestimmten Testleistung erreicht wird
   ► je einheitlicher die Auswertungsregeln von verschiedenen Testauswertern angewendet werden

• klare Regeln für die Testinterpretation
• verschiedene Testanwender kommen bei Testpersonen mit demselben Testwert zu denselben Schlussfolgerungen
• Hilfestellungen im Testmanual (Normtabellen) aus der sog. Eichstichprobe zum Vergleich

bestehend aus Testunterlagen, Testdarbietung, Testauswertung und Testinterpretation so genau festgelegt ist, dass der Test unabhängig von Ort, Zeit, Testleiter und Auswerter durchgeführt werden könnte und für  eine bestimmte Testperson bzgl. des untersuchten Merkmals dennoch dasselbe Ergebnis zeigen würde.

Messgenauigkeit eines Tests

Ein Test ist dann reliabel (zuverlässig), wenn er das Merkmal, das er misst, exakt, d.h. ohne Messfehler, misst.

Über den Reliabilitätskoeffizienten (Rel) der einen Wert zwischen 0 und 1  annehmen kann   ( \(0 \leq Rel \leq 1\))

Rel hat einen Wert zwischen 0 und 1 ( \(0 \le Rel \le 1\)) ⇒guter Test \(0,7\ge Rel \le 1\)

1 = Freisein von Messfehlern / völlige Reliabilität / ein Test für 2x exakt zu gleichen Ergebnis

0 = Testergebnis ist ausschließlich aus Messfehlern zustande gekommen

Als Anteil der wahren Varianz an der Gesamtvarianz der Testwerte

- wahre Varianz misst die Merkmalsstreuung der "wahren" Testwerte

- verbleibende Teil repräsentiert dei "Unreliabiltät" oder die Messfehlerbehaftetheit eines Messinstruments

1. Retest-Reliabilität
2. Paralleltest-Reliabilität
3. Testhalbierungs-Reliabilität
4. Innere Konsistenz

einund derselbe Test wird zu zwei verschiedenen Zeitpunkten vorgelegt (unter der idealen Annahme, dass sich das zu messende Merkmal selbst nicht verändert hat)

Reliabilität wird als Korrelation zwischen den beiden Testergebnissen ermittelt

!!! ermittelte Korrelation in Abhängigkeit vom Zeitintervall kann zwischen beiden Testungen variieren
- Übungseffekte
- Erinnerungseffekte
- sich tatsächlich verändertes Persönlichkeitsmerkmal

diese Veränderungen können als "Spezifität" mittels sog. Latent-State-Trait-Modelle (Steyer, 1987) explizit identifiziert und berücksichtigt werden

Parallel sind zwei Testformen dann, wenn sie trotz nicht identischer Itemstichprobenzu gleichen wahren Werten und Varianzen der Testwerte führen.
-> wird als "Königsweg" der Reliabilitätsbestimmung bezeichnet

Vorteile:
- etliche reliabilitätsverändernde Einflüsse können eliminiert bzw. kontrolliert werden (Übungs- u. Erinnerungseffekte, Merkmalsveränderungen)
- Korrelation wird zwischen den beobachteten Testwerden in zwei "parallelen Testformen" (mit sog. Itemzwillingen) berechnet

Ein Test wird in 2 möglichst parallele Testhälften geteilt
die "Testhalbierungs-Reliabilität" (Split-Half-Reliabilität) als Korrelation der beiden Testhälften bestimmt
-> Korrekturfaktor berücksichtigen:
   die verminderte Split-Half-Reliabiltät wird wieder auf die ursprüngliche Testlänge hochgerechnet,
   das führt zu einer Aufwertung der Testhalbierungs-Reliabilität

ist eine Verallgmeinerung der Testhalbierungs-Methode

! Jedes ITEM eines Tests wird als eigener TESTTEIL betrachtet

Je stärker die Testteile untereinander positiv korrelieren, desto höher ist die interne Konsistenz des Verfahrens (Cronbach-alpha-Koeffizient der Reliabilität; Cronbach, 1951)

Ein Test gilt dann als valide ("gültig"), wenn er das Merkmal, das er messen soll, auch wirklich misst und nicht irgendein anderes. (Moosbrugger & Kelava, S. 13)

- gilt als das wichtigste Gütekriterium überhaupt

- Objektivität und Reliabilität ermöglichen eine hohe Messgenauigkeit, liefern aber nur die günstigen Voraussetzungen für das Erreichen einer hohen Validität,

- da ein Test, der eine niedrige Reliabilität aufweist, keine hohe Validität haben kann.

Validität definiert sich als Korrelation der Testwerte in  der Testsituation mit einem korrespondierenden Verhalten außerhalb der Testsituation (Kriterium).

Nicht nur in einer einzigen Korrelation

=> VORALLEM über das Ausmaß, in dem die Angemessenheit und die Güte von Interpretationen und Maßnahmen auf Basis von Testwerten oder anderen diagnostischen Verfahren durch empirische Belege und theoretische Argumente gestützt sind (S. 14)

Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das zu messende Merkmal repräsentativ erfasst.

die Testitems stellen eine repräsentative Stichprobe aus dem Itmuniversum dar, mit dem das interessierende Merkmal erfasst werden kann

aufgrung "logischer und fachlicher Überlegungen" (vgl. Cronbach& Meehl, 1955; Michel & Conrad, 1982)

- nicht numerisch anhand eines Maßes bzw. Kennwertes

Einfachste Art die Inhaltsvalidität zu klären:

- wenn die einzelnen Items einen unmitelbaren Ausschnitt aus dem Verhaltensbereich darstellen (zB Diktat für Rechtschreibkenntnisse)

Augenscheinvalidität gibt an, inwieweit der Validitätsanspruch eines Tests, vom bloßen Augenschein her einem Laien gerechtfertigt erscheint. (Moosbrugger & Kelava, S. 15

- Mitteilbarkeit der Ergebnisse

- Akzeptanz von Seiten der Testperson

wissenschaftlich gesehen ist die Augenscheinvalidität nicht immer zufriedenstellend (empirisch belegt durch Kennwerte)

Ein Test weist Konstruktionsvalidität auf, wenn der Rückschluss vom Verhalten der Testperson innerhalb der Testsituation auf zugrunde liegende psychologische Persönlichkeitsmerkmale ("Konstrukte", "latente Variablen", "Traits") wie Fähigkeiten, Dispositionen, Charakterzüge, Einstellungen wissenschaftlich fundiert ist. Die Enge dieser Beziehung wird aufgrund von testheoretischen Annahmen und Modellen überprüft.

Moossbrugger & Kelava, S. 16

mit der theoretischen Fundierung des von einem Test tatsächlich gemessenen Merkmals

zB messen die Testaufgaben im Intelligenztest tatsächlich das Konstrukt "Intelligenz" oder eher die "Gewissenhaftigkeit"

1) Struktursuchendes Vorgehen

2) Strukturprüfendes Vorgehen

- Zur Gewinnung von Hypothesen über die ein- oder mehrdimensionale Merkmalsstruktur der Testitems werden EXPLORATIVE FAKTORENANALYSEN (EFA) zum Einsatz gebracht

- Innerhalb der einzelnen Merkmale geben die Faktorenladungen in Analogie zu den Trennschärfekoeffizienten einer Itemanalyse Auskunft über die Homogenität der Testitems

- Die solchermaßen gewonnenen Merkmalsdimensionen erlauben eine erste deskriptive Einordnung in ein bestehendes theoretisches Gefüge theoretischer Konstrukte. Dabei kann z.B. die Bildung eines "nomologischen Netzwerkes" nützlich sein

Bei der Bildung eines "nomologischen Netzwerkes " steht die Betrachtung theoriekonformer Zusammenhänge zu anderen Tests im Vordergrund

1) Bildung einer a priori theoriegeleitete Erwartungen über den Zusammenhang des vorliegenden Tests bzw. des/der von ihm erfassten Merkamals/-e mit konstruktverwandten und konstruktfremden bereits bestehenden Tests

2) empirisches vergleichen des voliegenden Tests hinsichtlich Ähnlichkeit bzw. Unähnlichkeit mit andern Tests

3) unterscheidung zwischen konvergenter und divergenter/diskriminanter Validität 

Es wird das Ausmaß der Übereinstimmung mit Ergebnissen aus Tests für gleiche oder ähnliche Merkmale ermittelt, hinsichtilch dessen wie gut der Test das zu messende Merkmal misst.

Der Test sollte  von Tests für andere Merkmale klar abgrenzbar sein, sprich niedrige korrelative Zusammenhänge

Der Test muss nicht nur mit konstruktfernen Test verglichen werden, sondern vorallem auch zu relativ konstruktnahen Tests in Beziehung gesetzt werden