M6a FUH - TESTGÜTEKRITERIEN ab 2018

- ob das Merkmal in der Population normalverteilt ist

ansonsten können nur Prozentrang werde zur Interpretation herangezogen werden (sie sind nicht verteilungsgebunden)

-> nicht normalverteilte Merkmale können mit der "Flächentransformation" normalisiert werden

der Geltungsbereich der Normtabellen eines Tests sind klar zu definieren dh. die Eichstichprobe muss repräsentativ für die Grundgesamtheit von Personen sein, für die der Test prinzipiell anwendbar sein soll

- Geltungsbereich

- sollten nicht veraltet sein (DIN 33430 - zB berufsbezogenen Eignungsbeurteilung - nach spätestens 8 Jahren überprüfen ggf. Neunormierung)

"Normverschiebung AID vs. ADI2" siehe Moosbrugger & Kelava, S. 20

Ein Test erfüllt das Gütekriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht.

die Wirtschaftlichkeit eines Tests, bestimmt durch die Kosten, die bei einer Testung entstehen

- Aufwand für das Testmaterial

- zeitlicher Aufwand für die Testdurchführung - ist oft gewichtiger als der finanzielle Teil

!!!! unter Kosten minimierung leiden oft Objektivität und Reliabilität

- Zeit der Vorbereitung

- Bearbeitung des Tests

- Auswertung

- Ergebnisrückmeldung

Der ERkenntnisgewinn aus dem Einsatz eines Tests muss größer sein als die entstehenden Kosten

- Oft nur im Vergleich mit ähnlichen Test bestimmbar -

- computerbasierte Tests

- adaptive Tests

Ein Test ist dann nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheideungen (Maßnahmen) mehr  Nutzen als Schaden erwarten lassen.

Der Test misst ein Merkmal, das im Sinne der Kriteriumsvalidität nützliche Anwendungsmöglichkeiten aufweist

Ein Test  erfüllt das Kriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet.

Moosbrugger & Kelava, S. 22

Ein Testverfahren erfüllt das Gütekriterium der Unverfälschbarkeit, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.

Moosbrugger & Kelava, S. 23

= faking

ist für Testpersonen machbar, wenn das Messprinzip durchschaubar ist (hohe Augenscheinvalidität)

meist geht es um die Soziale Erwünschtheit

bei Leistungstest ist es unproblematisch

bei Persönlichkeitstests ein echtes Problem, sie sind anfällig für die Verzerrung  (zB MMPI) beim NEO-PI nur die Skala Neurotizismus anfällig für Soz.-Erw.

es können "objektive Tests" eingesetzt werden, bei denen die Testpersonen über das zu messende Merkmal im Unklaren gelassen werden. Sie sind i.d.R. nicht durchschaubar, erschließen die zu messenden Merkmale indirekt.

Ein Test erfüllt das Gütekriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.

Ein Test ist dann objektiv, wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter und Testauswerter misst.

Außerdem müssen klare und anwenderunabhängige Regeln für die Ergebnisinterpretation vorliegen.

Kontrollierte Durchführungsbedingungen und Standardisierung

Standardisierung - Durchführungsbedingungen sind im Testmanual vom Testautor bzw. Herausgeber festgelegt. Anweisungen im Testmanual erstrecken sich  über Testmaterial, etwaige Zeitbegrenzungen und auf die Instruktionen. Auch ob und wie etwaige Fragen der Testpersonen zum Test behandelt werden sollen -> Verweis auf die Instruktion

... die Testperson stellt die einzige Variationsquelle dar.

Alle anderen Bedigungen sollten konstant und kontrolliert sein

!! verbal conditioning!! -> Versuchsleitereffekt

das Testergebnis nicht von der Person des Testauswerters abhängt.

im Allgemeinen ist diese Problemlos zu erreichen

es müssen detaillierte Auswertungsregeln vorliegen, deren einheitliche Anwendung empirisch überprüft werden muss.

1. Konkordanzkoeffizient W (nach Kendall, 1962) uvm.
2. gemessen wird der Grad der Übereinstimmung, die von verschiedenen Testauswertern bei der Auswerrtung einer bestimmten Testleistung erreicht wird
   ► je einheitlicher die Auswertungsregeln von verschiedenen Testauswertern angewendet werden

• klare Regeln für die Testinterpretation
• verschiedene Testanwender kommen bei Testpersonen mit demselben Testwert zu denselben Schlussfolgerungen
• Hilfestellungen im Testmanual (Normtabellen) aus der sog. Eichstichprobe zum Vergleich

bestehend aus Testunterlagen, Testdarbietung, Testauswertung und Testinterpretation so genau festgelegt ist, dass der Test unabhängig von Ort, Zeit, Testleiter und Auswerter durchgeführt werden könnte und für  eine bestimmte Testperson bzgl. des untersuchten Merkmals dennoch dasselbe Ergebnis zeigen würde.

Messgenauigkeit eines Tests

Ein Test ist dann reliabel (zuverlässig), wenn er das Merkmal, das er misst, exakt, d.h. ohne Messfehler, misst.