m6 2

Aspekte und Definition der Validität:
 
x „Validity is the degree to which accumulated evidence and theory support specific interpretations of test scores entailed by proposed uses of a test”

x Validität last sich nicht mit einer Kennziffer fassen

x Es gibt nicht die Validität, sondern lediglich Hinweise auf Validität x Validität ist kein Merkmal eines Tests, sondern bezieht sich auf die Gültigkeit der Schlussfolgerungen, die aus den Testergebnissen gezogen werden

x Validität ist somit immer nur für einen spezifischen Zweck definiert

x Validität ist nach heutiger Auffassung ein einheitliches Konzept, oft wird aber von Validitätsarten gesprochen (Inhalt, Konstrukt, Kriterium) x Besser wäre die Kategorisierung in Validierungsstrategien, Facetten oder Quellen der Evidenz

Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das zu messende Merkmal repräsentativ erfasst.
Die Inhaltsvalidität

x Wird nicht mit einem Kennwert oder numerisch beschrieben x Basiert zwar auf logischen Überlegungen, ist aber nicht frei von Subjektivität

x Items sollten einen unmittelbaren Ausschnitt aus dem Verhaltensbereich darstellen

x Betrifft eher den Bereich der Testentwicklung (Generierung von Items aus dem Merkmalbereich) und kann theoriegeleitet oder operational erfolgen (z.B. Aufgabenpool bei einem Leistungstest)

x Sicherstellung in der Regel durch Expertenurteil

Die Augenscheinvalidität gibt an, inwieweit der Validitätsanspruch eines Tests vom bloßen Augenschein her einem Laien gerechtfertigt erscheint. 
 
Das Konzept der Augenscheinvalidität hängt auch mit der Akzeptanz des Tests durch die VPn zusammen.

Ein Test weist Konstruktvalidität auf, wenn der Schluss vom Verhalten der Testpersonen innerhalb der Testsituation auf zugrundeliegende psychologische Persönlichkeitsmerkmale (latente Variablen) aufgezeigt wurde. Die Enge dieser Beziehungen wird aufgrund von testtheoretischen Annahmen und Modellen geprüft.

Konstruktvalidität beschreibt Cronbach als schrittweise Überprüfung der Regeln im nomologischen Netz. Das Nomologische Netz besteht aus allen latenten und manifesten Variablen einschließlich aller Verbindungslinien.

Die Konstruktvalidität wird entweder struktursuchend deskriptiv (z.B. EFA) oder strukturprüfend (z.B. CFA) beurteilt.

Bei der deskriptiven Beurteilung steht die Betrachtung theoriekonformer Zusammenhänge zu anderen Tests im Vordergrund:

• x Konvergente Validität: korrelative Messung des Zusammenhangs bzw. der Übereinstimmung zu einer konstruktnahen Variablen aus einem etablierten Test (auch Erfassung inhaltlicher Randbereiche)
• Divergente bzw. diskriminante Validität: Abgrenzung zu einer eher konstruktfernen Variable, wobei diese nicht vollkommen offensichtlich unterschiedliche  Konstrukte beschreiben sollte (Unterscheidung verwandter Konstrukte)

Konvergente und Diskriminante Validität werden i.d.R. mittels bivariater Korrelationen interpretiert. Die Tatsache, dass Tests niemals 100% reliabel sind führt zu einer systematischen Unterschätzung dieser Korrelation, welche mittels Minderungskorrekturen ausgeglichen werden sollte.

Der MTMM Ansatz dient der Überprüfung der Konstruktvalidität.

Es werden verschiedene Traits (z.B. Big 5) mit unterschiedlichen Methoden gemessen und eine Korrelationsmatrix der Methoden und Konstrukte erstellt.

Der Sinn der Überkreuzung von Konstrukten und Messmethoden ist es, den Einfluss der Messmethode vom Konstrukt zu trennen, in dem in der Matrix die konvergente Validität  (gleiches Konstrukt, andere Methode) und die divergente Validität (gleiche Methode, unterschiedliche Konstrukte) verglichen wird.

Koeffizient 
 1. Monotrait-Monomenthod (Hauptdiagonale der MM Blöcke)
2. Heterotrait-Monomethod (Dreiecksmatrizen unter der Diagonale)

Interpretation
1.Reliabilität
2.Diskriminante Validität, wenn niedriger als 1 und 3

Koeffizient
3. Monotrait-Heteromethod (Hauptdiagonalen der HMBlöcke)
4. Heterotrait-Heteromethod (Dreiecksmatrizen unter der Diagonale)

Interpretation
3. Konvergente Validität wenn hoch; diskriminante Validität wenn höher als 2 und 4
4. diskriminante Validität, wenn niedriger als 3

Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium, nämlich auf ein Verhalten außerhalb der Testsituation geschlossen werden kann. Die Enge der Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).
Die Abgrenzung zur konvergenten Validität liegt darin, dass hier ein konkreter Praxisbezug im Vordergrund steht (Gültigkeit der Schlüsse auf ein praktisch relevantes Kriterium).

Abhängig von der zeitlichen Verfügbarkeit des Außenkriteriums wird unterschieden zwischen
x Konkurrenter oder Übereinstimmungsvalidität: gleichzeitiges Vorliegen
x Retrospektive Validität: Kriterium lag schon vor
x Prognostische- oder Vorhersagevalidität: Prognose des zukünftigen Kriteriums
Messung (bei kontinuierlichen Kriterien) fast immer als bivariater Korrelationskoeffizient rtc 

Für die Klassifikation von Personen in Gruppen (z.B. depressiv vs nicht depressiv) wird als Validitätsmaß die Effektstärke d verwendet. Näherungsweise ist bei kleineren Effektstärken Cohens d ~ 2r. Als Faustregel gilt :
 
x Schwacher Effekt: r=.10, d=.20
x Mittlerer Effekt: r=.30, d=.50
x Starker Effekt: r=.50, d=.80
 
Æ entscheidend ist auch hier die Schwere der Konsequenzen der Testwertinterpretation
 
 

Für die Evaluation eines einzelnen Tests im Rahmen der Testkonstruktion interessiert man sich häufig für den Beitrag, den dieser neue Test über bereits vorhandenen Verfahren hinaus zur Aufklärung des Kriteriums leistet. Dieser zusätzliche Validitätsbeitrag ist die inkrementelle Validität. 
Maß für die inkrementelle Validität ist ΔR.
Ermittelt wird ΔR mittels hierarchischer Regressionsanalysen.

Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.
Unter der Normierung / Eichung eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können.

• x Stichprobengröße: generell gilt, je breiter der Geltungsbereich hinsichtlich der Zielpopulation, desto größer die Stichprobe. Das COTAN System gibt die Größe in Abhängigkeit von der Entscheidungssituation an (n=300 bei Niveau 1)
• x Repräsentativität: Grundprinzip ist die Zufallsziehung; Minimalstandard ist die Entsprechung wesentlicher demographischer Merkmale (Alter, Geschlecht) mit der Eichstichprobe 
• x Kontext: die Übertragbarkeit ist z.B. auch dann in Frage gestellt, wenn die Eichstichprobe unter „entspannten“ Forschungsbedingungen erhoben wurde und der Test anschließend  in der Eignungsdiagnostik eingesetzt wird
• x Aktualität: Normstichproben müssen spätestens alle 8 Jahre überprüft werden

Eine Möglichkeit, das Problem der Übertragbarkeit zu entschärfen, ist das Erstellen differenzierter Normen für Teilpopulationen.

Ein Test erfüllt das Kriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig Ressourcen wie Zeit, Geld oder andere Formen beansprucht.

Die Din 33430 fokussiert eher eine Kosten-Nutzen-Relation.

Ein Test ist dann nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr nutzen als Schaden erwarten lassen.

Bei der zitierten Nützlichkeitsdefinition geht es im Kern darum, den (potenziellen) Schaden der Nicht-Anwendung eines Tests seinen Kosten gegenüberzustellen.

Ein Test erfüllt das Gütekriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.

Ein Test erfüllt das Kriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer und körperlicher Hinsicht nicht über Gebühr belastet.

Der Begriff der Akzeptanz bezieht sich auf die subjektiven, bewertenden Einstellungen und Reaktionen von Testteilnehmern und ist damit weiter gefasst als das Konzept der Zumutbarkeit. 
Akzeptanz steht im Zusammenhang mit dem Gerechtigkeitsbegriff – positiv wirken hier Ergebnisrückmeldungen und die Gelegenheit zur Zwei-Wege Kommunikation.

Ein Testverfahren erfüllt das Kriterium der Unverfälschbarkeit, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.

Leistungstests sind tendenziell gegen Faking-Good-Versuche immun (Ausnahme: Abschreiben, daher Paralleltestversionen). Anders sieht es aus bei Persönlichkeitsfragebögen, bei denen der Aspekt der sozialen Erwünschtheit eine Rolle spielen kann.

• x Subtle Items (der Teilnehmer durchschaut nicht den Hintergrund der Frage)
• x Forced Choice: es muss zwischen gleich gut erscheinenden Antwortalternativen eine Wahl getroffen werden
• x Instruktionen, Warnungen bis hin zum simulierten Lügendetektor
• x Einfügen von Bogus Items – z.B. Kenntnisse und Erfahrungen mit nicht existierenden Gegenständen. Daraus lässt sich die Tendenz zu sozial erwünschten Antwortverhalten ableiten (hier gibt es Hinweise auf Validitätsgewinn)