Diagnostik

Streuung der tatsächlichen Werte um die vorhergesagten Werte

S(est) = Standardfehler    S(c) = Streuung Kriterium    r(tc) = Validitätskoeffizient

Konstruktvalidierungist weniger pragmatisch als theoretisch orientiert.

Bedeutung liegt in der theoretischen Klärung dessen, was der betreffende Test misst.

Konstruktvalidierungein Vorgang von erheblicher Schwierigkeit und mit groem technisch-ökonomischem Aufwand wegen fehlenden operationalen Fassbarkeit

Wie geht man vor?

Konstrukt (Theorie)  -> Hypothesen -> empirisch überprüfen

1. Korrelation des Tests mit mehreren Auenkriterien

2. Korrelationen des Tests mit Tests ähnlichen Validitätsanspruches

3. Korrelationen mit Tests, die andere Merkmaleerfassen

4. Faktorenanalyse des zu validierenden Tests gemeinsam mit Auenkriterien, validitätsverwandtenund validitätsdivergentenTests

5. Analyse interindividueller nterschiede in den Testresultaten.

6. Analyse intraindividuellerVeränderungen bei wiederholter Durchführung mit und ohne systematische Variation der Durchführungsbedingungen

7. Inhaltlich-logische Analyse der Testelemente

Statistisch: Korrelationen, Mittelwertsvergleiche

1 –7: Methoden zur Konstruktvalidierung ergänzen einander, indem sie das „Konstrukt, das dem zu validierenden Test zugrunde liegt, von verschiedenen Seiten her „Einkreisen". 
Ein exaktes Maß der Höhe der Konstruktvalidität gibt es nicht

GEFAHR: Indem kein eindeutiges Maß definiert ist, wird der Möglichkeit Raum gegeben, dass empirische Untersuchungen auf korrelationsstatistischer Basis zugunsten Spekulation zurückgedrängt werden

Schätzer für Validitätskoeffzienteines Tests, d.h., schätzt wie hoch dieser Koeffizient wäre,wenn Test und Kriterium (oder anderer Test)absolut reliabel wären

Diese Korrektur errechnet die Minderung, die der Validitätskoeffizientaufgrund der mangelnden Kriteriumsreliabilitäterlitten hat.

Minderungskorrekturen (Beispiel):

Korrelation zwischen einem Schulleistungstest (SL) und einem Intelligenztest (IT) für zwei verschiedene Stichproben (je N = 300) bestimmt!

r = .48            SL   r(tt) = .50            IT r(tt) = .50

r = .48            SL   r(tt) 0 .95            IT r(tt) = .85

doppelte Minderungskorrektur:

s.Bild (Formel)

Wichtig: nur ein Schätzer des maximal möglichen Zusammenhangs

prozentualer Anteil der auf eine Aufgabe entfallenden richtige Antworten (NVP(richtig)) (… gilt auch für Persönlichkeitstests)

wenige richtige (positive) Antworten  „schwierig"

Ein hoher Schwierigkeitswert*bedeutet, dass es sich um ein leichtesItem handelt

A = leichtes Item

B = schwieriges Item

*hier nicht von hoher Schwierigkeit sprechen, könnte missverständlich sein 

Eine Trennschärfe r(ts) stellt die korrigierte Korrelation (Part-whole-Korrektur) einer Aufgabe(i) mit einer Skala T dar (Werte zwischen -1 und 1)  

„+" = Item trennt gut zwischen Merkmalsträgern und Nicht-Merkmalsträgern

„0" = Merkmalsträgern und Nicht-Merkmalsträgern beantworten Item gleich häufig

„-" =  Merkmalsträger beantworten Item seltener „richtig 

Ausmaß, inwieweit die Testergebnisse unabhängig vom Testleiter sind

Unterschiedliche Testleiter sollten zu identischen Ergebnissen kommen!

Durchführungsobektivität: Standardisierung der Testsituation (Bedingung, Zeit, Hilfestellungen, Testleiter-Testperson-Kontakt)

Auswertungsobektivität: Eindeutige Quantifizierung des Verhaltens sollte möglich sein (Schablonen, P)

Interpretationsobektivität: Standardisierte Interpretationen, gute Normen

Geringe Objektivität -> keine optimale Reliabilität; Fehler bei der Durchführung, Auswertung und Interpretation

Geringe Reliabilität -> geringe Validität; wahre Werte werden nur ungenau geschätzt

Reliabilitäts-Validitätsdilemma! -Was ist das??

Vergleichbarkeit, Ökonomie, Nützlichkeit, Testfairness, Normierung

Vergleichbarkeit

Tests sollten mit anderen Verfahren vergleichbar sein

Aber auch  Sonderstellung herausstellen

Ökonomie

Kurze Durchführungszeit, wenig Material, einfache Handhabung

Als Gruppentest durchführbar

Schnell und bequem auszuwerten

Preis-Leistung

Nützlichkeit

Praktisches Bedürfnis besteht

Konstrukt überhaupt messbar

Testfairness

Bestimmte Personengruppen dürfen nicht benachteiligt werden

Standards: Umgang mit bestimmten (ggf. benachteiligten) Gruppen

Angaben im Manual!!! Fairness-Modelle: z.B. Quotenmodelle

Passende Norm mit passender Normstichprobe (Geschlecht, Alter, Bildung, Berufsgruppen, Klinische Gruppe, Länder….)

Äquivalenznorm (IQ-nach Stern  Binet) IQ= IA/LA*100 (IA  Intelligenzalter LA  Lebensalter)

Abweichungsnorm,  

Prozentrangnorm

Bezugssystem: Ergebnis einer Person lässt sich als (unter-über-)durchschnittlich im Vergleich zu anderen Personen einordnen

nicht älter als 8 ahre (lt. DIN 3330)

für verschiedene Personengruppen

Mind. 300 Probanden

Angaben im Handbuch zur Einordnung des individuellen Testergebnisses

Repräsentativität der Stichprobe

Anwerbung der Stichprobe

Bedingungen, unter denen getestet wurde

Zusammensetzung (Alter, Geschlecht, Bildung, Berufe…)

Weitere Unterscheidung: lokale, regionale, landesweite oder gruppenspezifisch

Population und Teilpopulationen (Vergleich mit allen oder nur einer Teilpopulation)

Ziel:Vergleichbarkeit mit anderen Tests

s. Bild

Prozentränge eignen sich im Gegensatz zu den anderen Normen auch zur Beschreibung schief verteilter Testwerte, sie stellen keine lineare Transformation der Itemrohwerte dar

Wenn eine Person einen PR von 80 erreicht hat, dann bedeutet dies…. 20 der Personen haben einen höheren Wert und 80 haben den gleichen oder einen geringeren Wert.

Erläutern Sie die nterschiede zwischen den drei Validitätsarten!

Was ist der Sinn der Minderungskorrektur

Wie ist die Abhängigkeit der einzelnen auptgütekriterien

Was versteht man unter dem Reliabilitäts-Validitäts-Dilemma

Erläutern Sie die Bedeutung der einzelnen Nebengütekriterien.