Diagnostik

Wenn das Merkmal nicht direkt (im Ganzen oder als Teil)  erfasst werden kann, braucht  man eine Korrelation mit einer anderen Variablen (z.B. Verhaltensindikatoren), um auf das interessierende Zielmerkmal zu schlieen!

Beispiel: Merkmal  Berufseignung Test  Berufseignungstest Frage -> wie kann ich den Test validieren, d.h. prüfen ob er auch Berufseignung misst Kriterium:

Außenkriterien (z.B. Vorgesetztenurteil, Mitarbeiterbefragung, andere spezifische Leistungsmerkmale  für den Beruf)

Binnenkriterium (z.B. anderer Berufseignungstest)

Korrelation des Tests (t) mit  Kriterium (c) Validitätskoeffizient = r(tc)

Festlegung eines Validitätskriteriums…. ?

Es gibt nicht das „eine Kriterium –so gibt es auch nicht den einen Validitätskoeffizienten(im andbuch prüfen, ob mehrere angegeben!!)

Validitätskoeffizientbezieht sich immer auf eine ganz bestimmte Grundgesamtheit von PersonenGruppen(im andbuch prüfen, ob an der „richtigen (relevanten) Gruppe getestet!!)  

z.B. Depressionsinventar: Arzturteil –an depressiven Kindern getestet, wenn man Kinder untersuchen will

Problem:

Wodurch wird die Validität des Validitätskriteriums bestimmt

Validität des Kriteriums ist immer relativ, d.h.  Resultat einer übereinkunft 

Wenn es schwierig ist, von vornherein ein geeignetes Kriterium zu finden:

Vorläufige Kriterien: erste Informationen über den Probanden

Zwischenkriterien: Annäherung an das wirklich zu erfassende Merkmal

Endgültige Kriterien: repräseneren das vorherzusagende Merkmal in idealer Weise  theoretische Ebene

Ein Test wird gegenüber mehrerenKriterien validiert, und kann zwischen Merkmalen differenzieren Besitzt also so viele Validitäten, wie akzeptierte Kriterien aufzufinden sind

Äußere Validität:

Korrelation zwischen äueremKriterium (Vorgesetztenurteil) und Testpunktwert

Innere Validität: Korrelation von Test A mit Test B, der dasselbe Merkmal erfasst wie Test A und als hinreichend valide gilt.

Problem: Beide Tests können auch aufgrund eines dritten unkontrollierten Merkmals korrelieren Lösungsversuch: Multiple Validitätskoeffizienten:  innere Validierung an mehreren Einzeltests

Vorhersagevalidität (Prädiktive Validität):Test zur Vorhersage von Kriterienwerten, die zeitlich sehr viel später anfallen  prognostische Ziele

Übereinstimmungsvalidität (KonkurrenteValidität): Kriterienwertewerden simultan mit Testpunktwerten erhoben  diagnostische Ziele

Retrospektive Validität: Kriterien wurden vorher ermittelt und Test später erhoben

Inkrementelle Validität: Verbesserung der Vorhersage durch inzunahmeeines weiteren Tests möglich

Streuung der tatsächlichen Werte um die vorhergesagten Werte

S(est) = Standardfehler    S(c) = Streuung Kriterium    r(tc) = Validitätskoeffizient

Konstruktvalidierungist weniger pragmatisch als theoretisch orientiert.

Bedeutung liegt in der theoretischen Klärung dessen, was der betreffende Test misst.

Konstruktvalidierungein Vorgang von erheblicher Schwierigkeit und mit groem technisch-ökonomischem Aufwand wegen fehlenden operationalen Fassbarkeit

Wie geht man vor?

Konstrukt (Theorie)  -> Hypothesen -> empirisch überprüfen

1. Korrelation des Tests mit mehreren Auenkriterien

2. Korrelationen des Tests mit Tests ähnlichen Validitätsanspruches

3. Korrelationen mit Tests, die andere Merkmaleerfassen

4. Faktorenanalyse des zu validierenden Tests gemeinsam mit Auenkriterien, validitätsverwandtenund validitätsdivergentenTests

5. Analyse interindividueller nterschiede in den Testresultaten.

6. Analyse intraindividuellerVeränderungen bei wiederholter Durchführung mit und ohne systematische Variation der Durchführungsbedingungen

7. Inhaltlich-logische Analyse der Testelemente

Statistisch: Korrelationen, Mittelwertsvergleiche

1 –7: Methoden zur Konstruktvalidierung ergänzen einander, indem sie das „Konstrukt, das dem zu validierenden Test zugrunde liegt, von verschiedenen Seiten her „Einkreisen". 
Ein exaktes Maß der Höhe der Konstruktvalidität gibt es nicht

GEFAHR: Indem kein eindeutiges Maß definiert ist, wird der Möglichkeit Raum gegeben, dass empirische Untersuchungen auf korrelationsstatistischer Basis zugunsten Spekulation zurückgedrängt werden

Schätzer für Validitätskoeffzienteines Tests, d.h., schätzt wie hoch dieser Koeffizient wäre,wenn Test und Kriterium (oder anderer Test)absolut reliabel wären

Diese Korrektur errechnet die Minderung, die der Validitätskoeffizientaufgrund der mangelnden Kriteriumsreliabilitäterlitten hat.

Minderungskorrekturen (Beispiel):

Korrelation zwischen einem Schulleistungstest (SL) und einem Intelligenztest (IT) für zwei verschiedene Stichproben (je N = 300) bestimmt!

r = .48            SL   r(tt) = .50            IT r(tt) = .50

r = .48            SL   r(tt) 0 .95            IT r(tt) = .85

doppelte Minderungskorrektur:

s.Bild (Formel)

Wichtig: nur ein Schätzer des maximal möglichen Zusammenhangs

prozentualer Anteil der auf eine Aufgabe entfallenden richtige Antworten (NVP(richtig)) (… gilt auch für Persönlichkeitstests)

wenige richtige (positive) Antworten  „schwierig"

Ein hoher Schwierigkeitswert*bedeutet, dass es sich um ein leichtesItem handelt

A = leichtes Item

B = schwieriges Item

*hier nicht von hoher Schwierigkeit sprechen, könnte missverständlich sein 

Eine Trennschärfe r(ts) stellt die korrigierte Korrelation (Part-whole-Korrektur) einer Aufgabe(i) mit einer Skala T dar (Werte zwischen -1 und 1)  

„+" = Item trennt gut zwischen Merkmalsträgern und Nicht-Merkmalsträgern

„0" = Merkmalsträgern und Nicht-Merkmalsträgern beantworten Item gleich häufig

„-" =  Merkmalsträger beantworten Item seltener „richtig 

Ausmaß, inwieweit die Testergebnisse unabhängig vom Testleiter sind

Unterschiedliche Testleiter sollten zu identischen Ergebnissen kommen!

Durchführungsobektivität: Standardisierung der Testsituation (Bedingung, Zeit, Hilfestellungen, Testleiter-Testperson-Kontakt)

Auswertungsobektivität: Eindeutige Quantifizierung des Verhaltens sollte möglich sein (Schablonen, P)

Interpretationsobektivität: Standardisierte Interpretationen, gute Normen

Geringe Objektivität -> keine optimale Reliabilität; Fehler bei der Durchführung, Auswertung und Interpretation

Geringe Reliabilität -> geringe Validität; wahre Werte werden nur ungenau geschätzt

Reliabilitäts-Validitätsdilemma! -Was ist das??

Vergleichbarkeit, Ökonomie, Nützlichkeit, Testfairness, Normierung

Vergleichbarkeit

Tests sollten mit anderen Verfahren vergleichbar sein

Aber auch  Sonderstellung herausstellen

Ökonomie

Kurze Durchführungszeit, wenig Material, einfache Handhabung

Als Gruppentest durchführbar

Schnell und bequem auszuwerten

Preis-Leistung

Nützlichkeit

Praktisches Bedürfnis besteht

Konstrukt überhaupt messbar

Testfairness

Bestimmte Personengruppen dürfen nicht benachteiligt werden

Standards: Umgang mit bestimmten (ggf. benachteiligten) Gruppen

Angaben im Manual!!! Fairness-Modelle: z.B. Quotenmodelle

Passende Norm mit passender Normstichprobe (Geschlecht, Alter, Bildung, Berufsgruppen, Klinische Gruppe, Länder….)

Äquivalenznorm (IQ-nach Stern  Binet) IQ= IA/LA*100 (IA  Intelligenzalter LA  Lebensalter)

Abweichungsnorm,  

Prozentrangnorm

Bezugssystem: Ergebnis einer Person lässt sich als (unter-über-)durchschnittlich im Vergleich zu anderen Personen einordnen

nicht älter als 8 ahre (lt. DIN 3330)

für verschiedene Personengruppen

Mind. 300 Probanden

Angaben im Handbuch zur Einordnung des individuellen Testergebnisses

Repräsentativität der Stichprobe

Anwerbung der Stichprobe

Bedingungen, unter denen getestet wurde

Zusammensetzung (Alter, Geschlecht, Bildung, Berufe…)

Weitere Unterscheidung: lokale, regionale, landesweite oder gruppenspezifisch

Population und Teilpopulationen (Vergleich mit allen oder nur einer Teilpopulation)

Ziel:Vergleichbarkeit mit anderen Tests

s. Bild

Prozentränge eignen sich im Gegensatz zu den anderen Normen auch zur Beschreibung schief verteilter Testwerte, sie stellen keine lineare Transformation der Itemrohwerte dar

Wenn eine Person einen PR von 80 erreicht hat, dann bedeutet dies…. 20 der Personen haben einen höheren Wert und 80 haben den gleichen oder einen geringeren Wert.

Erläutern Sie die nterschiede zwischen den drei Validitätsarten!

Was ist der Sinn der Minderungskorrektur

Wie ist die Abhängigkeit der einzelnen auptgütekriterien

Was versteht man unter dem Reliabilitäts-Validitäts-Dilemma

Erläutern Sie die Bedeutung der einzelnen Nebengütekriterien.