Diagnostik

?

Es gibt verschiedene Arten der Definitionen

Klassische Testtheorie: Homogen sind Items genau dann, wenn sie inhaltlich und formal übereinstimmen 

Guttman (1950): Homogen sind Items genau dann, wenn jeder Proband, der eine schwere Aufgabe löst, auch alle leichten Aufgaben löst

Rasch-Modell: Homogen sind Items genau dann, wenn ihre Item-Charakteristik-Kurven gleichartig verlaufen 

Klassische Testtheorie: Homogen sind Items genau dann, wenn sie inhaltlich und formal übereinstimmen 

• Homogenität = Ausmaß der formalen und inhaltlichen Einheitlichkeit von Items
• Homogenität von Items, Homogenität von Skalen

Beispiel für homogene Skalen (erfassen spezifische Dimensionen) 

• Leistungsbereich 
  • d2-Aufmerksamkeits-Belastungstest (Brickenkamp, 1981) 
  • Standard Progressive Matrices (Raven, Raven er al., 2002)
• Persönlichkeitsbereich
  • Test für spezifische Merkmale, z.B. Anger Index State-Trait Anger Expression Inventory (Schwegmezger er al., 1992)

Beispiele für heterogene Skalen (erfassen globale Dimensionen)

• Leistungsbereich
  • Verfahren zur Messung der Allgemeinen Intelligenz, z.B. Wechsler-Tests
• Persönlichkeitsbereich 
  • Tests für breite Merkmale, z.B Extraversion, Neurotizismus, Psychotizismus, ...

Operationalisierung (Berechnung)

• H_Item = Homogenität eines Items = mittlere Korrelation eines Items mit den anderen Items der Skala
• H_gesamt = Homogenität einer Skala = mittlerer Korrelation aller Items einer Skala (Mittelwert über alle Korrelationen zwischen den Items) 

Interpretation 

• Ziel A: Skala soll homogen sein 
  • Es soll ein spezifisches Merkmal erfasst werden, d.h. Ein eng umschreibendes Merkmal
  • Je größer H, desto homogener ist die Skala
• Ziel B: Skala soll heterogen sein
  • Es soll ein breites Merkmal erfasst werden, d.h. Ein breites Spektrum von Verhaltensweisen 
  • Je kleiner H, desto heterogener ist die Skala

• Beide hängen von der Interkorrelation der Items ab 
  • Trennschärfe: Korrelation eines Itemscores mit den mittleren Scores der anderen Items 
  • Homogenität: mittlere Korrelation eines Itemscores mit den anderen Itemscores 
  • Daraus folgt: algebraische Abhängigkeit von Trennschärfe und Homogenität
• Trennschärfe und Homogenität sind positiv korreliert 
• Datenbeispiel EPQ-R (Hörsaal-Daten) zeigt diese Korrelation 
• Trennschärfe und Homogenität sind essenziell dasselbe: r_it = f(H_Item)
  • Wird in verschiedenen Arbeiten gezeigt, dass die Trennschärfe eine Funktion der Itemhomogenität ist

= Anteil der Richtiglöser --> indiziert die Streuung der Itemscores!

= Korrelation des Itemscores mit dem Testscore

= mittlere Korrelation zwischen den Itemscores 

• Die Standardabweichung/Streuung (Std(x)) eines dichotomen Items x ist nur eine Funktion seiner Schwierigkeit: [ Std(x) = √ pq ]
  • x= dichtotomes Item mit den Werten 0 und 1
  • p = N_R/N = P/100 = Anteil aller Richtiglöser an N
  • N_R = Anzahl der Probanden mit dem Wert 1 (=Anzahl Richtiglöser)
  • N = Anzahl aller Probanden
  • P = Schwierigkeitsindex 
  • q = 1-p = Anteil aller Falschlöser an N
• Bei dichotomen Items ist die Streuung nur eine Funktion der Itemschwierigkeit! 
• Std(x) wird maximal für mittlere Itemschwierigkeit (P=50)!
• Mittlere Schwierigkeit (P=50) bedeutet auch maximale Streuung der Itemscores, also maximale Trennschärfe 

• Mittlere Werte (P=50) bedeuten maximale Streuung der Itemscores
• Ausreichende Streuung ist eine praktische (keine theoretische!) Voraussetzung für hohe Korrelationskoeffizienten 
  • Ohne Variation einer Variablen gibt es auch keine Kovariation mit dieser Variablen
• Mittlere Schwierigkeitsindices begünstigen hohe Trennschärfe und Homogenitätsindices, garantieren sie aber nicht 

• Extreme Werte (P zwischen 5-10 oder 90-95) implizieren geringere Streuung der Itemscores 
  • Eingeschränkte Streuung vermindert meist die Korrelation 
• Extrem unterschiedliche Werte von P sind mit hohen (positiven) Interkorrelationen der Items meist nicht vereinbar 
• Extrem unterschiedliche Schwierigkeitindices verhindern hohe Trennschärfeindices sowie eine hohe Homogenität der Skala (i.S der KTT)

Zusammenhang ist meist umgekehrt U-förmig, d.h im mittleren Bereich ist der Trennschärfeindex und der Homogenitätsindex sehr hoch, in den Randbereichen sind beide Indices sehr niedrig 

Rationale Methode: Itempool wird theoretisch abgeleitet 

Externalisieren Methode: Itempool wird anhand der Differenzierbarkeit zwischen Gruppen definiert/selegiert 

Induktive Methode: Itempool wird durch Korrelationsanalyse definiert/bereinigt 

Induktive Methode 

• Irena/Skalen werden so ausgewählt/definiert, dass sie die Items innerhalb einer Skala möglichst hoch und zwischen den Skalen möglichst niedrig korrelieren
  • Einfachstrukturkriterium (Thurstone) der Faktorenanalyse
• Induktive Methose führ tendenziell zu Skalen von großer Homogenität

Rationale/deduktive Methode 

• Items werden theoretisch abgeleitet, um ein vorgegebenes Konstrukt zu infizieren
• Deduktive Methode führt meist auch zu Skalen von großer Homogenität, falls das Konstrukt eng begrenzt ist 

Externale Methode 

• Items werden unabhängig von ihrem Inhalt ausgewählt
• Externale Methode führt meist zu Skalen von geringer Homogenität 

Schwierigkeitsindex 

• Möglichst breite Streuung der Schwierigkeitsindices einer Skala anstreben! 
  • Differenzierung der Probanden auch in den Randbereichen der Merkmalsausprägubg gewährleisten!
  • Weise (1975)
    • Niedrige Merkmalsausprägung: > 80
    • Mittel: 80 - 20
    • Hoch: < 20

Trennschärfeindex 

• Möglichst große Trennschärfeindices aller Items anstreben! 
  • Jedes Item sollte zur Differenzierung der Probanden durch den Testscore möglichst viel beitragen! 
  • Weise (1975) (Part-whole -korrigiert)
    • Niedrig: < .30
    • Mittel: .30-.50
    • Hoch: >.50

Problem: 

• Unterschiedliche Schwierigkeitsindices führen zu niedrigen Itemkorrelationen und somit zu niedrigen Trennschärfeindices 
• Forderung nach unterschiedliche Schwierigkeitsindices und hohen Trennschärfeindices schließen sich aus! 

Empfehlung: 

• Items mit niedriger Trennschärfe ausscheiden
• Items mit hoher Trennschärfe beibehalten (gerade auch bei extremen Schwierigkeitsindices von P = 5-10 oder P = 90-95)
• Diese Itemselektion können wir mithilfe eines Selektionskennwertes erreichen (Lienert, 1989)

Selektionskennwert

• Der ist im Wesentlichen darauf aufgebaut, dass wir den Trennschärfeindex ins Verhältnis mit der zugehörigen Streung setzten, welche wiederum abhängig vom Schwierigkeitsgrad ist

S_el = r_it / 2*Std(x)

• S_el = Selektionskennwert 
• r_it = Trennschärfeindex 
• x = Itemscore
• p = Schwierigkeitsgrad = P/100
• q = 1 - p
• Im dichotomen Fall mit Std(x) = √ pq

• Zähler: je größer der Trennschärfeindex, desto größer der Selektionskennwert --> Items mit großer Trennschärfe werden bevorzugt! 
• Nenner: je extremer die Schwierigkeit eines Itemscores, desto kleiner wird die Standardabweichung und desto größer wird der Selektionskennwert --> Items mit extremer Schwierigkeit werden bevorzugt! 

Selektionsregel: das Item mit dem größten Wert von S_el wird beibehalten 

• Möglichst breite Streuung der Schwierigkeitsindices einer Skala anstreben! 
• Möglichst große Trennschärfeindices aller Items anstreben! 
• Beide Forderungen sind nicht vereinbar 
  • Extreme Schwierigkeitsindex kann Korrelation mit dem Item beeinträchtigen
  • Breite Streuung der Schwierigkeitindices ist unvereinbar mit hoher Interkorrelation der Items
  • > Extreme und unterschiedliche Schwierigkeitsindices führt zu geringen Trennschärfeindices 
• > wir brauchen Kompromiss:
  • Items mit geringer Trennschärfe eliminieren 
  • Selektionskennwert nutzen > Begünstigt hohe Trennschärfe sowie extreme Schwierigkeit 

• Kriterien zur Beurteilung von Tests sind nicht verbindlich definiert 
• Kriterienkatalog des Testkuratoriums der Föderation Deutscher Psychologenverbände 
  • Kriterien zu den Testgrundlagen (z.B. theoretische Grundlagen, Nachvollziehbarkeit der Testkonstruktion)
  • Kriterien zur Testdurchführung (z.B. Durchführungsobjektivitöt, Tranzparenz, Zumutbarkeit) 
  • Kriterien zur Testverwertung (z.B Auswertungsobjektivität, Zuverlässigkeit, Gültigkeit)
  • Kriterien zur Testevaluation (z.B Ökonomie, Fairness, Vergleichbarkeit) 
  • Kriterien zur äußeren Testgestaltung (z.B Verständlichkeit des Testmanuals und der Testmatetialien) 
• Es gibt noch weiterer Normen, wie etwa die DIN 33430 zur Eignungsbeurteilung
  • Normierung der Bewerberauslese durch Leistungstests
  • Gedacht als Verbraucherschutz, dass nicht willkürlich irgendwelche Test genutzt werden können und die Person so unfair behandelt wird 
• Generelle Hauptgütekriterien:
  • Objektivität 
  • Reliabilität
  • Validität
• Nebengütekriterien:
  • Normierung 
  • Testfairness

Fehlende Durchführungsobjektivität = Ausmaß, in den Variationen im Verhalten des Testleiters und der Durchführungsbedingungen zur Variationen im Verhalten der Testperson führt 

• Wir wollen eine möglichst hohe Durchführungsobjektivität! 

Gefährdung: 

• Unterschiedliche Instruktionen 
• Unterschiedliche Launen des Testleiters 
• Unterschiedliches Material 
• Alle Unterschiedliche Testbedingungen!

Gegenmaßnahme: maximale Standardisierung der Testsituation! 

• Identische Testmaterialien und Zeitvorgaben 
• Identische Instruktionen (schriftliche Vorgabe oder auswendig gelernt) 
• Protokoll für die Testleitung
• Regeln, wie auf Nachfragen und Störungen reagiert wird 
• Minimale soziale Interaktion zwischen Testleitung und Versuchsperson

Quantitative Bestimmung

• Theorie
  • Jeder Proband wird von verschiedenen Testleitern mit demselben Verfahren untersucht 
  • Objektivität = (mittlere) Korrelation des Testergebnisse zwischen den verschiedenen Testleitungen 
  • > Geht in der Praxis nicht so leicht 
• Praxis
  • Mehrfach wiederholte Testdurchführung mit denselben Probanden kaum sinnvoll 
• Üblicherweise keine quantitativen Angaben 
• Bewertung der Durchführungsobjektivität anhand von Plausibilitätserwägungen 

= Ausmaß, in dem das Verhalten der Testperson eindeutig in Testwerten abgebildet wird 

• Repräsentationstheorie der Messung 
  • Messung = linkstolerante und rechtseindeutige Abbildung einer Objektmenge (=Empirisches Relativ) in einer Wertemenge (numerisches Relativ) 
  • Verhalten der Testperson = Objektmenge
  • Testwerte = Wertemenge 
• Auswertungsobjektivität ist gegeben, wenn gleiches Verhalten der Testperson stets zu gleichen Testwerten führt
• Wo wir hohe Auswertungsobjektivität haben: 
  • Multiple Choice und Ratingskalen mit festen Lösungsschlüssel, also wo von Anfang an klar ist, was welche Antwort bedeutet 
  • Z.B. Raven, PANAS, EPQ, ...
• nicht so hohe Auswertungsobjektivität: 
  • Freies Antwortformat 
  • Z.B. HAWIE "Allgemeines Verständnis " - "warum haben Autos Sicherheitsgurte?"
• Ganz niedrige Auswertungsobjektivität:
  • Aufsätze, projektive Verfahren 

Quantitative Bestimmung 

• Die Testprotokolle von mehreren Probanden werden von verschiedenen Testauswertern ausgewertet
• Objektivität =(mittlere) Korrelation der Testergebnisse zwischen verschiedenen Testauswertern
  • Unterschiedlich "strenge" Bewertung durch die Testleiters > Mittelwertsvergleichs, Intraklassen-Korrelation 

= Ausmaß, in dem die Schlussfolgerungen, die aus den Testscores abgeleitet werden, unabhängig vom Diagnostiker sind 

• "Statistische" Vorgehensweise 
  • Interpretation mittels statistischer Regeln
    • Ermittlung der individuellen Position eines Probanden in der Population anhand von Normtabellen, z.b IQ = 130 >> Prozentrang 97.7
    • Vorhersage eines Kriteriumswertes mittels Regression 
  • Perfekte Interpretationsobjektivität weil es eindeutige Regeln gibt, an die sich alle halten müssen und orientieren können 
• Klinische Vorgehensweise 
  • Interpretation nach dem subjektiven Ermessen 
    • Intuition, Erfahrung; z.B. projektive Test 
  • Geringere Interpretationsobjektivität 

• Messung = linkstolerante und rechtseindeutige Abbildung einer Objektmenge (=empirisches Relativ) und einer Wertemenge (=numerisches  Relativ) 
• Verhalten der Testperson = Objektmenge 
• Testwerte = Wertemenge 

= Ausmaß, mit dem mittels Repräsentationsschluss vom Test auf das Zielmerkmal geschlossen werden kann > Stichprobe ist repräsentativ für die gesamte Population!

Repräsentationsschluss:

• Test = Stichprobe von Verhaltensweisen 
• Zielmerkmal = Population von Verhaltensweisen 
• Inhaltliche Validität: Stichprobe ist repräsentativ für Population 

Beispiele für Tests mit hoher inhaltlichen Validität:

• Prüfung für Fahrtauglichkeit (>Verhaltensstichprobe)
• Schulleistungstests (>Verhaltensstichprobe)
• Führerscheinprüfung (>Verhaltensstichprobe)
• Ishihara-Farbtest

> Bei augenscheinlich gegebenerer inhaltlicher Validität ist keine formale Bestimmung notwendig! 

• Quantitative Bestimmung: 
  1. Das zu messende Konstrukt wird begrifflich oder theoretisch definiert ("unter impulsiven Verhalten verstehen wir ...")
  2. Die Items des Test werden unabhängigen Ecpetten vorgelegt; diese bewerten die Übereinstimmung der Items mit der Definition des Konstruktes 
     • Ratingskalen eignen sich dafür 
     • "1=geringe Übereinstimmung von Item und Konstruktdefinition"
     • "9=hohe Übereinstimmung von Akten und Konstruktdefinition"
  3. Die Übereinstimmung zwischen Experten wird quantifiziert (sehen diese die Übereinstimmung ähnlich oder eher unterschiedlich?) 
     • Mittels Intraklassenkorrelation, Konkordanzkoeffizient, Ü-Koeffizient, ...
  • Inhaltsvalidität = durchschnittliches Ecpertenurteil
  • Beurteilungsübereinstimmung = Maß der Genauigkeit der Inhaltsvalidität
  • > Wird in der Regel nicht so gemacht 
• Experimentelle Bestimmung 
  • Übliche Methode die Inhaltsvalidität zu bestimmen 
  1. Das zu lesende Konstrukt wird begrifflich oder theoretisch definiert 
  2. Die Definition wird 2 unabhängigen Experten(Gruppen) vorgelegt; diese konstruieren Items nach der rationalen Methode 
     • "Das Kind wirft Spielzeugt an die Wand"
  3. Beide Itemsammlungen (Tests) werden einer Stichprobe vorgelegt 
  4. Die Übereinstimmung zwischen den Testergebnissen wird quantifiziert 
     • Pearson-Korrelation 
  • Testübereinstimmung = Maß der Inhaltsvalidität 

= Ausmaß, mit dem mittels Korrelationschluss vom Test auf das Zielmerkmal geschlossen werden kann 

Korrelationsschluss: 

• Test = Indikatoren für ein Konstrukt (Merkmal; Surplus Meaning > Eigeschaftsdiagnostik)
• Zielmerkmal = Kriterium 
• Korrelationsschluss muss stets empirisch ermittelt werden 
• Testwerte werden mit Außenkriterien korreliert 
  • Außenkriterium: individuelle Unterschiede im Zielmerkmal, die unabhängig vom Test bestimmt werden können 
  • Beispiel: IQ-Test und Studienleistung
• Daraus ermittele ich den Korrelationskoeffizient r_tc= Korrelation zwischen Test und Kriterium

• Reliabilität des Tests
• Reliabilität des Kriteriums
• Grad der konzeptuellen Gemeinsamkeit zwischen Test und Kriterium = Kommunalität
  • Bezieht sich auf Übereinstimmung zwischen Test und Kriterium nach Absehung ihrer Unreabilität 
  • Korrelation der True-Score-Variablen vom Test und Kriterium 
  • Um auf den ensprechenden Truescore zu kommen wurde die doppelte Minderheitskorrektur eingeführt

Doppelte Minderungskorrektur

• > Korrelation von Truescore Variablen (können wir nicht direkt messen!)
• Gegeben ist die Korrelation zwischen Testvariablen Y₁ und Y₂ und eine Schötzung ihrer Reliabilitäten Rel(Y₁) und Rel(Y₂) 
• Frage: wie hoch korrelieren die True-Score-Variablen der beiden Testvariablen, also wie hoch ist Kor(T₁, T₂)?
• Wie können wir das bestimmen?: Correction für Attenuation (Spearman,1910) bzw. der doppelten Minderungskorrektur 
• [ = die Korrelation der Truescore Variablen ist gleich die Korrelation der beiden Testvariablen Y geteilt durch die Wurzel der Reliabilität von Y1 mal der Wurzel der Reliabilität von Y2 ]
• Aus dieser Gleichung folgt, dass die Truescore Variablen Korrelation immer größer ist als die der gemessen Variablen. Das liegt daran, weil die Reliabilität im besten Fall nur 1 sein kann
• D.h.: die Korrelation der Testscore-Variablen unterschätzt stets die Korrelation der True-Score-Variablen! 
  • Die Unreabilität der Testvariablen "mindert" die Korrelation ihrer True-Score-Variablen 
• Zudem: Die Korrelation von zwei messfehlerbehafteten Variablen kann nicht größer ausfallen als das geometrische Mittel der Reliabilitäten dieser Variablen 

Einfache Minderungskorrektur 

• Es wird angenommen, dass die Variablen Y1 praktisch fehlerfrei gemessen wurde
• Dann gilt, dass die gemessen Variable Y1 der Truescore 1 entspricht und die Reliabilität von Y1 damit 1 ist 
• Dementsprechend vereinfacht sich die doppelte zu einer einfachen Minderungskorrektur, weil wir im Nenner nur noch die Wurzel der Reliabilität von Y2 haben 

• generell wird die Minderungskorrektur bei der Kriteriumsbezogenen Validität angewendet weil die Validität ohne Minderungskorrektur wegen der Unreabilität der Testscorevariablen deutlich unterschätzt wird
• Zur Validierung eines Tests wird oft die Korrelation r_tc Zwischen den Testscore und einem externen Kriterium untersucht (Beispiel: kann die Leistung im Intelligenztest Schulerfolg vorhersagen?)
• Diese Korrelationen fallen meist echt moderat aus... :/
• Frage 1: Kann das an den Unreabilitäten vom Test- und Kriteriumsvariablen liegen? 
• Frage 2: Und wie hoch ist rtc, wenn für Unreabilität korrigiert wird? 

• Die maximale Korrelation, die eine fehlerbehaftet Variable mit einer anderen Variable haben kann, wird als Reliabilitätsindex r_Yt  bezeichnet 
• > Der Reliabilitätsindex ist die Korrelation einer messfehlerbehafteten Variablen mit ihrem True-Score! 
• Der Reliabilitätsindex ist die Obergrenze für die Validität eines Tests --> die Validität eines Tests kann seine Reliabilitätsindex nicht überschreiten! 

1. Aus der Annahme unkorrelierter Fehler folgt, dass der Zusammenhang zwischen zwei Variablen durch eine Überlagerung der Truescores mit unsystematischen Fehlern gemindert wird
2. Aus Ausmaß der Minderung ist abhängig von der Unteabilität der Variablen 
3. Um den Einfluss der Unreabilität auf die Höhe der Korrelation abzuschätzen, stehen Minderungskorrekturen zu Verfügung 

• Anwendung auf die Validität eines Testes bezüglich eines Kriteriums 
  • Einfach minderungskorrigierter Validitätskoeffizient: Validität eines Tests, wenn entweder der Test oder das Kroterium perfekt reliabel wäre 
  • Doppelte Minderungskorrektur: Validität eines Testes, wenn Test und Kriterium perfekt reliabel wären 

1. Eine Variable kann mit einer anderen Variablen nicht höher korrelieren als mit ihrem wahren Wert. Die Obergrenze dafür ist der Reliabilitätsindex als Wurzel aus der Reliabilität 

Es gibt verschiedene Arten von Kriterien, die wir für die Kriteriumsbezogene Validität anwenden können

Problem 1: welche Kriterien? 

• Häufig viele Kriterien denkbar 
• Konsequent: ein Test hat so viele Validitäten, wie es vernünftige Kriterien für das Konstrukt gibt! 

Problem 2: (inhaltliche) Validität des Kriteriums

• "Echte Kriterien"
  1. Theoretisch Übereinstimmung zwischen Konstrukt und Kriterium ist geben 
  2. Kriterium hat hohen Status, d.h. Ist verlässlich und entscheidungsrelevant 
  • Beispiel: Schuleignung als Kriterium für Binets Staffeltest 
• Quasi-Kriterien 
  • Nur theoretische Übereinstimmung von Konstrukt und Kriterium gegeben, kein hoher Status
  • Beispiel: Binets Staffeltest als Kriterium für Wechsler Intelligenztest 
• Target-Variable
  • Weder theoretische Übereinstimmung von Konstrukt und Kriterium, noch hoher Status --> einfach eine Variable die uns Interessiert
  • Target-Variable = ein aus sachlichen Gründen interessierendes Außenkriterium soll durch einen Test vorhergesagt werden 
    • Suizidrisiko bei psychiatrische Patienten 
    • Unfallneigung bei Beschäftigten in einem Betrieb 
  • Prognostisches Ziel: Maximierung der Trefferquote 
  • Effektivität = Korrelation zwischen Test und Target-Variable
  • Effektivität sagt wenig über Validität des Tests aus (aber informiert über seine Anwendungsmöglichkeiten) 
  • Beispiel: Unfallneigung von Kindern als Target-Variable für Wechsler Intelligenztest 

• Konkurrente Validität (= Übereinstimmungsvalidität) 
  • Test und Kriterium werden zeitgleich erhoben 
  • Ideal: Varianh des Kriteriums lässt sich auf Varianz des Tests zurückführen--> Kriterium wird durch Test expliziert! (Intelligenz > schulische Leistung)
  • Problem: Henne-Ei, was bedingt was? 
• Prädiktive Validität 
  • Zuerst wird der Test erhoben, später (Monate; Jahre) das Kriterium 
  • Varianz des Kriteriums lässt sich nun besser auf Varianz des Tests zurückführen (Intelligenz mit 10 Jahren > schulische Leistung mit 18 Jahren) 
  • Zeitliche Ordnung führt die Kausalität ein 
  • Ist meist deutlich geringer als die Konkurrente Validität 

• Ultimative Kriterien (eigentliche Kriterien)
  • Sind das, was eig durch die Diagnose vorhergesagt werden soll
  • Meist komplexe Konstrukte 
  • Lassen sich mit letzter Sicherheit erst zu einem sehr späten Zeitpunkt im Leben bestimmen
  • Beispiel: Berufserfolg
    • Gemessen zum Beispiel an Höchste erreichte Position, "Lebensleistung", zuletzt erzieltes Einkommen
  • Riesiger Aufwand, daher kaum Verwendung in empirischen Validitätsstudien

• Aktuelle Kriterien
  • Sollen Indikator über die ultimativen Kriterien geben 
  • Leichter verfügbar und geeignet für empirische Validitätsstudien
  • Sind nur vorläufig und erfassen das ultimative Kriterium oft nur unzureichend 
  • Beispiel Berufserfolg
    • Momentan eingenommen Stellung, momentanes Einkommen, oft nur produzierte Stückzahl oder Fehlzeiten 

Beziehung zwischen ultimativen und aktuellen Kriterien 

• Kriteriumskontamination
  • Eigenständigkeit des aktuellen Kriteriums 
  • ~ spezifische Varianz des aktuellen Kriteriums 
• Kriteriumsrelevanz 
  • Wechselseitige Überlappung (Kommunalität) zwischen aktuellem und ultimativen Kriterium 
  • ~gemeinsame Varianz von aktuellem und ultimativem Kriterium 
• Kriteriumsdefizite 
  • Aspekte des ultimativen Kriteriums, die durch die aktuellen Kritetien nicht erfasst werden 
  • ~ spezifische Varianz des ultimativen Kriteriums 

• Einschränkung der Variabilität in Test oder Kriterium aufgrund von Stichprobenselektion mindert die Validitäts-koeffizienz 
• Lösung: Korrekturformeln für eingeschränkte Varianzen 

• Hohe oder niedrige Validitätskoeffizienten sagen nicht zwingend etwas über Korrelation der Konstrukte von Test und Kriterium aus 
• Aber: Validitätskoeffizienten lassen sich als Heuristik zur Beurteilung der Validität eines Tests gut verwenden!