Diagnostische Psychologie

Erweiterung der Testhalbierungsmethode

• Test wird in so viele Teile aufgeteilt, wie er Items hat
• jedes Item ist ein „Testteil“
• Korrelationen zwischen allen Items berechnen  = Schätzung der Reliabilität der Items
• Hochrechnung der Reliabilität für gesamten Test
• Annahme: alle Items messen dieselbe True-Score-Variable bzw. die Items sind konsistent > Konsistenzmaße
• Gesamter Testscore = Summe der Items 

S = Y1+Y2+Y3+ ... 

• Varianz: 

Var (S) = Summe aus Var(Yi) + Summe aus Cov(Yi, Yj)

• Wichtige Einsicht: Die Varianz des Testscores setzt sich zusammen aus der Varianz der Items plus der Kovarianz der Items!

• hohe Konsistenz der Items

alle Items messen etwas sehr ähnliches

also macht Summe aus Cov(Yi, Yj) einen großen Anteil an Var(S) aus

also ist Summe aus Cov(Yi, Yj)/Var(S) „groß“

• niedrige Konsistenz der Items

alle Items messen etwas anderes

also macht Summe aus Cov(Yi, Yj) einen geringen Anteil an Var(S) aus

also ist Summe aus Cov(Yi, Yj)/Var(S) „klein“

•  einfaches Konsistenzmaß Kon(Yi) = Anteil der Kovarianz der Items an der Varianz des Testscores

Kon (Yi) = Summe aus Cov(Yi, Yj)/Var(S)

--> kann auch umgeschrieben werden 

siehe Folien 

siehe Folien

1) Yi= taui+epsiloni --> "Messwert besteht aus wahren Wert und Fehler" 

2) E(epsiloni) = 0 --> "Erwartungswert des Fehlers ist 0" 

3) Cov (taui, epsiloni) = Cov (taui, epsilonk) = Cov (epsiloni, epsilonk) = 0 --> "Fehler sind unkorreliert" 

• aus diesen Axiomen lassen sich alle Formeln der KTT ableiten 

• keine präzise Definition von „wahren Wert“ und „Fehler“
• keine Differenzierung zwischen Definitonen (sind nicht wahr/falsch, sondern "zweckmäßig/unzweckmäßig"), Mathematischen Konsequenzen (können nie falsch sein!) und Annahmen (können falsch sein) 

• Axiome der KTT sind empirisch nicht überprüfbar 
• Annahme einer absoluten Stabilität von True-Scores ist nur bei kurzen Messintervallen vertretbar
• KTT setzt mindestens Intervallskalenqualität der Testscores voraus
• Reliabilitätsschätzungen sind stichprobenabhängig (> Problem der Generalisierbarkeit bzw. der Verbindlichkeit der Resultate
• Gruppenstatistiken lassen sich logisch nicht auf den Einzelfall übertragen (der True-Score des diagnostischen Einzelfalls ist unbekannt)
• Bewertung: „Trotz (weniger) theoretischer Schwächen haben sich die nach der KTT entwickelten Tests bewährt.“

• Validität: Gültigkeit Ausmaß, mit dem ein Test tatsächlich das Konstrukt misst, das er messen soll oder zu messen vorgibt
• Hohe Validität: erlaubt eine Generalisierung vom numerischen Relativ auf das empirische Relativ

           --> Repräsentationstheorie der Messung

          Messung = linkstotale und rechtseindeutige Abbildung einer Objektmenge (= empirisches Relativ) in eine Wertemenge (numerisches Relativ)

          Verhalten der Testperson = Objektmenge • Testwerte = Wertemenge

• Objektivität und Reliabilität schaffen günstige Voraussetzung für Validität

• Inhaltliche Validität = Ausmaß, mit dem mittels Repräsentationsschluss vom Test auf das Zielmerkmal geschlossen werden kann
• Repräsentationsschluss

          Test = Stichprobe von Verhaltensweisen

          Zielmerkmal = Population von Verhaltensweisen

          Inhaltliche Validität: Stichprobe ist repräsentativ für Population

• Beispiele für Tests mit hoher inhaltlicher Validität

         Prüfung für Farbtüchtigkeit (> Verhaltensstichprobe)

         Schulleistungstests (> Verhaltensstichprobe)

         Führerscheinprüfung (> Verhaltensstichprobe)

• bei augenscheinlich gegebener inhaltlichen Validität ist keine formale Bestimmung notwendig

(1) Das zu messende Konstrukt wird begrifflich oder theoretisch definiert. -->  „Unter impulsiver Aggression verstehen wir....“ (2) Die Items des Tests werden unabhängigen Experten vorgelegt; diese bewerten die Übereinstimmung der Items mit der Definition des Konstruktes.

• Ratingskalen 
• „1=geringe Übereinstimmung von Item und Konstruktdefinition“
• „9=hohe Übereinstimmung von Item und Konstruktdefinition“

(3) Die Übereinstimmung zwischen den Experten wird quantifiziert.

• Intraklassenkorrelation, Konkordanzkoeffizient, Ü-Koeffizient, ...
• Inhaltvalidität = durchschnittliches Expertenurteil
• Beurteilerübereinstimmung = Maß der Genauigkeit der Inhaltsvalidität

(1) Das zu messende Konstrukt wird begrifflich oder theoretisch definiert. -->  „Unter impulsiver Aggression verstehen wir....“

(2) Die Definition wird 2 unabhängigen Experten(gruppen) vorgelegt; diese konstruieren Items nach der rationalen Methode. -->  „Das Kind wirft Spielzeug an die Wand.“

(3) Beide Itemsammlungen (Tests) werden einer Stichprobe vorgelegt.

(4) Die Übereinstimmung zwischen den Testergebnissen wird quantifiziert. --> Pearson-Korrelation

• Testübereinstimmung = Maß der Inhaltsvalidität

• Kriteriumsbezogene Validität = Ausmaß, mit dem mittels Korrelationsschluss vom Test auf das Zielmerkmal geschlossen werden kann
• Korrelationsschluss

          --> Test = Indikatoren für ein Konstrukt (Merkmal; surplus meaning > Eigenschaftsdiagnostik)

          --> Zielmerkmal = Kriterium

          --> Korrelationsschluss muss stets empirisch ermittelt werden.

          --> Testwerte werden mit Außenkriterium korreliert

               Außenkriterium: individuelle Unterschiede im Zielmerkmal, die unabhängig vom Test bestimmt werden können

               Beispiel: IQ-Test und Studienleistung

• Validitätskoeffizient rtc = Korrelation zwischen Test und Kriterium

• Reliabilität des Tests
• Reliabilität des Kriteriums
• Grad der konzeptuellen Gemeinsamkeit zwischen Test und Kriterium = Kommunalität

          --> bezieht sich auf Übereinstimmung zwischen Test und Kriterium nach Absehung ihrer Unreliabilitäten

          --> Korrelation der True-Score-Variablen von Test und Kriterium

          --> doppelte Minderungskorrektur

--> Korrelation von True-Score-Variablen

• Gegeben ist die Korrelation zwischen zwei Testvariablen Y1 und Y2 und eine Schätzungen ihrer Reliabilitäten  Rel(Y1) und Rel(Y2).
• Frage: Wie hoch korrelieren die True-Score-Variablen der beiden Testvariablen, also wie hoch ist Kor(tau1, tau2
• Antwort: Correction for Attenuation (Spearman, 1910) bzw. „doppelte Minderungskorrektur“

Kor(tau1,tau2) = Kor(Y1, Y2)/ Wurzel aus Rel(Y1) x Wurzel aus Rel(Y2) 

• Die Korrelation der True-Score-Variablen ist stets größer als die Korrelation der Testscore-Variablen,
• m.a.W: Die Korrelation der Testscore-Variablen unterschätzt stets die Korrelation der True-Score-Variablen!
• Die Unreliabilität der Testvariablen „mindert“ die Korrelation ihrer True-Score-Variablen.
• „correction for attenuation“, „Minderungskorrektur“

• Wird angenommen, dass die Variable Y1 praktisch fehlerfrei gemessen wurde, so gilt:

Y1 = tau1 + 0 = tau1 

Rel(Y1) = 1 

•  Dementsprechend vereinfacht sich die „doppelte“ Minderungskorrektur zu einer einfachen Minderungskorrektur:

Kor (Y1, tau2) = Kor(Y1, Y2)/Wurzel aus Rel(Y2)

• Zur Validierung eines Tests wird oft die Korrelation rtc zwischen dem Testscore und einem externen Kriterium untersucht.

            Beispiel: Kann die Leistung im Intelligenztest den Schulerfolg vorhersagen?

• Diese Korrelationen fallen meist recht moderat aus...

• Korrmax(Y1, Y2) = Wurzel aus Rel(Y1) x Wurzel aus Rel(Y2)

• Aus der Annahme unkorrelierter Fehler folgt, dass der Zusammenhang zwischen zwei Variablen durch eine Überlagerung der Truescores mit unsystematischen Fehlern gemindert wird.
• Das Ausmaß der Minderung ist abhängig von der Unreliabilität der Variablen.
• Um den Einfluss der Unreliabilität auf die Höhe der Korrelationen abzuschätzen, stehen Minderungskorrekturen zur Verfügung.
• Anwendung auf die Validität eines Tests bezüglich eines Kriteriums

         --> einfach minderungskorrigierter Validitätskoeffizient: Validität eines Testes, wenn entweder der Test oder das Kriterium perfekt reliabel wären.

         --> doppelt minderungskorrigierter Validitätskoeffizient: Validität eines Testes, wenn Test und Kriterium perfekt reliabel wären.

Problem 1: welche Kriterien?

• häufig viele Kriterien denkbar
• Konsequenz: ein Test hat so viele Validitäten, wie es vernünftige Kriterien für das Konstrukt gibt!

Problem 2: (inhaltliche) Validität des Kriteriums

• „Echte Kriterien“

        (1) theoretische Übereinstimmung zwischen Konstrukt und Kriterium ist gegeben

        (2) Kriterium hat hohen Status, d.h. es ist verlässlich und entscheidungsrelevant --> Beispiel: Schuleignung als Kriterium für Binets Staffeltest

• Quasi-Kriterien

        nur theoretische Übereinstimmung von Konstrukt und Kriterium gegeben, nicht aber hoher Status

        --> Beispiel: Binets Staffeltest als Kriterium für Wechslers Intelligenztest

• Target-Variable

         --> Keine theoretische Übereinstimmung von Konstrukt und Kriterium gegeben

         --> Target-Variable = ein aus sachlichen Gründen interessierendes Außenkriterium soll durch einen Test vorhergesagt werden

          Suizidrisiko bei psychiatrischen Patienten

          Unfallneigung von Beschäftigten in einem Betrieb

        --> prognostisches Ziel: Maximierung der Trefferquote

        --> Effektivität = Korrelation zwischen Test und Target-Variable

        --> Effektivität sagt wenig über die Validität des Tests aus (aber informiert über seine Anwendungsmöglichkeiten

        --> Beispiel: Unfallneigung von Kindern als Target-Variable für Wechslers Intelligenztest

Ultimative Kriterien (= „eigentliche“ Kriterien)

• ... sind das, was eigentlich durch die Diagnose vorhergesagt werden soll
• ... sind meist komplexe Konstrukte
• ... lassen sich mit letzter Sicherheit erst zu einem sehr späten Zeitpunkt im Leben bestimmen
• Beispiel: Berufserfolg

          --> höchste erreichet Position

          --> Produktivität = „Lebensleistung“

          --> zuletzt erzieltes Einkommen

• ... lassen sich in empirischen Validitätsstudien kaum verwenden (Aufwand!)

„Aktuelle“ Kriterien

• ... sollen Aufschluss über die ultimativen Kriterien geben
• ... sind leichter verfügbar und können deshalb für empirische Validitätsstudien genutzt werden
• ... sind aber nur vorläufig
• ... erfassen das ultimative Kriterium oft nur unzureichend
• Beispiel: Berufserfolg

        momentan eingenommene Stellung

        momentanes Einkommen

        oft nur produzierte Stückzahl, produzierter Ausschuss, Fehlzeiten, ...

• Kriteriumskontamination

        --> Eigenständigkeit des aktuellen Kriteriums

        --> spezifische Varianz des aktuellen Kriteriums

• Kriteriumsrelevanz

        --> Wechselseitige Überlappung (Kommunalität) zwischen aktuellem und ultimativem Kriterium

        --> gemeinsame Varianz von aktuellem und ultimativem Kriterium

• Kriteriumsdefizienz

        --> Aspekte des ultimativen Kriteriums, die durch die aktuellen Kriterien nicht erfasst werden

        --> spezifische Varianz des ultimativen Kriteriums

• Einschränkung der Variabilität in Test oder Kriterium aufgrund von Stichprobenselektion mindert die Validitäts-koeffizienten

         -->  Korrekturformeln für eingeschränkte Varianzen

• Hohe oder niedrige Validitätskoeffizienten sagen nicht zwingend etwas über die Korrelation der Konstrukte von Test und Kriterium aus.

         --> Aber: Validitätskoeffizienten lassen sich als Heuristik zur Beurteilung der Validität eines Tests verwenden.

• Konstruktvalidität (Cronbach & Meehl, 1955) = Einbettung des mit einem Test erfassten Konstruktes in das nomologische Netzwerk anderer (ähnlicher oder unähnlicher) Konstrukte

         --> „Nomologie“: Gesetzeslehre

         --> Konstruktvalidität = (überspitzt) Einbettung eines Tests in das nomologische Netzwerk der gesamten Psychologie

• Konstruktvalidierung ist ein (unendlicher) Prozess, der nur im Rahmen von Forschungsprogrammen realisiert werden kann.
• Es gibt keine spezifische Methode zur Konstruktvalidierung.
• Es gibt keine Kennwerte für Konstruktvalidität.

• Problem: Jedes Messergebnis hängt auch von der Messmethode ab.

          --> Konstrukt und Methode konfundieren bei einer Messung

          --> Beispiel: unterschiedliche Intelligenztests (Raven, HAWIE) liefern bei demselben Probanden systematisch (!) unterschiedliche Testwerte

• Ziel: Trennung von Konstrukt- und Methodenvarianz
• Methode: Multitrait-Multimethod-Analyse

         --> Campbell & Fiske (1959)

         --> betrachtet nur einen kleinen Ausschnitt aus dem nomologischen Netzwerk

• 2 unterschiedliche Konstrukte werden mit 2 unterschiedlichen Methoden in einer Stichproben erhoben.

         --> Konstrukte: Extraversion E, Neurotizismus N

         --> Methoden: Selbstbeschreibung, Fremdbeschreibung

• Auswertung: Die vier Messwerte ESelbst, EFremd, NSelbst, NFremd werden korreliert.

        --> Multitrait-Multimethod-Matrix

• Die mit verschiedenen Methoden gemessenen Werte eines Konstruk- tes korrelieren hoch: konvergente Validität
• Die mit derselben Methode gemessenen Werte verschiedener Konstrukte korrelieren niedrig: geringe Methodenspezifität!
• Die mit verschiedenen Methoden gemessenen Werte verschiedener Konstrukte korrelieren niedrig: diskriminante Validität

• Widerspruch zwischen gleichzeitig hoher Validität und hoher Reliabilität
• Wird in zwei Kontexten diskutiert

         – Indirekte Veränderungsmessung = Die Reliabilität von Differenzen ist umso höher je geringer die Retest-korrelation ausfällt  --> Letzteres nährt Zweifel an der Validität

          - Allgemeine Testeigenschaften

           --> Je höher die Reliabilität umso geringer die Validität und vice versa

• Intelligenztests als die vermutlich erfolgreichsten Verfahren der psychologischen Diagnostik
• Erstaunlich gute Vorhersagen in vielen Lebensbereichen

– Schulerfolg

– Ausbildungserfolg

– Berufserfolg

– Wohlstand

– risiko-bezogene Verhaltensweisen

– deviante und kriminelle Verhaltensweisen

– stabile Partnerschaft (vs. Scheidungsrate)
 

nach Messbereich 

• unterdurchschnittlich (Lernbehinderung) 
• durchschnittlich 
• überdurchschnittlich (Hochbegabung) 

dem zu messenden Merkmal 

• allgemeine Leistungstests
• spezielle Leistungstests (z.B.: zur Erfassung des technisch-mechanischen Verständnisses, Rechenfertigkeiten, Rechtschreibkenntnisse, etc. ) 

dem Anwendungskontext 

• generelle Verfahren (Einsatzgebiete: Forschung, jedoch auch in den Anwendungsgebieten
• anwendungsbezogene Verfahren (z.B. berufsbezogene Intelligenztests; Schulleistungstests)

• Erste Version von Wechsler Ende der 30er Jahre entwickelt
• erste veröffentlichte Version: Wechsler-Bellevue-Intelligence Scale (Wechsler, 1939)
• wurde in den 40er Jahren um eine Version für Kinder erweitert
• Revidierte Version für Erwachsene: Wechsler Adult Intelligence Scale (Wechsler, 1955)
• Beide Versionen sind bis heute in revidierten Formen im Einsatz (HAWIK III, Tewes, Rossmann & Schallberger, 1999; HAWIE-R, Tewes, 1991)

Zielstellung der Testentwicklung:

• Testverfahren für Erwachsene
• gute Differenzierung bei klinischen Personen (z. B. Hirnschäden), daher Ergänzung des Verbalteils (im Sinne des Stanford-Binet-Tests) um einen Handlungsteil

Verbalteil 

• Allgemeines Wissen 
• Allgemeines Verständnis 
• Gemeinsamkeiten finden 
• Wortschatztest 
• Zahlennachsprechen 
• Rechnerisches Denken 

Handlungsteil 

• Zahlen-Symbol-Test
• Bilder ordnen 
• Bilder ergänzen 
• Mosaiktest 
• Figuren legen 

Vorteile 

• Faktorenanalysen belegen die zweifaktorielle Struktur
• Validitätsbelege für Schulnoten und Lehrerbeurteilungen der Intelligenz
• Für den Einsatz im pädagogischen und klinischen Kontext geeignet 

Nachteile 

• explorativ formuliertes Intelligenzkonzept – keine theoretische Fundierung
• daher auch die Unterscheidung in Verbal- und Handlungsteil eher willkürlich (z.B. Aufgabe „Zahlennachsprechen“ im verbalen Teil)

• seit den 30er Jahren von David Wechsler entwickelt
• Anwendung im klinischen Kontext
• am häufigsten eingesetzte Verfahren in Deutschland
• Intelligenz = „die zusammengesetzte oder globale Fähigkeit des Individuums, zweckvoll zu handeln, vernünftig zu denken und sich mit seiner Umgebung wirkungsvoll auseinander zusetzen“ (Wechsler, 1956)
• HAWIK-III (Hamburg-Wechsler-Intelligenztest für Kinder)  --> basiert auf Wechsler Intelligence Scale for Children III, deutsch: Tewes, Rossmann & Schallenberg (2001)
• HAWIE-R (Hamburg-Wechsler-Intelligenztest für Erwachsene)  --> basiert auf Wechsler Adult Intelligence Scale – Revised, deutsch: Tewes (1994)
• HAWIVA-III (Hannover-Wechsler-Intelligenztest für das Vorschulalter)  --> basiert auf Wechsler Preschool and Primary Scale of Intelligence  --> deutsch: Fritz-Stratmann, Ricken, Schuck und Preuß (2007)
• AID-2 (Adaptives Intelligenzdiagnostikum 2) --> basiert auf dem HAWIK-III --> Kubinger und Wurst (2000)

7.2. Intelligenztest Wechsler-Tests für allgemeine Intelligenz
14

• Ziel: Messung der fluiden Intelligenz frei von soziokulturellen Einflüssen (Erziehung, Ethnie)
• Material: sprachfrei, „kulturunabhängig“
• CFT 1

            --> Cattell, Weiß und Osterland (1997)

            --> Kinder bis 9 Jahre

            --> ergänzt durch Erfassung der Wahrnehmungsgeschwindigkeit

• CFT 20

            --> Weiß (1998)

            --> ergänzt durch Erfassung von kristallisierter Intelligenz

            --> ältere Kinder und erwachsene mit einfacher Schulbildung

• CFT 3

            --> Cattell und Weiß (1971)

            --> Jugendliche ab 14 Jahre und Erwachsene mit höherer Schulbildung

Vorteile 

• Sprachfrei 

          - gut geeignet für Personen mit mangelnden Sprachkenntnissen

          - unabhängig von kultur- und schichtbezogenen Einflüssen

• sehr gute Reliabilitätswerte
• Validität: höhere Zusammenhänge zu Mathe-, im Vergleich zu Deutschnote

Nachteile

• erfasst nur einen Aspekt der Intelligenz (z.B verbale Fähigkeiten per Definition nicht erfasst)
• Nahezu unbegrenzte Zeit bei der Bearbeitung (Powertest) problematisch bei Gruppentestungen