Diagnostik

• wir machen uns das Problem zu nutze 
• Problem: Jedes Messergebnis hängt auch von der Messmethode ab
• Ziel: Trennung 
• Durchführung 

= wahre Wert einer Person 

Der True-Score wird definiert als bedingter Erwartungswert von dem Messwerten, 

= Die Abweichungen der Testwerte Yi vom True-Score werden definiert als Fehlerwerte Epsilon_i  

= der Anteil der Varianz einer Testvariablen Yi, der auf die Varianz der True-Score Variable tau i zurückgeführt werden kann 

Sollte feste Grenzen haben die sich nicht verschieben

Berechnung: 

Für die exakte Berechnung müsste die Varianz der True-Score Variablen bekannt sein, die sind aber nicht! Deshalb kann der Reliabilitätskoeffizient niemals berechnet werden

Kann aber unter bestimmt Unständen gut geraten werden 

..... 

Achtung: diese Konzequenzen können in keiner empirischen Anwendung falsch sein! 

Lösung 

Gefährdung:

• Unterschiedliche Instruktionen 
• Unterschiedliche Launen des Testleiters, Auswerters, Gutachters 
• Und viel mehr ...

Gegenmaßnahmen:

• Maximale Standardisierung der Testsituation ist der Goldstandard! 
• Identisches Testmaterial und Zeitvorgabe
• Identische Instruktionen (schriftliche Vorgabe oder auswendig gelernt) 
• Regeln, wie auf Nachfragen oder Störung reagiert wird 
• Minimale soziale Interaktion zwischen Testleitung und Testperson 
• Maximale Standardisierung der Testauswertung 
• Interpretation mittels statistischer Regeln 
  • Ermittlung der individuellen Positionen eines Probanden in der Population anhand von Normtabellen, z.B IQ = 130 --> prozentrang 97.7

• Graphische Modelle wie Pfaddiagramme können in Definitionsgleichungen umgewandelt werden, welche wieder eindeutig in Strukturgleichungen überführbar 
• Strukturgleichungen sagen etwas über die Zusammenhänge der Varianzen und Covarianzen aus
• So können wir Graphische Modelle empirisch überprüfen und geprüft werden, ob die für das Modell angenommen Hypothesen mit den gegebenen Variablen übereinstimmen 
• Wenn sich am Ende des Verfahrens die Tabellen noch stark unterscheiden, können wir das Graphische Modell verwerfen. Dann ist es offensichtlich nicht möglich, das Theoretische Modell mit dem Empirischen Daten über die Modellparametern in Einklang zu bringen 
• Damit können die meisten Psychologischen Theorien geprüft werden!
•  

= Methode der größten Plausibilität 

• Parametrisches Schätzverfahren
• Vereinfacht gesagt: es wird der Parameter als Schätzung ausgewählt, gemäß dessen Vereilung die Realisierung der beobachteten Daten am plausibelsten erscheint
•  

Frage: Warum werden Intentionen oft nicht ins Verhalten umgewandelt? > Warum zeigen Menschen nicht soviel positives Verhalten, wie sie möchten?

• Ein Modelltest ist ein Nullhypothesentest

• Erweiterung der Testhalbierungsmethode
• Testhalbierungsmethode
  • Test wird in 2 Hälften aufgeteilt
  • Korrelation zwischen beiden testhälften berechnet
• Erweiterung der Methode
  • Test wird in so viele Teile aufgeteilt, wie er Items hat > jedes Item ist ein Testteil
  • Korrelation zwischen allen Items berechnen = Schätzung der Reliabilität der Items
  • Hochrechnung der Reliabilität für gesamten Test
  • Annahme: alle Items messen dieselbe True-Score-Variable bzw die Items sind Konsistent => Konsistenzanalyse

Wie sieht die Varianz von Items aus? 

Aggregation der Items:

• Wichtige Einsicht: die Varianz der Testscores setzt sich zusammen aus der Varianz der Items plus der Kovarianz der Items!
•  

Formel: Var(S) = Summe Var(Y_i) + Summe Cov(Y_i , Y_j)

Hohe Konsistenz der Items: 

• Alle Items messen etwas sehr ähnliches 
• Die Summe der Kovarianz macht also einen grossen Anteil von der Varianz aus 

Niedrige Konsistenz der Items

Einfaches Konsistenzmaß Kon(Y_i) = Anteil der Kovarianz der Items an der Varianz des Testscores

• Hochgerechnete standardisierte Kovarianz der Items > standardisierte Kovarianz = Korrelation!
• Auf dieser Basis wurden dann Konsistenzanalyse Formeln entwickelt 

Für Dichotome Daten: K-R-Formula 20 von 

Für Intervallskalierte Daten: Cronbachs alpha 

• Die Konsistenzmaße können grundsätzlich als Schätzer der Reliabilität des Testscores interpretiert werden
• Die Konsistenzmaße sind eine untere Schranke der Reliabilität des Testscores

Die Varianz eines Summenscores ist die Summe aller Zellen der Varianz-Kovarianz-Matrix 

Modell 1 

• Retest Methode 
• Testhalbierungsmethode

Modell 2 

• Retestmethode 
• Testhalbierungsmethode

Cronbachs alpha 

Axiom= ein Axiom in 

1. Messwert besteht aus wahren Wert und Fehler
2. Erwartungswert des Fehlers ist null
3. Fehler sind unkorreliert

Aus diesen Axiomen lassen sich alle Formeln der KTT ableiten 

Nachteile gegenüber der stochastischen Definition

• Keine präzise Definition von wahren Wert und Fehler
•  

1. Axiome der KTT sind empirisch nicht überprüfbar
   • Wozu auch? ...
2. Annahme der absoluten Stabilität...
3. KTT setzt mindestens Intervallskalenqualität der Testscores voraus...
4. Reliabilitätsschätzungen sind Stichprobenabhängig 
   • Stimmt, man kann nur daran arbeiten, möglichst repräsentative Stichproben zu haben 
5. Gruppenstatistiken lassen sich logisch nicht auf den Einzelfall übertragen 
   • Dagegen versuchen wir möglichst gute Messgeräte entwickeln

Abschließende Bewertung: trotz (weniger) theoretischer Schwächen haben sich die nach der KTT entwickelten Tests bewährt 

• Widerspruch zwischen gleichzeitig hoher Validität und Reliabilität 
• Wird in zwei Kontexten diskutiert 
  • Indirekte Veränderungsmessung (was ist das?)
    • Die Reliabilität von Differenzen ist umso höher, je geringer die Retest-korrelation ausfällt
    • Das bedeutet ...
    • Die Reliabilität von Differenzwerten hängt von der Testreliabilität r₁₁ und der Korellation der beiden Messungen r₁₂ ab => r_(1-2)(1-2)= [(r₁₁-r₁₂) / 1-r₁₂ ]
    • > Je höher die Retestkorrelation ausfällt, desto geringer die Reliabilität der Differenzwerte
  • Allgemeine Testeigenschaften

Reliabilitäts-Validitätsdilemma der klassischen Testtheorie 

• Ernstzunehmenderes Problem

P = NR / NB * 100

• P = Schwierigkeitsindex
• NR = Anzahl Vpn, die im Sinne des Merkmals antworten
• NB = Anzahl aller Vpn, die die Aufgabe überhaupt bearbeitet haben

• H_Item = Homogenität eines Items = mittlere Korrelation eines Items mit den anderen Items der Skala

H_gesamt = Homogenität einer Skala = mittlerer Korrelation aller Items einer Skala (Mittelwert über alle Korrelationen zwischen den Items) 

1. Durchführungsobjektivität (Bsp.: WAIS-Aufgabeninstruktion)
2. Auswertungsobjektivität (Punkte zählen, Antworten bewerten)
3. Interpretationsobjektivität (Diagnose anhand von Testprofil)

„Misst der Test unabhängig?“

• Unabhängigkeit vom Diagnostiker/ der Person des Beobachters & von verschiedenen Personen gleich eingeschätzt
• Kann in verschiedenen Phasen der Testung gefährdet sein (Durchführung, Auswertung, Interpretation) 
• Gefördert durch: bindende Verfahrensvorschriften zur Durchführung und Auswertung und standardisierte Tests
• Bei klinischen Gesprächen ist Objektivität grundsätzlich niedriger 
• Wird in echt selten gemacht wegen hohem Aufwand 
• Meist durch Plausibilitätsschätzungen bestimmt 

Objektivität = Ausmaß, in dem die Ergebnisse eines Tests unabhängig von der Person des Untersuchungsleiters sind 

= Genauigkeit / Zuverlässigkeit

„Misst der Test genau?“

• Technische Messgenauigkeit
• Genauigkeit der Testwerte ist unabhängig von gemessenen Konstrukten
• = Wert zwischen 0-1, der als Maß für die Messgenauigkeit eines Tests genutzt wird (=Verlässlichkeit einer Variable)
• =Anteil der Varianz einer Testvariable Yi, der auf die Varianz der True-Score-Variable τi zurückgeführt werden kann
• Voraussetzung für Messung von Merkmalen
• Hohe zeitliche Stabilität = hohe Reliabilität
• Eine hohe Reliabilität ermöglicht uns Schlüsse über den Score einer Person, wenn sie den Test nochmal macht.
• Der mathematische Rahmen und das komplexe theoretische Fundament ist die Klassische Testtheorie (KTT): Technische Fehlertheorie von Messungen

1. Retest-, Splithalf-, Paralleltestreliabilität --> Alles schätzt die gleiche Reliabilität. Es sind nur  unterschiedliche Methoden
2. Spearman-Brown-Korrektur der Splithalf-Reliabilität 
3. Interne Konsistenz: Cronbach‘s alpha

= Gültigkeit

„Misst der Test das, was er messen soll?“

> Ausmaß, mit dem der Test tatsächlich das Konstrukt misst, das er messen soll oder zu messen vorgibt 

= Ausschließliche Messung des relevanten Merkmals

• Genauigkeit der Messung: intendiertes Konstrukt
• Objektivität und Reliabilität schaffen günstige Voraussetzungen für Validität 
• Reliabilität ist teilweise notwendige, aber nicht hinreichende Voraussetzung
• Bezug auf Theorie verleiht Testwerten Bedeutung
• Eine hohe Validität ermöglicht uns Schlüsse über das Verhalten oder Eigenschaft einer Person
• Hohe Validität: erlaubt eine Generalisierung vom numerischen Relativ auf das empirische Relativ (Verhalten/Eigenschaft = empirisches Relativ)
• Nachweis der Validität nur durch zusätzliche, weitere Untersuchungen (= „Validierung“)

(1) Kriteriumsvalidität - "korreliert die Messung hoch mit einer anderen konstruktvaliden Messung (dem Kriterium) hoch?"

(2) Inhaltsvalidität – „Kommt in dem Test das vor, was ich drin haben wollte?“ 

(3) Konstruktvalidität – „Grenzt sich der Test gut von ähnlichen Konstrukten ab?“

1. Aufmerksamkeits- und Konzentrationstests

2. Intelligenztests

3. Spezielle Fähigkeitstests 

• Intelligenztests als die vermutlich erfolgreichsten Verfahren der psychologischen Diagnostik
• Erstaunlich gute Vorhersagen in vielen Lebensbereichen
  • Schulerfolg
  • Ausbildungserfolg
  • Berufserfolg
  • Wohlstand
  • risiko-bezogene Verhaltensweisen
  • deviante und kriminelle Verhaltensweisen
  • stabile Partnerschaft (vs. Scheidungsrate)

1. Hamburg-Wechsler Intelligenztest (HAWI)
   • HAWIK-III (Hamburg-Wechsler-Intelligenztest für Kinder)
   • HAWIE-R (Hamburg-Wechsler-Intelligenztest für Erwachsene)
   • HAWIVA-III (Hannover-Wechsler-Intelligenztest für das Vorschulalter)
   •  AID-3 (Adaptives Intelligenzdiagnostikum 3)
2. Culture Fair Tests (CFT)
3. Berliner Intelligenzstrukturtest (BIS)
4. Intelligenzstrukturtest (IST 70)

1. Der mechanisch-technische Verständnistest (MTVT) von Lienert (1964) 
2. Mehrfachwahl-Wortschatztest MWT
3. PAI30 Test zur praktischen Alltagsintelligenz (Mariacher & Neubauer, 2005)
4. ABAT-R: Revidierter Allgemeiner Büroarbeitstest (Lienert & Schuler, 1994) 

• Bestimmen den Leistungsstandard eines Kindes in Bezug zu seinem Lebensalter
• Ziel: Rechtzeitige Hinweise auf behandlungsbedürftige Entwicklungsretardierungen 

1. GES: Griffiths Entwicklungsskalen zur Beurteilung der Entwicklung in den ersten beiden Lebensjahren (Brandt & Sticker, 2001)

• Differentialdiagnose
• Indikationsdiagnostik
• Rehabiltationsmaßnahmen
• Diagnostik bei Kindern und Jugendlichen
• Intelligenzminderung; Intelligenzabbau

• Leichte Intelligenzminderung
  • IQ 50-69 bzw. Intelligenzalter von 9 bis unter 12 Jahren bei Erwachsenen
  • meist Lernschwierigkeiten in der Schule
  • Arbeitsfähigkeit und gute soziale Beziehungen möglich
• Mittelgradige Intelligenzminderung
  • IQ 35-49 bzw. Intelligenzalter von 6 bis unter 9 Jahren
  • deutliche Entwicklungsverzögerungen in Kindheit
  • als Erwachsene auf Unterstützung bei Arbeit und Alltag angewiesen
  • Unabhängigkeit, ausreichende Kommunikation und Ausbildung möglich
• Schwere Intelligenzminderung
  • IQ 20-34 bzw. Intelligenzalter von 3 bis unter 6 Jahre
  • auf dauerhafte Unterstützung angewiesen
• Schwerste Intelligenzminderung
  • IQ < 20 bzw. Intelligenzalter unter 3 Jahre
  • Versorgung, Kontinenz, Kommunikation hochgradig beeinträchtigt

• Tests zu verschiedenen Formen der Aufmerksamkeit haben ein gemeinsames Merkmal: Sie erfassen, wie schnell und genau Probanden kritische Reize entdecken
• Die Tests unterscheiden sich vor allem darin, welche kritischen Reize verwendet und unter welchen Bedingungen diese dargeboten werde
• Die Bedingungen sind ausschlaggebend dafür, welche »Form« der Aufmerksamkeit gemessen wird

Alertnes:

• die generelle Ansprechbarkeit auf Reize
• keine spezielle Form der Aufmerksamkeit sondern eher eine Grundvoraussetzung
• verbreiteter Test zur Alertness ist der Subtest »Alertness" --> Vpn sollen beim Erscheinen eines Kreuzes auf dem Bildschirm sofort eine Antworttaste zu drücken. Es gibt keine anderen Reize, die zu ignorieren wären

Fokussierte oder selektive Aufmerksamkeit

• Beachtung eines bestimmten Reizes bzw. einiger weniger Reize innerhalb einer Reizklasse
• TAP Go/Nogo
  • Einzeldarbietung von ähnlichen Mustern, zwei Muster davon sind kritische Reize

Geteilte Aufmerksamkeit

• Beachtung von mindestens je einem Reiz aus zwei deutlich verschiedenen Reizklassen
• TAP Geteilte Aufmerksamkeit
  • Visuell: Wechselnde Kreuze in einer 4 × 4- Matrix – Quadrat?
  • Akustisch: Abwechselnd hoher und tiefer Ton – Unregelmäßigkeit?

Daueraufmerksamkeit

• Fokussierte oder geteilte Aufmerksamkeit über längere Zeit
• DAUF
  • Reihe von fünf bzw. sieben ständig wechselnden Dreiecken mit Spitze nach oben oder unten – vorher definierte Anzahl von Dreiecken mit Spitze nach unten(Dauer: 20 bzw. 35 min)

Vigilanz

• Beachtung seltener Reize über längere Zeit
• VIGIL
  • Hell aufleuchtender Punkt springt auf einer Kreisbahn (ähnlich Uhr) um einen Schritt – Doppelsprung (Dauer: 30, 35 oder 70 min)

• Der Test d2-R misst Aufmerksamkeit und Konzentration
• Reiner speedtest 
• Durchzustreichen sind alle Buchstaben d, sofern sie mit zwei Strichen versehen sind
• Die Zielobjekte verbergen sich unter ds mit einer »falschen« Strichzahl und ps mit unterschiedlich vielen Strichen 
• Ziel war ein Test mit einer einfachen und verständlichen Instruktion und einer Aufgabe, die von den Probanden ohne lange Einübung ausgeführt werden kann
• Papier-Bleistifttest --> Computerversion nicht äquivalent 
• Ursprünglich sollte der Test vor allem zur Feststellung der Kraftfahreignung dienen
• bewährtes, reliables und valides Verfahren
• wird heute von allen »allgemeinen Leistungstests« mit Abstand am häufigsten eingesetzt wird (Anwendungshäufigkeit von 89 %)
• verbesserung des Tests durch Revision: Viele Kritikpunkte wurden beachtete und möglichst wenig verändert um Validitätsergebnisse beibehalten zu können
• 798 visuelle Reize in 14 Zeilen
• 57 Zeichen pro Zeile
• 20 Sekunden Bearbeitungszeit pro Zeile
• Zwei Fehleraten: Verwechslungsfehler (kommen deutlich seltener vor) und Auslassungsfehler
• bei der Fehleranalyse wid untersucht, ob viele solcher Verwechlungsfehler (oder sogar Doppelte, also Falscher Buchstabe UND fasche Strichanzahl = seeeehr selten) vorkommen, was ein Hinweis auf Simulation ist --> Als bester Indikator für Simulation erwiesen sich die Fehler, bei denen die Probanden ein p mit zwei Strichen markierten
• Test hat hohe interne Konsistenz und Retest-Reliabilität 
• misst nicht nur kurz- sondern auch mittelfrisitige Konzentration
• Korreliert mit anderen Konzentrationstests und Aufmerksamkeitstests
• Der d2 diskriminiert erfolgreich zwischen Gesunden und bestimmten psychiatrisch auffälligen Gruppen
• zahlreiche Belege zur empirischen Validität --> Der Test wird deshalb auch gerne zur Validierung anderer Konzentrationstests herangezoge

• Intelligenztests als die vermutlich erfolgreichsten Verfahren der psychologischen Diagnostik
• erlauben in vielen Kernbereichen ertaunlich gute Vorhersagen und liefern zeitlich sehr stabile Kennwerte
• Korrelation mit Schul-, Ausbildungs-, und Berufserfolg liegt bei über .50
•  

Messintention:

• allgemeine Intelligenz (g) oder eine bestimmte Intelligenzkomponente
• ein Globalmaß oder (auch) Intelligenzstruktur bzw. mehrere Komponenten
• Intelligenz sprachfrei/kulturfair oder bildungsabhängig messen

Durchführungsbedingungen:

• Einzel- oder Gruppentestung
• Speed- oder Powertest
• Papier-und-Bleistift-Test oder Computertest
• Dauer der Testdurchführung

Zielgruppe:

• bestimmter Altersbereich
• bestimmter Intelligenzbereich
• Gesamtbevölkerung oder spezielle Personengruppe

• Standardisierung
• Differenzierung
• Objektivität
• Reliabilität
• Validität 

• Genau erkennen/unterscheiden: Messen und Testen
• Entscheiden/Beschließen: Prognose und Maßnahmen