Diagnostik 1 Reliabilität

SEM: Strukturgleichungsmodelle

Wie interpretieren wir standardisierte Tests in Einzelfallmessungen?

Was ist der wahre Wert einer Person auf Basis der Testscores?

Welche Rolle spielt dabei die Reliabilität des Verfahrens?

Gütekriterien werden für Messwerkzeuge an Normstichproben errechnet

• Geben an, wie ein Testwerkzeug insgesamt in dieser Stichprobe misst (z.B. mehr oder weniger reliabel und valide)

Die generelle Gültigkeit dieser Kennzahlen im Einzelfall hängt zunächst von der Übereinstimmung der Einzelfalltestung mit der Normerhebung ab:

• Der Test wurde so angewandt und ausgewertet, wie in der Normstichprobe (Manualadhärenz)
• Der Einzelfall passt zur erhobenen Normstichprobe (Alter, Geschlecht, Erkrankung,…)

Generell geben Gütekriterien nur an, wie der Test über viele Messungen hinweg “im Schnitt” funktioniert

• Eine Bestimmung von Reliabilität und Validität im Einzellfall ist per se nicht möglich
• Hier Bedarf es daher immer einer genauen Planung der Testsituation, um mögliche Störquellen zu minimieren

 Stellen Sie sich vor, sie führen einen IQ-Test mit hoher Reliabilität und Validität durch. Die Werte wurden an einer repräsentativen Stichprobe von Tausend Erwachsenen ermittelt

• Führen Sie den Test genau so, wie im Manual beschrieben, an 1000 zufällig ausgewählten Personen durch, so sollten Sie “im Schnitt” über alle Testungen hinweg hoch reliable und valide Ergebnisse produziert haben
• Führen Sie den Test ausschließlich im Hochsommer bei 40c° an 1000 zufällig ausgewählten Personen durch, so können Sie nicht davon ausgehen, dass der Test den IQ ähnlich genau und zuverlässig misst, wie in der Normstichprobe
• Führen Sie den Test ausschließlich an 1000 Kindern durch, so können Sie nicht davon ausgehen, dass der Test den IQ ähnlich genau und zuverlässig misst, wie in der Normstichprobe

Die Bestimmung von Reliabilität ist abhängig von unsystematischen Einflüssen auf Testergebnisse

• Dies kann sich zwischen Stichproben, situativen Einflüssen, etc. unterscheiden

Die Bestimmung von Validität ist ebenso stichproben- und situationsabhängig

• Bsp. Sprachbasierte Demenztests messen in nicht Muttersprachlern/innen möglicherweise eher Sprachkompetenz als Demenz

Ob ein Test reliabel und valide misst, variiert zwischen und innerhalb von Einzelfällen

• Bsp: Wie sehr ein Testergebnis von der Raumtemperatur abhängt, schwankt mit interindividuellen Unterschieden in der Temperatursensitivitä
• Bsp: Wie sehr ein ermittelter IQ mit dem wahren IQ zusammenhängt ist auch abhängig von intraindividuellen Unterschieden in Testängslichkeit, Müdigkeit, Nervosität, etc.

Testgütekriterien sind wichtige Kennzahlen, die diagnostische Entscheidungen leiten sollten

Ein “guter” Test liefert dennoch nicht automatisch auch immer “gute” Ergebnisse

Es ist Aufgabe der Diagnostiker/innen, die Passung von Normstichprobe und Einzelfall zu prüfen und Störquellen zu minimieren

• Das bloße Anwenden von Tests ohne diese Prüfung erzeugt möglicherweise dramatische Fehleinschätzungen
  • Bsp: Demenzdiagnose stellen wegen nicht beachtetem Einfluss von Sprachkompetenz
  • Bsp: Lese-Rechtschreibstörung diagnostizieren wegen nicht beachten von Veränderungen in der Grundgesamtheit durch Covid-bedingte Beeinträchtigung der schulischen Lehre
  • Bsp: Lesestörung diagnostizieren, obwohl das getestete Kind nur wegen einer bisher nicht bekannten Sehschwäche Probleme zeigt
  • Bsp: Persönlichkeitsstörung diagnostizieren, weil eine Normstichprobe aus unpassendem kulturellen Hintergrund verwandt wurde (z.B. brasilianischer Mann vgl. mit weiblicher japanischer Normstichprobe)
  • Bsp: Depression diagnostizieren, obwohl Symptome vollständig durch Schilddrüsenunterfunktion erklärbar sind

Einmalige Testungen erlauben keine Trennung von True-Score und Fehlervarianz

• Bsp: Angenommen Sie absolvieren heute einen 400m Lauf, so wäre es von außen nicht erkennbar, ob Ihr Ergebnis Ihr maximales Leistungsniveau darstellt, oder ob Sie heute weniger leistungsfähig sind als normal

Generell ist es plausibel, dass Ihr “wahrer Wert” nicht ermittelte ist genau der einmalig ermittelte ist

• Stattdessen wird er sich meist in einem Bereich um den Testwert herum bewegen
• Entsprechend wird ein Konfidenzintervall definiert
• Für dessen Definition fehlen in Einzelfalltestungen allerdings Daten

Praxislösung: Wir tun so, als würden wir eine Person n-mal testen

• Der Mittelwert des Intervalls ist der gemessene Testscore
• Die Normstichprobenstatistik wird herangezogen, um einen Fehlerbereich (Streuung) um den Wert herum zu definieren
• Es entsteht eine hypothetische Verteilung von Testwerten, die ein Konfidenzintervall definiert
  • Falsche Interpretation: mit xx%iger Wahrscheinlichkeit liegt der wahre Wert zwischen den Grenzen des KI
  • Richtige(re) Interpretation: mit xx%iger Wahrscheinlichkeit liegt der Mittelwert der n maligen Testungen zwischen den Grenzen des KI

• Intelligenzmessung
• Frau S. mit Messwert 118
• Bei Reliabilität von .89 ist per Regression geschätzter Wert 116
• Das Konfidenzintervall umfasst 9,2 Punkte bei 95% Intervall

Die hypothetische Lösung für das Problem der Testunsicherheit durch das Erstellen eines Konfidenzintervalles ist nur eine Problemverschiebung

• Es gibt keinen Schätzer für die intraindividuelle Testscore-Verteilung
  • Ein gegebener Testscore könnte extrem untypisch oder sehr typisch für die VP sein
  • Die n-fache hypothetische Ziehung behandelt ihn wie den Mittelwert der Verteilung
• D.h. wir wissen auch bei vollstandardisierten Tests nicht, was der true score einer Person für einen Test ist
  • Zumindest bei einmaliger Testung
  • Die Reliabilität kann dennoch Anhaltspunkte liefern (“im Schnitt”)

„Das Problem besteht also nicht darin, dass sich die in einer Regressionsgleichung zum Ausdruck gebrachte Gesetzmäßigkeit nicht fehlerlos auf Einzelfälle anwenden lässt, sondern dass sie auf Einzelfallebene keine Aussage zulässt, weil dort der Vorhersagefehler nicht spezifizierbar ist“ (aus Schmidt-Atzert und Amelang)

Die Reliabilität ist ein wichtiges Maß

• Es gibt uns eine Idee wie fehleranfällig ein Test ist
  • Da der Einfluss störender Zufallsvariablen geschätzt wird
• Es sagt uns nicht, welche Form von Fehler auftritt
• Es sagt uns nicht, ob wir jeder Einzelfalltestung vertrauen können, aber wie sehr wir einer Testung im Mittel vertrauen können

Standardisierte Testungen liefern keine fertigen Ergebnisse

• Sie erhöhen die Konfidenz in Diagnostik aber sie brauchen Einordnung
• Standardisierte Testungen in Ausnahmesituationen sind nicht sinnvoll
  • Es sei denn es gibt entsprechende Normstichproben
    • Achtet auf die Details der Stichprobenerhebung
  • Oder gute theoretische Gründe

Kurzum: Standardisierte Testung ist nicht fehlerfrei

• Daher soll nur gezielt und gut kontrolliert getestet werden

Kurzum II: Testsituationen müssen geplant sein

• Wenn Patienten/innen ängstlich sind, nehmen Sie sich Zeit
• Wenn Patienten/innen unaufmerksam sind, lassen Sie die Instruktionen wiederholen
• ...

Einzelne Testergebnisse lassen sich (fast) nie direkt in Diagnosen übersetzen (siehe Beispiel nächste Folien)

Einzelne Diagnosen und die zugrundeliegenden Konstrukte sind häufig mit anderen korreliert

• Testungen für ein Konstrukt können durch die Ausprägung anderer Diagnosen beeinflusst werden

Patienten/innen sind häufig von starken Kovariaten beeinflusst (z.B. Medikation, Verfälschungsabsichten, Zustände bedingt durch andere Diagnosen ausser der aktuell getesteten)

Häufig liegen items vor, die keine direkten Diagnosekriterien abfragen oder redundant zueinander sind

• Diese beeinflussen Summenscores obwohl sie laut ICD-10 nicht unmittelbar relevant sind
  • Bsp: EDI-2 (Esstörungsinventar) beinhaltet u.a. die Subskalen: Angst vor dem Erwachsenwerden und soziale Unsicherheit
• Redundante items erhöhen die relative Wichtigkeit einzelner Bereiche/Symptome
  • Bsp: BDI-IIR hat 21 items inkl. Energieverlust, Ermüdung oder Erschöpfung, Veränderungen der Schlafgewohnheit

Meist dichotome Symptombestimmung im ICD-10, aber intervallskalierte Einordnung in Symptomtests

• Summenscores ergeben entsprechend keine Diagnose
• Der gleiche Summenscore kann durch wenige stark ausgeprägte Items oder viele wenig ausgeprägte Items entstehen

Das BDI-IIR hat 21 items (skaliert von 0-3), 20 Punkte indizieren eine mittelgradige, 29 Punkte eine schwere depressive Episode

Laut ICD-10 müssen für eine mittelgradige Episode min. 2 von 3 Hauptkriterien erfüllt sein. Für eine schwere Episode 3 von 3

Frage: Wie wahrscheinlich ist es, dass der BDI-IIR Summenscore eine Diagnose indiziert, die laut Diagnosealgorithmus nicht plausibel ist?

 Zur Illustration wurden 1000 Personen anhand der Iteminterkorrelationen und Mittelwerte einer Studie an Depressiven von Brown 2012 simuliert

Insgesamt erreichen 446 Personen einen Summenscore von min. 20, wobei etwa 10% davon nicht ausreichend viele Hauptkriterien erfüllen

Insgesamt 191 Personen erreichen einen Wert von min. 29. Etwa 30% davon erfüllen nicht ausreichend viele Hauptkriterien für die Diagnose einer schweren depressiven Episode

In beiden Fällen reicht die Zahl der erfüllten Kriterien trotz passender Hauptkriterien und Summenscores in 2% der Fälle nicht für eine Diagnose aus

Häufig passen Einzelfälle durch ihre Komorbiditäten nicht zu Normstichproben, was zu Fehleinschätzungen führen kann

• Bsp: Chronische Schmerzen beeinflussen Schlaf und Stimmung, weshalb BDI-IIR Summenscores erhöht sein können.
  • Verändert Validität und Reliabilit der Ergebnisse
  • Muss geprüft werden, ob depressive Symptome über das hinaus bestehen, was durch Komorbidität zu erwarten wäre

Summenscores zeigen Ausprägung eines Zielkonstrukts an, nicht, woher diese Ausprägung kommt

• Das ICD-10 verlangt eine Zuordnung von Symptomen zu übergeordneten Syndromen
  • Ein hoher Wert in Angstfragebögen indiziert nicht notwendigerweise eine Angststörung. Erhöhte Ängstlichkeit kann auch durch ein depressives Syndrom erklärt werden
  • Wie die Zuordnung diagnostisch vollzogen wird, wird in unseren weiteren kommenden Seminaren vertieft

tau

yi als Messwerte und ti als true score

Pfeile als Zeichen das Einfluss ausgeübt wird, wenn keine gewichtungsangabe dann 1,0