Diagnostik

1.Axiome nicht prüfbar

Nicht alle Einflüsse auf das Testergebnis sind Zufallseinflüsse

nur Zusammensetzung von Messwerten -> Messfehlertheorie

Wahrer Wert = Eigenschaft oder Fähigkeit? Hier noch keine Definition des  Konstrukts

2.Annahme der intraindividuellenInvarianz nur kurze Zeiträume

3.Intervallskalenannahme z.T. fraglich (gilt auch für Normalverteilungsannahme)

4.Stichprobenabhängigkeit der Parameterschätzung der KTT (Reliabilität, Validität)

5.Übertragung von Gruppenstatistiken auf das Individuum ist problematisch bei  einer Reliabilität und Validität < 1.0 (Holzkamp, Vertreter der sog. „Kritischen  Psychologie“) … leider ist dies nur wenigen Praktikern bewusst!

6. Annahme der Eindimensionalität ist nicht immer erfüllt (Homogenität der  Items)

Führt zu Über‐/ Unterschätzung der Messgenauigkeit

Annahme des fehlenden Zusammenhangs zwischen Fehlerwerten  unterschiedlicher Tests nicht zwingend 

Fazit:  KTT weist Unzulänglichkeiten auf, aber hat sich in der Praxis bewährt! oder salopp formuliert … „besser als würfeln“ 

= inhaltsvalide Testverfahren, nicht die Position im Vergleich zur Vergleichsnorm  sondern Erreichen / Verfehlen eines konkreten Kriteriums

z.B. Fahrprüfung, curricular‐bezogene Klausuren … Kriterium ist hier eher als eine Art „Schwelle“ zu verstehen, die erreicht werden muss, um  „zugelassen“ zu werden. (Die Schwelle kann aus mehreren „Teil“‐Schwellen zusammengesetzt  sein)

Probleme

Generierung inhaltsvalider Items

Setzung eines sachgerechten Kriteriums

Zufallskritische Zuordnung in Könner/Nicht‐Könner

Generierung inhaltsvalider Items

Kenntnistests: repräsentative Aufgaben für die Grundmenge aller Aufgaben (z.B.  Rechentests)

Zielorientierte Tests (Therapieziel): Spinnenphobie …

Setzung eines sachgerechten Kriteriums

Lehrplan

Therapieziel (Klient und Therapeut)

Realitätsangemessenheit

zeitlichen / kulturellen Veränderungen unterworfen

0.5 ‰ Alkohol in Blut als Fahrgrenze (!?)

Zufallskritische Zuordnung in Könner/Nicht‐Könner

Auch diese Tests können nicht perfekt reliabel(objektiv/valide) sein

Vertrauensbereich (Klauer, 1987)  

Wahrscheinlichkeitstheoretisch über  Binomialmodell

in Abhängigkeit von der Prozentzahl der gelösten Items  

z.B. 75% der Items -> 58.8 –87.31

z.B. 80% der Items -> 64.4 –90.95

Zusammenhang zwischen manifester (Reaktion) und latenter (Merkmal)  Variable wird über Wahrscheinlichkeiten definiert (s. Abb.)
Wenn eine Person eine bestimmte Merkmalsausprägung hat, sollte sie mit  einer bestimmten Wahrscheinlichkeit ein bestimmtes Item lösen.
Annahmen sind (in bestimmten Grenzen) empirisch überprüfbar 
Es gibt unterschiedliche probabilitstische Modelle: z.B.  Birnbaum, Rasch …  (dichotom oder polynom)
  -> Dichotomes Raschmodell

definiert numerischen Zusammenhang zwischen den Parametern über  mathematische Funktion:                   p(i+) = (i.d. Funktion als y)Lösungswahrscheinlichkeit des Items i , wenn Personen bestimmte Merkmalsausprägung haben (i.d.Funktion als x)

ICF von deterministischen und probabilistischenModellen.

Lösungswahrscheinlichkeit, dass Item i richtig gelöst wird, ist: (s. Abb.)

Ist die Aussage richtig oder falsch?
     Items                   Antworten von Pbn. v

1)   1+1 =   2                     ja

2)   2+2 =   3                    nein

3)   7+7 = 14                      ja

4)   2 x 8 = 17                    ja  

5)   3 x 5 = 15                   nein

Schluss: „v  beherrscht die Multiplikation noch nicht“