M6a Kurs 03421 Psychologie FernUniversität Hagen

• dient dazu, zur normorientierten Testwertinterpretation Vergleichswerte zu gewinnen
• dazu werden Testergebnisse von Personen einer "Eichstichprobe" in Normierungstabellen zusammengestellt

wenn die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen

wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter, Testauswerter und von der Ergebnisinterpretation misst

wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden

wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch vorgetäuschtes Verhalten ("Faking") die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann

wenn ein Test absolut sowie relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet

• nichtzuordenbare Antwortalternativen einstreuen
• Qualität der Distraktoren beachten, d.h. die Attraktivität der Distraktoren gewährleisten

• retrospektive Befragung
• Debriefing
• Verhaltenskodierung
• kognitives Vortesten
• Technik des lauten Denkens
• empirische Itemanalyse

• ist nicht einheitlich
• engeres Verständnis:
  • Verfahren, deren Ergebnis frei von jeder subjektiven Beurteilung seitens der Testteilnehmer entstehen
  • z.B. Fähigkeits- und Leistungstest (z.B. Intelligenztests)
• breiteres Konzept:
  • schließt auch subjektive Fragebogenverfahren ein
  • Unterscheidung wird lediglich zur Klassifikation von Testverfahren herangezogen

"Ein psychologischer Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung."

Der einfachste Weg, wissenschaftliche von unwissenschaftlichen Testverfahren zu unterscheiden, ist, nach der Existenz eines Testmanuals oder einer äquivalenten Dokumentation zu fragen. Deren Nichtvorliegen ist ein zuverlässiges Ausschlusskriterium; allerdings garantiert das bloße Vorliegen noch nicht die Wissenschaftlichkeit des Verfahrens und schon gar nicht die Eignung für einen bestimmten Zweck.

• z.B. un- oder teilstrukturierte Interviews
• sind keine psychometrischen Tests, weil ihnen u.a. das Merkmal der Standardisierung fehlt

1. Anwendungsbereiche
2. Inhalt (Brähler):
   • Leistungstests
   • psychometrische Persönlichkeitstests
   • Persönlichkeits-Entfaltungsverfahren
3. Testungsstrategie:
   • normorientierte Konstrukttests
   • kriterienorientierte Tests (lehrzielorientierte Leistungsmessung)
4. formale Kriterien:
   • Speed vs. Power
   • ein-/ mehrdimensionale Tests (Anzahl der zu erfassenden Merkmale)
   • Gruppen-/ Individualtests
   • verbale vs. nicht-verbale Tests
   • nach Technologie

Inhalt:

• Leistungstests:
  • Entwicklungs-, Intelligenz-, allgemeine Leistungs-, Schul-, spezielle Funktionsprüfungs- u. Eignungstests
  • geben Aufschluss über Fähigkeiten/ Fertigkeiten
  • Vielzahl von Problemlöseaufgaben mit Beantwortung richtig/ falsch
•     psychometrische Persönlichkeitstests:
  • Perönlichkeits-Struktur-, klinische, Einstellungs- u. Interessenstests
  • Fragebögen zu Gefühlen, Vorlieben, Abneigungen, Interessen, Meinungen
  • subjektive Selbstbeurteilung o. Selbstbeschr. ohne richtige/ falsche Anworten
  • Inventare = Erfassung mehrerer Merkmale (aus verschiedenen Subtests)
• Persönlichkeits-Entfaltungsverfahren:
  • Formdeuteverfahren, verbal-thematische, zeichnerische u. Gestaltungsverfahren = projektive Tests
  • weitgehend unstrukturiertes Material/ mehrdeutige Bilder
  • unbewusste Motive, Gefühle, Einstellungen
  • Konstruktion häufig nicht nach testtheoretischen Vorgaben
  • Auswertung mit weiten subjektiven Interpretationsspielräumen
  • semi-projektive Tests = Verbindung Projektion mit Standardisierung

Testungsstrategie:

•  normorientierte Konstrukttests:
  • erlauben wissenschaftlich begründbaren Rückschluss vom Testverhalten auf dahinter liegende Eigenschaften/ Fähigkeiten (Konstruke)
  • normorientiert, da Testergebnis einer Person relativ zum Durchschnitt (Norm) einer Bezugsgruppe gesehen wird
• kriterienorientierte Tests (lehrzielorientierte Leistungsmessung):
  • Vergleich mit Idealnorm = Lehrziel (indiv. Testleistung wird nicht mit Bezugsgr. vergl.)
  • keine Aussagen über Fähigkeiten/ Eigenschaften
  • stammt aus Pädagogik

formale Kriterien:

• Speed vs. Power:
  • Schwierigkeitsgrad jeweils ansteigend
  • Speedtests = zeitgebundene Schnelligkeitstests (alle Items lösbar bei unbegrenzter Lösungszeit)
  • Powertests = Niveautests (Items erreichen Niveau, an dem Probanden scheitern)
• ein-/ mehrdimensionale Tests (Anzahl der zu erfassenden Merkmale)
• Gruppen-/ Individualtests
• verbale vs. nicht-verbale Tests
• nach Technologie:
  • Papier- u. Bleistift-Tests
  • PC-gestützte Tests
  • Online-Tests
  • computergestützte adaptive Tests (Schwierigkeit der Aufg. wird dynamisch dem indiv. Leistungsniveau angepasst, was kürzere/ weniger belastende Durchführung zulässt)

Klasse in bestimmter Weise definierter Verfahren zur Messung psychologischer Merkmale

• beschäftigt sich mit Zusammenhang der Merkmale mit Testverhalten = Schlüsse und im allgemeinen Sinne Qualität der Schlussfolgerungen
• wird durch formale, mathematisch formulierte Modelle beschrieben

• Items = Aufgaben = einzelne Verhaltensangelegenheiten
• besteht aus:
  • Reiz (Testaufgabe/ Frage)
  • Anzahl möglicher Reaktionen (Anwortmöglichkeiten)
    • offene Antwortformate (z.B. projektive Tests; Zahl möglicher Projektionen unbegrenzt > schränkt Vergleichbarkeit ein)
    • geschlossenes Antwortformat (wird meistens verwendet)
• von jedem Item wird angenommen, dass es ein beobachtbarer Indikator (= manifeste Variable) für ein zugrunde liegendes nicht beobachtbares Konstrukt (= latente Variable) sei
• beobachtbares Antwortverhalten liefert also Hinweis auf Ausprägung der latenten Variable, für die man sich eigentlich interessiert
• Hinweise einzeln nicht perfekt > Zusammenfassung zu Skalen
• Testscore (= Gesamtwert) wird nach fester Vorschrift berechnet:
  • meist Aufsummierung oder Durchschnittsbildung
  • wird als eigentlicher Indikator für Ausprägung des Konstrukts angesehen

• beschäftigt sich damit, in welchem Ausmaß es zulässig/ sinnvoll ist, einzelne Items als Indikatoren des latenten Konstrukts anzusehen, sie zu einem/ mehreren Testscores zusammenzufassen und aus diesem Wert wieder auf Ausprägung des psychologischen Merkmals zu schließen
• es geht um die Beurteilung sowohl des Gesamtwertes im Test als auch von dessen Bestandteilen hinsichtlich des Zusammenhangs zwischen Testverhalten und psychologischen Merkmalen
• lässt sich auch auf andere Erhebungsmethoden anwenden > psychometrische Verfahren =
  • Tests wurden nach der Lehre von der quantitativen Messung psychischer Merkmale (Psychometrie) entwickelt
  • da gleiche Prinzipien oft auch zur nachträglichen Beurteilung anderer Verfahren
    herangezogen werden können, geht Gegenstandsbereich der Testtheorie
    über diagnostisches Instrument Test hinaus

• Beispiel Klausur:
  • Anspruch, dass Lerninhalte repräsentativ und auf angemessenem Niveau abgebildet
    werden sollen
  • Repräsentativität:
    • ausgewogene Abbildung der unterschiedlichen, wesentlichen Inhaltsbereiche
    • keine irrelevanten Inhalte
    • entspricht testtheoretisch der Inhaltsvalidität
  • Identifikation misslungener Aufgaben
  • Testtheorie bedient sich faktorenanalytischer Methoden

• Grundlage der meisten psychologischen Testverfahren (95 %) (Rost)
• Probabilistische Testtheorie überwindet Schwächen, aber bei erheblicher höherer
  mathematischer Komplexität
• klassisch, weil erste Theorie, die zur Konstruktion von psychologischen Tests herangezogen wurde

• Einfachheit
• konzipierte Test haben sich bewährt

• akzeptiert Variation von Testergebnissen einzelner Personen bei gleichem Test > Gründe:
  • Übungs- und Transfereffekte
  • unsystematische äußere Einflüsse
  • unsystematische innere Einflüsse
• Fehlerbegriff in KTT berücksichtigt nur unsystematische Fehler
• darüber hinaus keine Annahme, wie Items beantwortet werden oder wie Testleistung zustande kommt
• nur Berücksichtigung, aus welchen Komponenten Messwerte bestehen > KTT ist reine Theorie der Messfehler bzw. der Freiheit von Messfehlern oder Reliabilität

• in KTT werden bestimmte Grundannahmen (= Axiome) vorausgesetzt, aus denen sich bestimmte Folgerungen logisch ergeben:
  • Ausgangspunkt ist Varianz von Messwerten
    1. Interitemvarianz: Messwerte können schon bei der Testung einer einzelnen Person bei   einer einzigen Gelegenheit zwischen den Teilen (Items) eines Tests variieren
    2. Messwerte können intraindividuell variieren, wenn dieselbe Person mehrfach mit den gleichen Verfahren getestet wird
    3. Messwerte können interindividuell zwischen verschiedenen Teilnehmern einer einzelnen Testung variieren
  • bezüglich (2) und (3) unterstellt KTT Zufallsziehung und Zufallsfehler:
    • bei beliebiger Testwiederholung > Xi Annäherung an Normalverteilung
    • Mittelwert ist als wahrer Wert Ti (true score) definiert > Existenzaxiom:
      • entspricht Verhaltenstendenz
    • jede einzelne Messung ist mit Fehler Ei (error) behaftet:
      • umfasst per Definition alle unkontrollierten und unsystematischen Störeinflüsse
      • schwankt im Ausmaß ebenfalls zufällig um einen Mittelwert

• jeder beobachtete Wert setzt sich additiv aus einem
  • wahren Wert und einer
  • Fehlerkomponente zusammen:

Xi = Ti + Ei       (Xi = Testergebnis; Ti = wahrer Wert; Ei = Fehler)

• damit ist Messfehler Differenz zwischen beobachtetem Testwert einer Person und wahrem Wert:

Ei = Xi - Ti

aus Definition von wahrem Wert u. Messfehler > Folgerungen für Eigenschaften des Messfehlers u. des Zusammenhangs zwischen Messfehler u. wahrem Wert > sind nach Steyer u. Eid aus logischen Gründen wahr:

1. Mittelwert M des Messfehlers ist Null:

• a) gilt sowohl für unendlich viele Messungen einer Person i              M (E)i = 0
• b) als auch für Mittelwert der Fehler in einer (Teil-)Population P:        M (E)P = 0

         2. kein Zusammenhang r zwischen Messfehler u. wahrem Wert:

• gilt ebenfalls für Person/ (Teil-)Population
• Messfehler hängt damit nicht von Ausprägung (hoch, niedrig, durchschnittlich) des wahren Werts ab:                         r (E, T) = 0          

zusätzliche Annahmen:

         3. Messfehler eines Test A weist keinen Zusammenhang mit Messfehler eines Tests B auf: r (EA, EB) = 0        

• Annahme gilt nur dann, wenn beide Messvorgänge experimentell (nicht empirisch) unabhängig sind
• Annahme kann in Praxis falsch sein (Annahme bequem, aber nicht zwingend notwendig)

         4. Unabhängigkeit von Messfehler u. wahrem Wert gilt auch überkreuz:

• Messfehler von Test A weist keinen Zusammenhang mit wahrem Wert aus Test B auf:                          r (EA, TB) = 0

aus X = T + E ergibt sich, dass mindestens Intervallskalenniveau vorausgesetzt wird (wegen Differenz):

• bei den meisten Fragebögen fraglich > „Per fiat“-Messung („Es möge sein“)

Reliabilität rtt eines Testes (= Messgenauigkeit):

• Grundgleichung Xi = Ti + Ei (bezieht sich auf einzelne Messung)
• Erweiterung der Grundgleichung auf viele Messungen (entweder eine Person/ Gruppe/ Population)
• für beobachtete Werte, wahre Werte und Messfehler ergeben sich jeweils Verteilungen und zu jeder Verteilung die entsprechenden Streuungen o. Varianzen S²x, S²T u. S²E
• Reliabilität = Anteil der wahren Varianz ST² an der gesamten beobachteten Varianz SX²
• da nach (2) keine Korrelation zwischen T (wahrer Wert) und E (Messfehler) > Addition der Varianzen möglich S²x = S²T + S²E
• Schätzung der Reliabliltät eines Tests: rtt = ST² / ST² + SE²                         rtt = St² / Sx²
• Reliabilität spielt auch für Prüfung der Genauigkeit einer einzelnen Messung wichtige Rolle
• wesentliche Information zur Bestimmung von Standardschätz- und Standardmessfehler, die benötigt werden um zu beurteilen, wie gut sich die psycholog. Gutachterin auf Testergebnis einer einzelnen Person verlassen kann

• in T und ST² sind auch systematische Fehler zusammengefasst > bias
• in KTT wird bias der wahren Varianz zugeschlagen
• formal Erweiterung der Grundgleichung möglich, wenn T in C (= Zielkonstrukt) und B (= Bias) zerlegt wird:

                       Xi = Ci + Bi + Ei

• Validität = Messung des Zielkonstrukts = Gültigkeit inhaltlicher Aussagen auf Grundlage von Testergebnissen = in welchem Ausmaß misst Test in der jeweiligen Situation das, was der Test messen soll
• formal = Anteil der Zielkonstruktvarianz an Gesamtvarianz

                               rtc = S²c / (S²c + S²B + S²E)                  (rtc = Validität, S²c = Zielkonstruktvarianz)

• Gleichungen wären mathematisch nur korrekt, wenn Zielkonstrukt und Bias nicht miteinander korrelieren würden > selten
• Formeln dienen eher der formalen Unterscheidung von Reliabilität und Validität

Axiome der KTT in Praxis nicht immer haltbar:

• Bias wird wahrem Wert zugerechnet
• keine Verbindung zwischen Fähigkeit/ Eigenschaft/ Merkmal und Itembeantwortung
• wahre Leistungseffekte können durch Übung oder Transfereffekte verändert werden

damit ist zu bezweifeln:

• Annahme eines fehlenden Zusammenhangs zwischen wahrem Wert und Messfehler
• Konstanz des wahren Wertes über Messwiederholungen

Verletzung der Annahme der Eindimensionalität (Test/ Skala misst nur ein Konstrukt):

• Über- und ggf. auch Unterschätzung von wahrem Wert und Messgenauigkeit eines Tests

Fischer (1974): ungenauere Messungen bei extrem hohen bzw. extrem niedrigen Fähigkeitsausprägungen:

• in diesen Bereichen auch geringere Stichproben

KTT nimmt Eindimensionalität an, überprüft diese Annahme aber nicht:

• Möglichkeit des Aufzeigens solcher Verletzungen: konfirmatorische Faktorenanalyse

weiteres Problem: Testwerte der KTT stichprobenabhängig:

• je nach Referenzgruppe andere Bedeutung der individuellen Leistung
• oft Gütekriterien für verschiedene Teilstichproben notwendig, wird aber nicht immer konsequent verfolgt > großer Mangel in Praxis

KTT trotzdem in Praxis bewährt > denn: Brauchbarkeit eines Tests hängt vor allem von einer inhaltlich begründeten Konstruktion der Items und der Skalen ab

• Modell aus der PTT
• untersucht Zusammenhang zwischen Fähigkeit/ Eigenschaft einer Person und Wahrscheinlichkeit, mit der diese Person Aufgabe löst, die besagte Fähigkeit/ Eigenschaft messen soll
• Untersuchung von Antwortmustern, die bestimmtem Modell folgen müssen
• Lösungswahrscheinlichkeit hängt ab von:
  • Personparameter: Fähigkeit oder Eigenschaftsausprägung einer Person
  • Itemparameter: Schwierigkeit eines Items
  • beides wird im Rahmen von PTT-Analysen empirisch geschätzt:
    • Beziehung zwischen Personenfähigkeit und Itemlösungswahrscheinlichkeit ist dabei probabilistisch
    • mit steigender Personenfähigkeit nimmt Wahrscheinlichkeit einer Itemlösung zu

• Unterschied zur KTT: Modelltest möglich (in KTT wird für Summenwert Intervallskalenniveau unterstellt):
  • Zulässigkeit der Summation und damit Skalenniveau wird geprüft
  • Prüfung der Eindimensionalität
  • Prüfungen lassen sich auch auf KTT-Modelle anwenden
• wird Modell nicht durch Modelltest abgelehnt, so misst der Summenwert den Ausprägungsgrad einer Person auf der latenten Variable (Fähigkeit):
  • Summenwert ist erschöpfende Statistik der Personenfähigkeit (Summenwert liefert alle Informationen über die Fähigkeitsausprägung der Person)
  • Antwortmuster muss nicht Item für Item betrachtet werden
  • Item ist dann guter Indikator für latente Variable, wenn Leistung in diesem Item komplett auf Fähigkeitsausprägung auf latenter Variable zurückzuführen ist und nicht auf andere Fähigkeiten:
    • > lokale stochastische Unabhängigkeit = Lösungswahrscheinlichkeiten der Items für alle   Personen dürfen multipliziert werden
      • Eigenschaft liegt vor, wenn Rasch-Modell durch Modelltest nicht verworfen wird
      • Rasch-Modell implementiert echte Messtheorie in Psychologie