Testtheorie
Testtheorie und Fragebogenkonstruktion
Testtheorie und Fragebogenkonstruktion
Prozentrangnorm
Der Testwert wird als Prozentrang relativ zur Eichstichprobe angegeben.
Durch die nichtlineare Transformation liegt danach nur noch
Ordinalskalenniveau vor – Abstände sind z.B. nicht mehr interpretierbar
Standardnormen
Der Testwert wird einer z-Transformation bezüglich der Eichstichprobe
unterzogen. Eine anschließende weitere Lineartransformation erzeugt
„schönere“ Werte.
Selbstverständlich lassen sich z-Werte unabhängig von der Verteilungsform
bestimmen. Die Interpretierbarkeit der Werte steigt jedoch deutlich an, wenn
bekannt ist, dass die zugrundeliegende Verteilung eine Normalverteilung ist.
Stanine-Werte
Die seltsamen Zahlen ergeben sich aus der Festlegung der
zugehörigen Prozentränge mit (4% , 7%, 12%, 17%, 20% 17%, 12%, 7%, 4%). Heute gebräuchlich v.a. bei Tests, bei denen aufgrund eher mäßiger Reliabilität keine übertriebene numerische Präzision impliziert werden soll.
Standardnorm-Äquivalente
+Sind die Testrohwerte nicht normalverteilt, ist es üblich, sie für die Ermittlung
der Normtabellen zunächst einer Flächentransformation nach McCall zu
unterziehen
Als Ursachen für eine Abweichung der Testrohwertverteilung von einer
Normalverteilung lassen sich prinzipiell unterscheiden
- merkmalsbedingte Anormalität
- testbedingte Anormalität
- stichprobenbedingte Anormalität
Kriteriumsorientierte Testwertinterpretation
Merkmalsausprägung wird basierend auf inhaltlich-psychologisch definiertem
Kriterium interpretiert. Das Kriterium ergibt sich aus Überlegungen zur
inhaltlichen Bedeutung des Testwertes.
Häufig sind vorab definierte Schwellenwerte. Diese können sich ergeben aus
- externen Kriterien (z.B. Wahrscheinlichkeit für korrekte klinische
Diagnose, Wahrscheinlichkeit für Ausbildungserfolg)
- Aufgabeninhalten (z.B. Bildungsstandards, Ausmaß der Lernzielerfüllung
Grenzen und Schwächen der klassischen Testtheorie
- Beschränkung auf Messfehlertheorie
- keine messtheoretische Fundierung des angenommenen
Intervallskalenniveaus der Testwerte
- keine Berücksichtigung der Validität auf Modellebene
- Populationsabhängigkeit von Reliabilität und Validität
- Paradoxie: Senkung der Validität durch Steigerung der Homogenität
- Mangelnde Reliabilität von Veränderungsmessungen
Viele andere „Kritikpunkte“ sind in Wahrheit eher konzeptuelle
Missverständnisse, z.B.
- Attenuationsparadoxon
- Hinterfragung des „wahren Wertes“ (A1)
- Hinterfragung des Fehlerkonzepts (L1)
- Hinterfragung der Unabhängigkeit von wahren Werten und Fehlern (L2)
Grundidee der Item-Response-Theorie (IRT)
- Modelltheoretische Unterscheidung zwischen latenten und manifesten
Variablen
- Annahme einer probabilistischen Beziehung zwischen dem latenten
Fähigkeitsparameter ξ („ksi“) und dem Erfolg beim Lösen eines Items
- Gebräuchlich sind logarithmische Kurven zur Modellierung der
Lösungswahrscheinlichkeit der Items
Modellannahmen
- Eindimensionalität: Lösungswahrscheinlichkeit eines Items hängt allein von
der Personenfähigkeit ξ ab
- Monotonie: Lösungswahrscheinlichkeit eines Items steigt monoton mit der
Personenfähigkeit ξ
- Lokale stochastische Unabhängigkeit: für gegebene ξ sind die
Itemantworten der Items stochastisch unabhängig
Das Skalogramm-Modell von Guttman als Vorläufer
Im Skalogramm-Modell von Guttman (1950) wird angenommen, dass ab einem
bestimmten Fähigkeitsparameter ξ das Item gelöst wird. Es liegt also ein
deterministischer Zusammenhang vor.
Problem: Modellverletzungen (Tolerierbarkeit?)
Rasch-Modell (1PL)
Im Rasch-Modell wird ein probabilistischer Zusammenhang zwischen
Lösungswahrscheinlichkeit P(), Fähigkeit ξ und Itemschwierigkeit σ postuliert,
der zu logistischen Kurven führt:
Umgekehrt gelangt man mit der Logit-Funktion wieder von der
Lösungswahrscheinlichkeit zu der Parameterdifferenz:
s
Parameterschätzung
Die Schätzung der Item- und Personenparameter ξ und σ geschieht auf Basis der individuellen Antwortmuster basierend auf der obigen Modellgleichung. Dabei wird die sog. Likelihood des empirisch beobachteten Antwortmusters X durch iterative Suche im Raum aller ξvund σimaximiert (sog. Maximum-Likelihood-Methode).
Differenzskalenniveau
Das Skalenniveau von Fähigkeit ξ und Schwierigkeit σ ist das einer
Differenzskala (variabler Nullpunkt, feste Einheiten, daher Eindeutigkeit bis auf
eine additive Konstante). Dabei handelt es sich um eine logarithmierte
Verhältnisskala. Damit liegt mehr als Intervallskalenniveau vor.
Die additive Konstante bewirkt, dass es keinen natürlichen Nullpunkt für die
Differenzen ξ-σ gibt. Es ist daher üblich, die Itemparameter innerhalb eines
Tests so festzulegen, dass deren Summe 0 ergibt (sog. Summennormierung).
Die Personenparameter ergeben sich dann aus der o.g. Parameterschätzung.
Erschöpfende Statistiken
Für einen Rasch-modellkonformen Test lässt sich beweisen, dass die
individuellen Lösungsmuster der Testanden für die Bestimmung von ξ und σ
irrelevant sind. Es genügt, die jeweiligen Summenscores zu kennen. Daher sind diese Summenscores erschöpfende Statistiken für die Parameterschätzung.
Spezifische Objektivität
Für einen Rasch-modellkonformen Test lässt sich zeigen, dass die Bestimmung der Item- und Personenparameter stichprobenunabhängig ist. Ermöglicht wird dies durch die Beschränkung auf ICCs gleicher Form, die lediglich entlang der ξ-Achse verschoben sind.
So ergibt sich die spezifische Objektivität der Vergleiche von Items bzw.
Personen.
Das bedeutet, dass z.B. der Schwierigkeitsunterschied σj
-σi zweier Items unabhängig ist von dem Fähigkeitsniveau der Testanden. Ebenso ist der Fähigkeitsunterschied ξw-ξv zweier Testanden unabhängig vom mittleren Schwierigkeitsniveau der Items, aus denen der Test besteht.
Modelltests
Die Gültigkeit der Annahme der Rasch-Modellkonformität kann mit empirischen Modelltests geprüft werden. Geläufig ist die Teilung der Gesamtstichprobe nach je einem relevanten Kriterium und anschließende Itemparameterschätzungen in den Teilgruppen. Diese sollten sich nicht systematisch unterscheiden.
Informationsfunktion
Für Vergleiche zwischen Testanden sind die Items am informativsten, deren
Schwierigkeit σ nahe der Fähigkeit ξ der beiden Testanden liegt. Dies lässt sich über die sog. Informationsfunktion exakt beschreiben. Mit der Summe dieser Werte über die Items eines Tests ergibt sich auch eine Möglichkeit,
Konfidenzintervalle um Punktschätzungen für ξ zu legen.
2PL-Modell (Birnbaum-Modell)
Das 1PL-Modell (Rasch-Modell) lässt sich durch Aufnahme eines
Diskriminationsparameters λ zum 2PL-Modell (Birnbaum-Modell) erweitern.
Damit wird eine unterschiedliche Steigung der ICCs ermöglicht. Damit werden
aber wesentliche Vorzüge des Rasch-Modells geopfert (z.B. die spezifische
Objektivität, erschöpfende Statistiken und die Modelltests).
3PL - Modell
+ Rateparameter
Definition von Psychologischer Test
Ein Test ist ein wissenschaftliches Routineverfahren zu Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsausprägung.
Skalen
,
Was sind die drei zentralen Gütekriterien?
+ Objektivität (Standardiesierung)
+ Reliabilität
+ Validität
Was bedeutet Objektivität?
+ Unabhängigkeit der Testergebnisse von Testleiter, Testauswerter und Ergebnisinterpretation
Welche Arten der Objektiviät gibt es?
+ Durchführungsobjektivität (betrifft Provokation und Registrierung)
+ Auswerungsobjektivität
+ Interprtationsobjektivität
Was bedeutet Reliabilität?
+ die Reliabilität (Messgenauigkeit eines Tests beschreibt, wie exakt der Test das Merkmal misst, das er misst.
Was bedeutet Reliabilität?
+ die Reliabilität (Messgenauigkeit eines Tests beschreibt, wie exakt der Test das Merkmal misst, das er misst.
Wie beschreibt man die Reliabilität?
+ über den Reliabilitätskoeffizienten
Was sagt der Reliabilitätskoeffizient aus? Welche Werte sind wünschenswert / nicht wünschenswert?
+ er ist definiert als Anteil der wahren Varianz an der gesamten Varianz der Testwerte
+ angestrebt werden große Werte nahe 1; Werte ab 0.7 werden üblicherweise als akzeptabel, ab 0.8 als gut betrachtet
Welche Verfahren stehen zur Schätzung der Reliabilität zur Verfügung?
Wie ist Validität definiert?
+ die Validität (Gültigkeit) eines Tests beschreibt, wie gut das tatsächlich gemessene Merkmal mit dem zu messenden Merkmal übereinstimmt
+ sie ist das zentrale Gütekriterium!!!
Welche Arten der Validität gibt es?
+Inhaltsvalidität
- wie weit entsprechen die Items, dem, was gemessen werden soll (Repräsentattivitätsschluss)
+ Konkurrente Validität
+ Prädiktive Validität
+ Konstruktvalidität
Welche weiteren Gütekriterien sind noch zu nennen?
+ Skalierung
+ Normierung (Eichung)
+ Testökonomie (Aufwand vs. Nutzen
+ Nützlichkeit
+ Zumutbarkeit
+ Unverfälschbarkeit
(der Getestete soll nicht in der Lage sein, Ergebnis zu verändern)
+ Fairness (Nicht- Benachteiligung ethnischer Gruppen)
Was sind die Ziele psychologischer Tests?
+ Quantifizieren oder Klassifizieren der Merkmalsausprägung eines Individuums
+ Feststellung von Unterschieden zwischen Individuuen oder Gruppen
+ Ermittlung, ob ein bestimmtes KRiterium erfüllt ist (Selektion)
+ Erstellen von Profilen unterschiedlicher Merkmalsausprägungen (Berufsinteressenprofil)
+ Erfassung von Merkmalsveränderungen
(etwa durch natürliche Entwicklungen, Umweltfaktoren, gezielte Interventionen etc.)
Wie kann man psychologische Tests klassifizieren?
+ nach dem Testmedium ( mündlich, Paper - Pencil, Bildtests, PC- gestützte
Tests
+ verbal vs. nonverbal
+ kulturfair vs. kulturgebunden
+ Individual vs. Gruppentests
+ ein vs. mehrdimensional
+ maximales vs. typisches Verhalten (Leistungs-/ Persönlichkeitstests)
+ Speed vs. Power - Tests
+ offene vs. gebundene Items
+ normativ vs. ipsativ (Rating Items vs. Forced - Choice -Items)
+ normorientiert vs. kriterienorientiert
(Merkmal hinsichtlich einer Bezugsgruppe vs. Testwert hinsichtlich inhaltl.
Kriterium)
+ klassisch vs. probabilistisch
Kannst du Beispiele nennen für Tests (Leistungs- und Persönlichkeitstests)?
Leistungstests; Efassung maximalen Verhaltens:
+ Intelligenztests (IST 2000R, BIS-4)
+ Konzentrationstests ( d2; Speed - Test)
+ Wissenstests (START - C; Power - Test)
+ Komplexe Szenarios (FSYS; Powertest, PC - gestützt)
Persönlichkeitstests, Erfassung typischen Verhaltens
+ Persönlichkeitsinventare (NEOFFI, 16 PF)
+ Spezielle Fragebögen (LOCI/DE, SSS-V)
+ Interessenstests (BIT2, wahlweise ipsativ oder normativ)
Was bedeutet Skalierung?
+ ein Test erfüllt das Kriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden
(eine leistungsfähigere Person soll auch besser in einem Leistungstest abschneiden, als eine weniger leistungsfähigere Person!)
Was bedeutet Normierung (Eichung)
+ unter Nromierung versteht das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können
Was bedeutet Testökonomie?
+ der Test erfüllt das Gütekriterium Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht
Was bedeutet Nützlichkeit?
+ ein Test ist dann nützlich, wenn für das von ihm gemessene MErkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen
-
- 1 / 143
-
Lernkarten
Mit welchen Methoden kann man Mängel erkennen? (Vorerprobung an kleiner Testandengruppe)
Methoden:
• retrospektive Befragung
• Debriefing
• Verhaltenskodierung
• kognitives Vortesten / lautes Denken
Wie ist die Item- Schwierigkeit / Varianz bei dichotomen Items?
Itemschwierigkeit
p definiert, also der Anteil der Itemrichtiglöser an der Gesamtzahl der Pbn, die
den Test bearbeitet haben. Sie wird auch Schwierigkeitsindex genannt.
Die Varianz eines Items ist pq = p(1-p) = p-p^2, die Streuung die Wurzel daraus.
Itemschwierigkeit bei Speedtests
- welche Antworten werden unterschieden?
• Richtig beantworteten Items
• Falsch beantworteten Items
• Ausgelassenen (übersprungenen) Items
• Unbearbeiteten Items
Für die Itemschwierigkeitsberechnung wird nun nicht durch die Anzahl aller
Testanden geteilt, sondern durch die Anzahl derer, die das Item nicht
unbearbeitet gelassen haben, also R+F+A.
Ratekorrektur
siehe
Itemschwierigkeit bei nicht dichotomen Items
+ Schwierigkeitsindex nach Dahl (1971) an, ein auf 0-1 (oder 0%-100%) normierter Mittelwert der Antworten aller Testanden auf das
Item:
punkttetrakorische Korrelationsformel
+ Korrelation zwischen zwei Items
Was versteht man unter der Trennschärfe?
+ gibt an, wie stark die Differenzierung zwischen den Probanden auf Basis des jeweiligen Items mit der Differenzierung zwischen den Probanden auf Basis des mit allen Items gebildeten Testwerts übereinstimmt
Wie berechnet man den Testwert xv eines Probanden?
ll
biserale / punktbiserale Korrelation
ss
Part - Whole - Korrektur
vor allem bei wenigen Items, um die Trennschärfe nicht zu überschätzen, da das Item ja auch in der Summenwertbildung enthalten ist.
maximal Itemvarianz
Die Itemvarianz ist bei mittlerer Schwierigkeit p maximal! D.h. dort kann man sehr gut zwischen den Personen unterscheiden ;)
maximale Korrelation und Kovarianz zweier Items
:)
Summensatz der Varianzen & maximale Varianz eines Tests
s
Kovarianz und maximale Trennschärfe
jaja
Itemhomogenität nach Horst
Ausmaß, in dem zwei Items das gleiche messen, um Einfluss der Schwieridkeiten bereinigt
Auswahl der Items, was muss berücksichtigt werden?
Zu berücksichtigen sind:
• Itemschwierigkeit
• Itemvarianz
• Trennschärfe
• zusätzlich Reliabilität
• zusätzlich Validität
Wie sollte sich die Schwierigkeit über den Test verteilen?
Üblicherweise ist anzustreben, dass die Items im Schwierigkeitsbereich von .05 bis .95 annähernd gleichmäßig verteilt sind
Geht es lediglich um Differenzierung im oberen oder unteren Bereich, kann man
auch nur einen Teilbereich dieses Bandes abdecken.
Es gibt Methoden zur rationalen Itemselektion, bei denen die einzelnen Kriterien nach festgelegten Regeln gegeneinander abgewogen werden (z.B. GulliksenTechnik, Mittenecker-Ebel-Selektion)
Itemrevision
Im Rahmen der Itemselektion kann auch bei ungeeigneten Items die Ursache
analysiert und ggf. das Item verbessert werden.
Wurden viele Items abgeändert, sollte die neue Testform nochmals einer – ggf.
kleineren – Analysestichprobe vorgegeben werden.
Distraktorenanalyse
Bei Mehrfachwahlaufgaben sollten die Distraktoren analysiert werden.
Einfachste Variante: Häufigkeitsverteilung der Antwortalternativen.
Zusätzlich möglich: Differenzierung nach Gesamttestscore der Testanden oder anderen Testandenmerkmalen
Testwertermittlung bei Leistungstests?
einfach die Richtigantworten zählen ggf. Gewichtungsfaktor falsche Antworten abziehen
Ratekorrektur
um Testanden, die lieber keine als eine unsichere Antwort geben, nicht zu benachteiligen
Testwertermittlung bei Persönlichkeitstests
Gibt es mehr als nur die Unterscheidung in Richtig und Falsch, wird i.d.R. die
Summe bzw. der Mittelwert aller kodierten Itemantworten gebildet. Dabei sind
die Kodierungen von Items, die gegen die Bedeutung der Gesamtskala gepolt
sind, zunächst zu invertieren.
Die erhaltenen Testwerte können mit den gängigen deskriptiven Methoden
(Histogramm, Mittelwert, Streuung, Schiefe, Exzess) analysiert werden.
Wie heißen die Axiome der Klassischen Testtheorie?
A1: Existenzaxiom
A2: Verknüpfungsaxiom
Welche Implikationen ergeben sich aus den Axiomen der Kl. Testtheorie?
L1: Fehlererwartungswert
L2: Unabhängigkeit
Welche Zusatzannahmen gibt es bei der Klassischen Testtheorie?
Z1: Unabhängigkeit der Messfehler zwischen Items (die Bearbeitung einer Aufgabe soll nicht von anderen abhängen
Testwert als Schätzer des wahren Wertes
die Fehler gleichen sich aus -> Testwert wahr
Was ist das Aggregationsprinzip?
die wahre Varianz steigt schneller, weil die Fehler sich ja ausgleichen
Schätzung von wahrer Varianz und Fehlervarianz
+ sind nicht direkt erfassbar
->deswegen nur Schluss über 2 Tests p und p', die das gleiche messen
-> Kovarianz
-> alle Fehlerglieder fallen weg (weil unkorreliert)
-> beobachtete Kovarianz = Kovarianz ihrer wahren Werte
-> wenn t-äquivalent, kann man die wahre Varianz über Kovarianz zweier Tests herausfinden
Reliabilität in der Klassischen Testtheorie; Definition
Anteil der wahren Varianz an der gesamten Varianz
Reliabiliätsschätzung
In Anlehnung an die Schätzung der wahren Varianz können wir nun auch die
Reliabilität bestimmen. Wir gehen von zwei parallelen Tests aus. Diese stellen
zwei gleichgroße Stichproben aus dem gleichen Itemuniversum dar und haben
folglich:
- gleiche Streuung,
- gleiche Mittelwerte
- gleiche Verteilung der Itemschwierigkeiten
- gleiches gemessenes Merkmal
Mit welchen Methoden kann man die Reliabilität schätzen?
Üblich sind die folgenden vier Methoden der Reliabilitätsschätzung:
- Paralleltest (einen parallelen Test zusätzlich testen)
- Retest (den gleichen Test nochmal testen)
- Split-Half (Halbierung des Tests in 2 parallele Tests)
- Interne Konsistenz
Auf diese Techniken wird im nächsten Block genauer eingegangen.
Standardmessfehler
= Streuung um den wahren Wert
resultiert aus Unreliabiltät des Tests errechnet sich als Wurzel aus der Fehlervarianz
Vertrauensintervall und kritische Differenz
aaaa
Kritische Differenz
Da die Vertrauensintervalle oft zu ungenau und zu groß sind, guckt man mit der kritischen Differenz, ob es wirklich einen Unterschied gibt, oder nicht.
Reliabilität und Testlänge
Die Hinzunahme weiterer paralleler Items erhöht die Reliabilität
-> Spearman - Brown- (Prophecy-) Formel
Retestverfahren
derselbe Test wird einer Stichprobe von Probanden zu zwei Zeitpunkten vorgelegt, die Korrelation der Testwerte ist die Retest - Reliabilität rtt
Retestverfahren - Fehlerquellen
Für die Herleitungen wurde von konstanten wahren Werten und konstanten
Fehlervarianzen des Tests zu den beiden Zeitpunkten ausgegangen.
Es ergeben sich daraus als Fehlerquellen:
- generelle Merkmalsinstabilität
- unsystematische Veränderungen der wahren Werte (systematische, also für
alle Testanden gleich starke, wären kein Problem)
- Variationen der Randbedingungen, wie Uhrzeit, Wetter, etc. (Ausschaltung
durch Konstanthaltung könnte jedoch angesichts der Anwendungspraxis
zu Überschätzungen führen)
- Lern- oder Erinnerungseffekte durch
o Vertrautheit mit der Testsituation
o Gewinn an Problemeinsicht
o direkte Erinnerung von Items
können bewirken:
o Testanden wählen wieder gleiche Alternative
o Testanden können erinnerte Items schneller bearbeiten
o Testanden könnten sich bei Persönlichkeitstests konsistent darstellen
Paralleltestverfahren
Hierzu müssen zwei parallele Tests (gleiche τ, gleiche σε2) existieren. Die Korrelation der nacheinander durchgeführten Parallelformen ist die Paralleltest Reliabilität
Die Parallelität zweier Testformen kann überprüft werden durch:
- Korrelation der Testwerte, zugleich Vergleich der Mittelwerte und
Streuungen
- Vergleich der Korrelation der parallelen Formen mit anderen
Reliabilitätsschätzungen der beiden Testformen
- Faktorenanalysen (ggf. auch konfirmatorisch) möglichst unter zusätzlicher
Einbeziehung von Außenkriterien
Welche Probleme kann es beim Paralleltestverfahren geben?
- Konstruktion zweier paralleler Formen kann je nach Aufgabentyp sehr
aufwändig sein
- Prüfung der Parallelität über Korrelation der parallelen Formen kann zu
Zirkelschlüssen führen (insbes. bei Fehlschlägen)
