Bodeneffekte

bei abhängigen Ereignissen ist die Verbundwahrscheinlichkeit größer als das Produkt der Einzelwahrscheinlichkeiten; das heißt, das Lösen von Item i erhöht die Wahrscheinlichkeit für das Lösen von
Item j

• Latent-Class-Modelle
• Latent-Trait-Modelle
  • deterministische Modelle
  • probabilistische Modelle

qualitative kategoriale latente Klassen zur Charakterisierung von Personentypen

Latent-Trait-Modelle: quantitative kontinuierliche latente Variablen

deterministische Modelle: Antwortverhalten wird vollständig durch Item- und Personenparameter bestimmt

probabilistische Modelle: stochastische Beziehung zwischen Antwortverhalten und Item- und Personenparameter

Darstellung der Beziehung zwischen manifestem Antwortverhalten und der Ausprägung der latenten Traits als mathematische Gleichung

Lösungswahrscheinlichkeit P(xvi = 1) in Abhängigkeit des Schwierigkeitsparameters des Items (σi) und der individuellen Ausprägung der latenten Variable ξv (Personenparameter)

1. Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ
2. Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ und Itemdiskriminationsparameter λ
3. Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ, Itemdiskriminationsparameter λ und Rateparameter ρ

1. Fähigkeit einer Person, ein bestimmtes Item zu lösen
2. Merkmalsausprägung ξ, bei der die Lösungswahrscheinlichkeit für Item i .50 beträgt. An dieser Stelle hat die Kurve ihren Wendepunkt. ⇒ Anforderung, die ein Item an die Fähigkeit der Vp stellt

Personenparameter und Schwierigkeitsparameter lassen sich gemeinsam auf einer eindimensionalen Skala abbilden (Joint Scale)
Von der Ausprägung beider Parameter soll nun wiederum probabilistisch abhängen, ob ein Item gelöst wird oder nicht
Entscheidende Größe für die Lösewahrscheinlichkeit P(xvi = 1): Differenz ξv – σi (Personenparameter minus Schwierigkeitsparameter)

ξ_v > σi: Fähigkeit der Vp übertrifft Schwierigkeit des Items (P(xvi = 1) > .5)

ξ_v = σi: Fähigkeit der Vp entspricht genau der Schwierigkeit des Items (P(xvi = 1) = .5)

ξ_v < σi: Fähigkeit der Vp bleibt hinter der Schwierigkeit des Items zurück (P(xvi = 1) < .5)

Maß der Sensitivität der Items für Merkmalsunterschiede (ähnlich wie Trennschärfe der Itemanalyse). Berücksichtigt, daß Items unterschiedlich gut zwischen schwächeren und stärkeren Merkmalsausprägungen trennen können.

Je steiler die Kurve, desto besser differenziert das Item (Diskriminationsparameter λ)

Bestimmt die Steilheit der IC-Funktion

Je größer der Diskriminationsparameter λ, desto besser die Diskrimination

Beim dichotomen Rasch-Modell gilt λ = 1 (maximale Diskrimination), IC-Funktionen verlaufen parallel

Berücksichtigt die Ratewahrscheinlichkeit (z. B. bei MC-Aufgaben)

Lösungswahrscheinlichkeit P(x_vi) einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ_i

Itemschwierigkeitsparameter
- Itemdiskriminationsparameter (konstant = 1)
- spezifische Objektivität

• Rasch-Modell ist stichprobenunabhängig
• Rasch-homogene Items haben alle dieselbe Form (Itemdiskriminationsparameter konstant = 1), aber parallele Verschiebung bzgl. der ξ-Achse (unterschiedliche Schwierigkeitsparameter)

1. Parameterschätzung

2. Modelltest

Problem: Personen- und Schwierigkeitsparameter unbekannt, nur Schätzung möglich

Ausgangspunkt: Datenmatrix, Parameter können aus Zeilen- und Spalten-Scores geschätzt werden

Spaltensumme: Schwierigkeitsparameter: Je kleiner Wert, desto schwieriger das Item (wie Schwierigkeitsindex Itemanalyse)
Zeilensumme: Personenparameter: Je kleiner der Wert, desto geringer die Fähigkeit der Vp (!), weil weniger Punkte erreicht

Gesucht: optimale Schätzungen für Parameter (nicht absolute Werte, sondern Rangreihenfolge wichtig; Konvention: Mittelwert der Itemparameter = 0): Mit Likelihoodfunktion überprüfen, mit welcher Wahrscheinlichkeit die Parameterschätzungen zu den Daten passen (Werte 0-1)

• hohe Likelihood-Werte: günstige Parameterschätzung
• niedrige Likelihood-Werte: ungünstige Parameterschätzung

Likelihoodfunktion L: Angabe über die Wahrscheinlichkeit aller beobachteten Daten (kein statistisches Prüfverfahren)

Parameterschätzung sollte so oft wiederholt werden, bis der höchste Likelihood- Wert gefunden wird

Test, um Güte der Annahmen zu prüfen

postulierte Stichprobenunabhängigkeit überprüfen
1. Graphischer Modelltest: für zwei Substichproben wird für jedes Item der Itemparameter abgetragen. Je näher die Punkte an der Hauptdiagonalen liegen, desto größer die Stichprobenunabhängigkeit und desto eindeutiger die Rasch-Homogenität

2. Likelihood-Quotienten-Test
- Parameterschätzungen für zwei Substichproben
- Signifikanztest auf Unterschiedlichkeit
- wenn signifikant: keine Modellkonformität, Unterschiede vorhanden (genau wie beim Kolmogorv-Smirnov-Test)

+ bessere Testkonstruktion auf Item-Ebene als KTT
+ Überprüfung der Modellpassung von Items
+ Identifizierung von Itembiases zwischen demographischen Gruppen
+ Hinzufügen von homogenen Items
+ Testübersetzungen
+ neutrale Mittelwerte
+ Identifizierung untypischer Antwortmuster
+ bessere Konstruktvalidität: Eindimensionalität kann überprüft werden
+ genauere Schätzung der Reliabilität
+ Stichprobenunabhängigkeit
+ Intervallskalenniveau

+ computerbasierte Testanwendung
+ Large Scale Assessment (PISA, OECD, TIMSS)
+ parallele Tests
+ adaptive Tests (tailored testing, branched testing)

- enormer Testkonstruktions-Mehraufwand
- sehr große Stichproben notwendig
- schmaler Merkmalsbereich
- benutzerunfreundliche Computerprogramme
- Fazit: State of the art, aber bislang wenige Konstruktionen

• genau kennenlernen
• entscheiden
• beschließen

Psychologische Diagnostik ist die Lehre von Methoden und Verfahren der sachgemäßen Durchführung einer Diagnose.
Diagnostik = Diagnose + Prognose

1. Methoden zur inter- und intraindividuellen Unterscheidung von psychologischen oder Verhaltensmerkmalen

2. Wissenschaftliche Disziplin, die Regeln angibt, wie psychologische Charakteristika von Personen sowie die Bedingungen, unter denen psychologisch relevantes Verhalten erfolgt, zu ermitteln sind.

mögliches Ziel der Diagnostik

psychologisches Handeln oder Maßnahmen, die Veränderung beabsichtigen (Treatment)

Testen = Grundlage der Diagnostik

Prozeßablauf: Testen – Diagnose – Intervention

1. Fragestellung
2. Übersetzung in ein psychologisches Untersuchungsszenario
3. Bestimmung der psychologischen Untersuchungsverfahren
4. Untersuchungsphase
5. Auswertung und Interpretation der Ergebnisse
6. Kann die Fragestellung beantwortet werden?
7. Diagnose, Prognose
8. Evaluation

• Das zu Messende ist nicht gegeben, sondern nur erschließbar, nicht direkt meßbar
• Keine einheitlichen Definitionen
• Zwei Schritte, bevor man messen kann: 1. konzeptuelle Definition, 2. Operationalisierung
• Latente Variable/Konstrukt: Intelligenz
• Beobachtete Variable/Indikator: Wortschatz, räumliches Vorstellungsvermögen, Wahrnehmungstempo, rechnerisches Denken usw.
• Reagibilität: die definierten Variablen betreffen Prozesse, die sich aufgrund der Tatsache, dass sie gemessen werden, verändern können (Lerneffekte, Variable kann nicht beliebig häufig gemessen werden)
• Kultureller und historischer Kontext von Wahrnehmung, Normen und Werten

Testtheorien befassen sich mit der Frage, wie empirische Testwerte mit den zu messenden (tatsächlichen) Merkmalsausprägungen zusammenhängen.

Testtheorien definieren Anforderungen, denen ein Test genügen muß, um von den empirischen Testwerten auf die tatsächliche Merkmalsausprägung schließen zu können.

Proband: Tagesform, Motivation, andere Merkmale
Diagnostiker: Durchführung, Auswertung, Interpretation
Meßinstrument: Reliabilität, Validität

1. Objektivität
2. Reliabilität
3. Validität

4. Skalierung
5. Normierung
6. Testökonomie
7. Nützlichkeit
8. Zumutbarkeit
9. Unverfälschbarkeit
10. Fairneß

Objektivität = Standardisierung
Objektivität stellt die Vergleichbarkeit mehrerer Tests sicher
Standardisierung der Testdurchführung, -auswertung und -interpretation

Ein Test ist objektiv, wenn er dasjenige Merkmal, das er mißt, unabhängig von
Testleiter, Testauswerter und von der Ergebnisinterpretation mißt.

Interaktionsfreiheit: Interaktion als Störvariable ausschließen (nur Merkmale der Vpn sollen
erfaßt werden, nicht die des Testleiters)

• Testergebnis unabhängig von den Bedingungen der Testdurchführung (Versuchsleiter, Testumgebung usw.)
• Stets gleiche Durchführungsbedingungen (Raum und Zeit)
• Unabhängigkeit des Testleiters
• Standardisierte Instruktion, kein Gespräch, Anweisungen dürfen nur wiederholt, nicht aber erklärt werden

• Testergebnis ist unabhängig davon, welcher Testleiter den Test auswertet
• Besonders schwierig bei offenen Fragen: detaillierte Auswertungsregeln erforderlich
• Überprüfung der Übereinstimmung von verschiedenen Auswertern mit demselben Rohmaterial

• Interpretation des Testergebnisses ist unabhängig vom Testleiter
• Ordnen verschiedene Anwender dem gleichen Test-Score die gleiche Merkmalsausprägung zu?
• Hilfreich: Normtabellen (Vergleich der Vp mit relevanter Bezugsgruppe)

Reliabilität = Meßpräzision, Meßgenauigkeit unabhängig vom Inhalt

Ein Test ist reliabel (zuverlässig), wenn er das Merkmal, das er mißt, exakt, d. h. ohne Meßfehler mißt.

• Retest-Reliabilität
• Paralleltest-Reliabilität
• Testhalbierungs-(Split-Half-)
• Reliabilität
• innere Konsistenz/Cronbachs alpha (Verallgemeinerung der Testhalbierungsmethode: jedes Item wird als eigenständiger Testteil betrachtet)