Diagnostik I

• Anzahl Faktoren festlegen und welche Indikatoren auf welchem Faktor laden
• Hypothesen in Gleichungen umsetzen und als Pfaddiagramm darstellen (latente Var. mit Kreisen, beob. Var. mit Rechtecken)
• Modell ist identifiziert, wenn Anzahl der empirischen Varianzen und Kovarianzen der manifesten Indikatorvariablen grösser ist als Anzahl der zu schätzenden Parameter

• unterschiedliche Schätzmethoden - zB Maximum Likelihood
• Ziel der Schätzung >> Parameter so bestimmen, dass empirische Varianzen und Kovarianzen möglichst gut reproduziert werden 

• Fit Masse geben an, wie gut ein Modell den empirischen Daten übereinstimmt 
• Fit - Masss und Akzeptabler Fit:
  • X²-Test >> möglichst klein, möglichst nicht sig., 
  • RMSEA >> <.08
  • CFI >> >.95
  • NFI >> >.90
  • Modelldifferenztest ∆X² >> sig ist gut!
    • Vergleich von zwei hierarchisch geschachtelten Tests >> Welches ist besser?

Modifikationsindexe: Angaben, wie viel besser χ2 wäre, wenn an den Modell-Parametern etwas geändert wird

EFA oder CFA?

• wenn Theorie über Zusammenhänge der Faktoren vorhanden, dann CFA (benötigt aber grosses Sample)
• Praxis: EFA gut genug

PCA vs. PFA: PCA nimmt an, dass Variablen messfehlerfrei (unwahrscheinlich).
Aber falls nur eine unterliegende Dimension erwartet, dann eher PCA; wenn mehrere Dimensionen, dann PFA 

Rotation: orthogonal oder oblique?

• orthogonal, wenn Annahme, dass die Faktoren nicht korreliert sind
• oblique, wenn Annahme, dass Faktoren korreliert sind

- welche Stichprobengröße (Vpn)?
- je mehr Items, desto mehr Vpn
- CFA benötigt viel größere Stichprobe (> 200 Vpn)
- Sample muß auch repräsentativ sein

viele subjektive Entscheidungen
- beeinflussen Resultate, Interpretation, Benennung der Faktoren usw.
- Cross-Validation wichtig
- Items im Hinblick auf Faktorenbenennung prüfen

KTT

• Testergebnis entspricht direkt (mit Messfehler behaftet) dem Ausprägungsgrad des wahren Merkmals >> deterministische Beziehung
• Itemzusammenhänge werden analysiert (bleibt auf Messebene)
  • Zusammenhänge zwischen Items und postuliert dass ein latentes konstrukt da sein muss 
• Testwert entspricht dem Testscore (Schätzung Messfehler)

Probabilistische Testtheorie / Item-Response, IRT 

• Ausgangslage:
  •  explizite Unterscheidung zwischen latenter Merkmalsebene und manifester Testebene
  • Testergebnis lediglich Indikator für entsprechendes Merkmal
• IRT postuliert probabilisitsche Beziehung zwischen Itemantwort und Merkmalsausprägung (explizite Unterscheidung zwischen Merkmals- und Testebene
• Wahrscheinlichkeit von Itemantwortmuster [Indikator] wird bei gg. Fähigkeit/Merkmal analysiert
• Der Testwert stellt eine individuelle Schätzung des Personenparameters ξv dar
• Hauptunterschied zur KTT: bei der IRT kann eine hypothetisch festgelegte Funktionsform empirisch auf tatsächliches Vorliegen geprüft werden

• - psychologisches Konstrukt beeinflußt Testverhalten, das Testverhalten wiederum die Testauswertung und darüber auch das psychologische Konstrukt
• - Testtheorien befassen sich mit der Frage, wie empirische Testwerte mit den zu messenden (tatsächlichen) Merkmalsausprägungen zusammenhängen
• - Testtheorien definieren Anforderungen, denen ein Test genügen muß, um von den empirischen Testwerten auf die tatsächliche Merkmalsausprägung schließen zu können

Die Wahrscheinlichkeit, das Item zu lösen hängt von der Merkmalsausprägung ab (Fokus auf Antwortmuster)

Itemanalyse:

• itemcharakteristische Funktion (IC-Funktion, auch itemcharacteristic curve ICC): beschreibt in Abhängigkeit von der Merkmalsausprägung die Wahrscheinlichkeit, ein Item zu lösen
• Lösewahrscheinlichkeit hängt ab von

1. Personenparameter
2. Itemparameter

Grundidee - Wahrscheinlichkeit für richtiges Lösen eines Testitems (Verhalten) als Funktion von Personenmerkmal ξv und Situationsmerkmal (Itemschwierigkeitsparameter σi) >>p(xvi= 1) = ƒ(ξv,σi)

Test-Score: Schwierigkeitsgrad der Items, die eine Person lösen kann - wozu dient die IRT?

• Ergänzung, nicht Alternative zur KTT - Verbesserung der Konstruktvalidität, da
• Itemhomogenität empirisch überprüfbar >> FUNKTIONIERT NICHT MIT HETEROGENEN KONSTRUKTEN 
• Parameterschätzungen stichprobenunabhängig

liegt im Sinne der IRT vor, wenn alle Items dieselbe latente Variable/Konstrukt messen >> Eindimensionalität = NUR EIN KONSTRUKT 

• latente Variable als Ursache für die Korrelationen zwischen den manifesten Variablen
• notwendige Bedingung: Vorliegen mehrerer untereinander korrelierender manifester Variablen/Items
  >> Problem: Korrelationen könnten nicht durch die latente Variable verursacht worden sein, sondern durch etwas anderes
• hinreichende Bedingung: Itemhomogenität bezüglich der latenten Variable

Überprüfung der Itemhomogenität: lokale stochastische Unabhängigkeit
Wie kann man von mehreren manifesten Variablen (die die Ausprägungen der manifesten Variablen verursachen) auf eine dahinterliegende latente Variable schliessen?

>> Lokale stochastische Unabhängigkeit

• Annahme: es handelt sich um genau eine latente Variable
• Diese (zunächst unbekannte) latente Variable ist für das Zustandekommen der Antworten auf bestimmte Items „verantwortlich“, und „produziert“ daher deren beobachtbaren Zusammenhänge (Korrelationen)

• Die Zusammenhänge verschwinden (Nullkorrelationen), wenn man diese Variable / Ursache ausschaltet (konstant hält

Lokale stochastische Unabhängigkeit: Die manifesten Variablen korrelieren nicht mehr untereinander, wenn die latente Variable auf einem bestimmten Wert konstant gehalten wird (latente Variable hat keine Varianz mehr)

Lokale stochastische Unabhängigkeit: Die manifesten Variablen korrelieren nicht mehr untereinander, wenn die latente Variable auf einem bestimmten Wert konstant gehalten wird (latente Variable hat keine Varianz mehr)

Multiplikationstheorem für unabhängige Ereignisse
>> Der erste Münzwurf ist unabhängig vom zweiten Münzwurf 

• bei unabhängigen Ereignissen ist die Verbundwahrscheinlichkeit der Ereignisse (Wahrscheinlichkeit, dass bei gegebener Merkmalsausprägung ξ beide Items i und j bejaht werden) gleich dem Produkt der Einzelwahrscheinlichkeiten der Ereignisse

Bei abhängigen Ereignissen: Verbundwahrscheinlichkeit ist grösser als die Multiplikation der Einzelwahrscheinlichkeit.
[Dh. Lösen von Item i erhöht Wahrscheinlichkeit für Lösen von Item j]

• - Latent-Class-Modelle: qualitative kategoriale latente Klassen zur Charakterisierung von Personentypen
• - Latent-Trait-Modelle: quantitative kontinuierliche latente Variablen
  • - deterministische Modelle
    •  Antwortverhalten wird vollständig durch Item- und Personenparameter bestimmt
  •  probabilistische Modelle
    • stochastische Beziehung zwischen Antwortverhalten und Item- und Personenparameter
      
  • deterministische IC-Funktion (eckige Kurve) und probabilistische IC-Funktion (kontinuierliche Kurve)

Darstellung der Beziehung zwischen manifestem Antwortverhalten und der Ausprägung der latenten Traits als mathematische Gleichung
IC-Funktion:

• Lösungswahrscheinlichkeit P(xvi = 1) in Abhängigkeit des Schwierigkeitsparameters des Items (σi) und der individuellen Ausprägung der latenten Variable ξv (Personenparameter)
  • je höher Merkmalsaufprägung desto höher personenparameter und somit die wahrscheinlichkeit 

Jeder Ausprägung der latenten Variable ξ wird eine Wahrscheinlichkeit (P(xvi)) zugeordnet, mit der eine Person ein Item lösen wird.

- Einparameter-logistisches (1PL-)Modell/Rasch-Modell (dichotome Items) WIR SCHAUEN NUR DAS AN 
Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ

- Zweiparameter-logistisches (2PL-)Modell/Birnbaum-Modell
Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ und Itemdiskriminationsparameter λ

- Dreiparameter-logistisches (3PL-)Modell/Rate-Modell von Birnbaum
Lösungswahrscheinlichkeit einer Person mit Personenparameter ξ in Abhängigkeit vom Itemschwierigkeitsparameter σ, Itemdiskriminationsparameter λ und Rateparameter ρ

• - einfachstes und vorteilhaftestes Modell
• - Lösungswahrscheinlichkeit P(xvi) einer Person mit Personenparameter ξ in Abhängigkeit vomItemschwierigkeitsparameter σi
  >> Je stärker ξ die σ übertrifft, desto grösser ist die Wahrscheinlichkeit, das Item zu lösen (bzw. symptomatisch zu beantworten).

Vorgehensweise

1. parameterschätzung 
2. modelltest

 Merkmale des Rasch-Modells:

• Itemschwierigkeitsparameter, 
  • Merkmalsausprägung (ξv), bei der die Lösungswahrscheinlichkeit für Item i 0.5 beträgt. An dieser Stelle hat die Kurve ihren Wendepunkt.
  • Merkmale werden von Links nach Rechts schwieriger
• Itemdiskriminationsparameter (konstant = 1),
  • Mass für Sensitivität der Items für Merkmalsunterschiede (vgl. Trennschärfen in Itemanalyse)
  • Rasch–Modell: Itemdiskriminationsparameter konstant (λi=1)
• spezifische Objektivität
  • Rasch-Modell ist stichprobenunabhängi
  • Rasch-homogene Items haben alle dieselbe Form (Itemdiskriminationsparameter konstant = 1), aber parallele Verschiebung bzgl. der ξ-Achse (unterschiedliche Schwierigkeitsparameter)
  • spezifische Objektivität der Vergleiche
    • 1. Schwierigkeitsunterschied δ zwischen zwei Items kann unabhängig davon festgestellt werden, ob einfache oder schwierige Items verwendet werden:
    • Grundlage für adaptives Testen
    • Vpn mit unterschiedlichen Items testbar und dennoch miteinander vergleichbar

alle Items sind gleich effizient — nicht jedes Item gibt gleich viel information —> Iteminformationsfunktion 

gibt an, wie hoch der Informationsgehalt eines Item i bzgl. der Diskrimination zwischen versch. Merkmalsausprägungen ist

je grösser die Steigung der IC- Funktion am Punkt der Merkmalsausprägung, desto höher der Gewinn an Informationnicht

• Bilder oder Inhalte in logische Reihenfolge bringen
  • Abfolgen zu erkennen >> mit Bilder Geschichte erzählen 

+ einfach, ökonomisch und objektiv
+ zufällige Beantwortung weniger problematisch als bei Auswahlaufgabe
+ sprachliche Fertigkeiten werden nicht mitgemessen
+ eignen sich auch zur Überprüfung von Wissen (v. a. bei Zuordnung), Schlussfolgerungen sowie Ursache-Wirkungs-Zusammenhängen (v. a. bei Umordnung)
+ Abstratktionsfähigkeit kann getestet werden

- nur Rekognition/Wiedererkennen, keine Reproduktion nötig
- nach jeder richtigen Antwort nehmen die Freiheitsgrade ab — am Schluss hat man nur noch eine Auswahlmöglichkeit
- Materialverbrauch bei Umordnungsaufgaben hoch

• Richtig-falsch-Aufgaben (auch: trifft zu/trifft nicht zu) — nur zwei Antwortalternativen
  • „Ich gehe Abends gerne aus“
• bei Leistungstests auch zwei Rechenaufgaben nebeneinander (!)
  • dort muss man schnell entscheiden ob die Rechnung stimmt oder nicht 
• unechte Dichotomie: „Ich gehe abends gerne aus.“ Stimmt – Stimmt nicht (nicht „richtig/falsch“)
  • nur die Rechnung ist eine echte Dichotomie, bei den "Abends gerne aus" Fragen will man unter Umständen etwas dazwischen ankreuzen >> Man verliert an Information 
     

+ ökonomisch —> kurze Bearbeitungs-, Lösungs- und Auswertungszeit
+ Testinstruktion i. d. R. leicht verständlich

- Ja-Nein-Items müssen so formuliert werden, daß sie eindeutig beantwortet werden können

- 50 % Zufallslösungen —> Ratewahrscheinlichkeit hoch
- kaum differenzierte Informationen
>> Akquieszenz (Zustimmungstendenz, Ja-sage-Tendenz) >> Menschen stimmen so eher zu als wenn sie auf einer Skala differenzierter Antworten können 

• Achtung, nicht bei Persönlichkeitstests, auch wenn es mehrere Antwortmöglichkeiten gibt
• Bei Leistungstests die richtige, bei Persönlichkeit die zutreffende

Vor- und Nachteile von Mehrfachwahlaufgaben

+ Durchführung und Auswertung ökonomisch und objektiv
+ mit steigender Anzahl Antwortalternativen ist eine zufällige Beantwortung weniger problematisch

- geeignete Antwortalternativen zu finden ist evtl. schwierig, da alle falschen Antworten gleich wahrscheinlich gewählt werden sollten
- Antworten können Hinweise auf richtige Lösung enthalten
- nur Rekognition/Wiedererkennen, keine Reproduktion nötig
- nicht für alle Konstrukte sinnvoll

Alternativmöglichkeiten in der Weise konstruierten, dass sie zwar richtig aussehen, aber inhaltlich falsch sind 

>> nur wenn ähnlich, wird der Auswahlprozess ohne Kenntnisse schwierig 

• sollten plausibel sein
• alle Alternativen ähnliche Länge und grammatikalische Struktur
• Antwort soll mit Aufgabenstamm/Stimulusteil sprachlich übereinstimmen
• Alternativen möglichst kurz halten
• nicht mehrere Distraktoren mit gleichem Inhalt, sonst zu leicht ausschliessbar
• Position der korrekten Antwort soll variieren
• „all of the above“, „none of the above“ (alle/keine sind richtig) möglichst sparsam einsetzen

disjunkt: Antwortalternativen sollten sich gegenseitig ausschließen („Kreuzen Sie Ihren aktuellen Zivilstand an“ — verheiratet, ledig, getrennt, geschieden)

nicht disjunkt: Antwortalternativen schließen sich nicht gegenseitig aus („Kreuzen Sie Ihren Partnersituation an“ — ledig, offene Partnerschaft, monogame Partnerschaf, verwitwet, mit Partner lebend)

• Vollständigkeit der Antwortalternativen >> Kann man das was zutrifft ankreuzen? 
• wichtig bei Persönlichkeitstests (zur Not Feld „andere: _________“) >> da man möglicherweise nicht alle auflisten kann 

Spezialfall: Forced Choice — Antwort muss nicht 100% zutreffen, man soll einfach die Auswählen, die am meisten zutrifft — extra keine Exhaustivität

Persönlichkeitstests — Ausprägung des Merkmals

• Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage
• Antwortkategorien sind item-unspezifisch formuliert, sie gelten einheitlich für alle Items des Tests

diskret gestufte Ratingskala 

• mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen
  • Bsp.: 1 – fast nie / 2 – manchmal / 3 – oft / 4 – immer

kontinuierliche Analogskala

• keine Abstufungen, differenziertere Antworten, Auswertung mit Messskala („nie ----------------------X----- immer“) —-> Kreuz setzten wo es zutrifft
  • nutzt man wenn man weiss, dass die Person sehr differenziert beurteilen kann (besonders wenn es darum geht einen Start und Endwert herauszufinden -- man kann auch kleine unterschiede sehen, nicht nur einen Unterschied zwischen zwei Zahlen)

Wie differenziert soll das Konstrukt behandelt werden?

• i. d. R. werden 3 bis 7 Stufen verwendet, je nach dem vermuteten Grad der kognitiven Differenziertheit des zu testenden Konstruktes
  • bei mehr als 7 Stufen gibt es nicht mehr Informationsgewinn >> die meisten Leute können dass nicht mehr bestimmen, nur bei der Stimmung werden manchmel mehr verwendet 
  • Bei vielen Stufen tendieren Personen dazu extreme Antworten zu wählen >> Überforderung 
• Spezialfall: visuelle Stufen, z. B. Smileys :-(  :-| :-)  —> Gesichter als Antwortmöglichkeit (diskret gestuft)

• unipolares Item geht von einem Nullpunkt aus und nur in eine Richtung
  • Bsp.: „Wie oft fahren Sie Auto?“ nie – selten – manchmal – oft – sehr oft

• bipolares Item verläuft von einem negativen Pol über einen Nullpunkt (Indifferenz, z. B. „weder noch“) bis zu einem positiven Pol
  • Bsp.: „Ich fühle mich oft angespannt und nervös“
    • starke Ablehnung – Ablehnung – weder Ablehnung noch Zustimmung – Zustimmung – starke Zustimmung

Bezeichnung der Skalen (numerisch, verbal, optisch oder gemischt) –“labels“ >> was eignet sich am besten

Verbale Etikettierungen haben den Vorteil, dass die Bedeutung der Antwortstufen durch eine sprachliche Umschreibung vereinheitlicht wird. Aber

• Interpretation von solchen Ettikettierungen muss einem bewusst sein, nich jeder interpretiert ein Begriff gleich >> kann auch gewollt sein!
•  
• Eine Benennung mit Zahlen soll oftmals bewirken, dass die Ratingskala wie eine Intervallskala benutzt wird.
• Bei einer Kombination aus beiden erhofft man sich die Vorteile von beiden Varianten.
  • Wie sehr vertrauen sie ihrem Partner?   1 Gar nicht >> 5 sehr stark 
  • Wichtig dass man gleiche Abstände zwischen den Punkten wählt wenn man alle Zahlen beschriftet! Ansonsten einfach die Pole und die Mitte beschriften 

• nicht immer eindeutig interpretierbar
• Unentschiedenheit; versteht Item nicht; hält Item für unpassend; verweigert Antwort; „typische“ Antwort; Unmotiviertheit/Gleichgültigkeit

Wenn ich menen Partner unterstütze oder ihm helfe, tue ich dies meist weil ich später in irgendeiner Form eine Gegenleistung erwarte >> Stimme gar nicht zu >> stimme mässig zu >> stimme völlig zu 

• andere Gründe haben die Mitte anzukreuzen >> Unentschiedenheit >> schwierig zu interpretieren 
• bei bipolaren Items weiss man dass die reliabilität erhöht wird wenn eine Mitte vorhanden ist >> oft hofft man eine mittlere Ausprägung zu erhalten 

Essen Sie gerne japanisches Essen?
ja > nein > ich weiss nicht

• Person könnte meinen >> Sie hat noch nie japanisch gegessen oder weder gerne noch nicht gerne!
• Weiss nicht Kategorie wird nie in Auswertung eingeschlossen! >> Datenverlust
  • besser eine Weitere "Dazwischen" Kategorie + Möglichkeit zu sagen, dass man es nicht kennt >> Mittelkategorie + weiss nicht 
• Wichtig eine weiss nicht Kategorie wenn es inhaltlich Sinn macht 
  • Besser aber wenn es Fragen sind, bei der Alle eine Mögliche Antwort haben

>> Bei jedem Fragebogen überlegen was inhaltlich Sinn macht!