m6 2

x Ziel: Aufdeckung latenter Datenstrukturen, theoriebildend bzw. hypothesengenerierend

x Modell mehrerer gemeinsamer Faktoren plus Fehlerterm

bei Schätzproblemen u.U. keine Lösung

x Ziel: Datenreduktion x Keine Faktorenanalyse i.e.S.

x Reine empirische/deskriptive Auswertung der Daten (Fehlerterm der Strukturgleichung ist nicht explizit, sondern in den Faktoren enthalten)

führt immer zu einer Lösung

1. Prüfung der Voraussetzung
2. Auswahl der faktorenanalystischen Methode
3. Festlegung der Anzahl der extrahierten Faktoren
4. Festlegung der Methode der Rotation und deren Durhführung
5. Inhaltliche Interpretation
6. Festlegung der Methode zur Ermittlung der Faktorwerte

a. Korrelation

• x Die Existenz latenter Faktoren äußert sich in der Interkorrelation der Items
• x Sie sollten substanziell korrelieren x SPSS: Bartlett-Test auf Sphärizität . Signifikanz = Korrelationen sind alle >0
• x SPSS: Kaiser-Meyer-Olkin (KMO)-Koeffizient Minimum >.50, besser >.70; ähnlicher Tests: MSA Measure of Sample Adequacy
• x Kommunalitäten h2 >.60, darunter nur bei sehr großen Stichproben

 b. Stichprobengröße

• x EFA erfordert relativ große Stichprobengrößen
• x N=60 gilt unter sonst günstigen Bedingungen als Untergrenze bei h2>.60, sonst sehr viel größere Stichproben erforderlich

 c. Verteilungseigenschaften

• x EFA unterstellt Intervallskalenniveau und Normalverteilung, was selten erfüllt sein dürfte
• x Wichtig ist daher die Inspektion der deskriptiven Statistik
• x Annäherung an die NV kann ggf. durch log-lineare Transformation erreicht werden
• x Stattdessen kann auch eine Faktorenanalyse höherer Ordnung durchgeführt werden, wobei dabei nicht mehr die ursprünglichen Variablen analysiert werden (z.B. bei hierarchischen Konstrukten)

Das Modell mehrerer gemeinsamer Faktoren lautet (Definitionsgleichung):     
\(Zim= fi1*am1+fi1*am2+...+fiq*amp+ei\)                                                   
 x Zim = z-Wert einer Person i auf Item m
x amj = Ladung des Items m auf Faktor j. Ladungen stellen das Ausmaß dar, wie stark eine Itemantwort von einem oder mehreren Faktoren beeinflusst wird  -> Zusammenhang Item-Faktor

x Ladungen entsprechen den Korrelationen zwischen dem jeweiligen Faktor und dem Item

x fij = Faktorwert; Ausprägung der Person i auf Faktor j -> Zusammenhang Person-Faktor

x Die quadrierten Ladungen entsprechen dem Anteil gemeinsamer Varianz an der Gesamtvarianz der beteiligten Variablen

x Die Zeilensummen der Ladungsmatrix entsprich den Kommunalitäten h2 – also der Anteil der Varianz eines Items, der durch alle extrahierten Faktoren aufgeklärt werden kann

x Interpretieren lässt sich die Kommunalität auch als Untergrenze für die Schätzung der Reliabilität

x Der Variablensatz wird bei der PCA nach dem Grad der Varianzaufklärung sortiert und die mit niedrigem Beitrag anschließend herausgenommen

Ziel der Faktorenanalyse ist es, die Kovariation einer Vielzahl von Items durch möglichst wenige Komponenten zu beschreiben bzw. durch wenige latente Faktoren zu erklären. Generell gilt, dass immer maximal ein Faktor weniger als es Items gibt extrahiert werden kann.

Vorgehensweise:

•  x Selektion anhand eines existierenden theoretischen Modells (Dimensionen) – wie z.B. bei den Big Five (CFA hier aber angemessener wg. des deduktiven Charakters)
• x Ermittlung der Eigenwerte: der Eigenwert berechnet sich aus der Spaltensumme der quadrierten Ladungen, entspricht somit der Varianz des Faktors gemessen an den Varianzen der Items. Ein EW>1 bedeutet, dass der Faktor mehr Varianz aufklärt als ein einzelnes Item. Teilt man den Eigenwert durch die Anzahl der Items so erhält man den Anteil der durch den Faktor aufgeklärten Varianz des gesamten Tests. 
• x Um zu entscheiden ab wann es sich nicht mehr lohnt zusätzliche Varianz durch die Extraktion weiterer Faktoren aufzuklären, können die folgenden 3 Vorgehensweisen angewendet werden:
  • o Komponenten mit einem EW>1 sollten extrahiert werden (KaiserGuttmann-Kriterium) – tendenziell führt das Verfahren zu einer Überschätzung der Anzahl tatsächlich existierender Faktoren
  • o Grafische Analyse mittels Scree-Test: Der Scree-Plot zeigt den Eigenwerteverlauf aller Faktoren – an der Stelle, wo die Kurve auffällig abknickt bzw. abflacht sollte mit der Extraktion aufgehört werden (nicht wirklich objektiv)
  • o Statistische Methoden: MAP-Test Minimum Average Partial Test – sukzessive  Extraktion eines Faktor und danach Analyse der Residualmatrix. Alternativ Parallelanalyse nach Horn – dieses Verfahren arbeiten mit einem Vergleich der empirischen Matrix mit einer Zufallsmatrix. Unterschreitet der EW der empirischen Matrix den der Zufallsmatrix, wird die Extraktion abgebrochen. Tendenziell führt das Verfahren zu einer Überschätzung (PAF)

Die EFA ist ein rein statistisches Verfahren und liefert keine Aussage drüber, was ein extrahierter Faktor inhaltlich bedeutet. Die Interpretation kann durch Hilfsmittel wie die Rotation erleichtert werden:

x Kriterium der Einfachstruktur: durch Rotation wird das Kriterium der Einfachstruktur angestrebt. Dieses besagt, dass einzelne Items möglichst hoch auf genau einen Faktor laden und auf die restlichen entsprechend gering. Dieses Ladungsmuster kann durch Rotation angenähert werden.

x Orthogonale Rotation: die ursprüngliche Unabhängigkeit der Faktoren bleibt erhalten (orthogonale Faktoren), Orthogonalität maximiert die Sparsamkeit der Faktoren. Am meisten verbreitet ist die Varimax-Rotation (maximiert die Unterschiede der Ladungen innerhalb eines Faktors). Annahme: Faktoren sind unkorreliert (eher selten)

x Oblique (schiefwinklige) Rotation: verändert den Winkel in den Matrizenachsen, was inhaltlich bedeutet, dass eine Korrelation zwischen den Faktoren zugelassen wird. Im Rahmen der Inhaltsanalyse lassen sich so Mehrfachladungen besser interpretieren – exploratorisch ist zudem die Annahme völliger Unabhängigkeit der Faktoren auch nur schwer zu begründen. Varianten sind die Promax-Rotation oder die Direkte Oblimin-Rotation, die eine Variation zwischen maximaler Korreliertheit (Einstellung Delta = 0) und Orthogonalität (Delta = -4) zulässt.

x Varimax- und Promax-Rotation sind die Methoden der Wahl.

Durch die Rotation entstehen 2 neue Matrizen:
x Strukturmatrix: Matrix der Strukturkoeffizienten, darin stehen die Korrelationen der Items mit den rotierten Faktoren
x Mustermatrix: enthält die partiellen Regressionsgewichte der Items auf die rotierten Faktoren, welche den Ladungen α der faktorenanalytischen Grundgleichung entsprechen. 

Für die inhaltliche Interpretation ist das Muster der nicht quadrierten Ladungskoeffizienten interessant:
x Ladungen unterhalb von .20 oder .30 sollten tendenziell unterdrückt werden
x Hohe und eindeutige Ladungen (Einfachstruktur) werden von den als Markiervariablen bezeichneten Items generiert
x Die inhaltliche Interpretation eines Faktors beruht in der Praxis häufig auf 2-3 Markiervariablen

Häufig ist das Ziel eine Faktorenanalyse bereits mit der Aufdeckung und Interpretation der Faktoren erreicht. Die Testkonstruktion kann entsprechend neu zusammengestellt werden.

x SPSS: Anzeige der Koeffizientenmatrix der Faktorwerte – werden die Itemantworten mithilfe der Faktorladungen gewichtet entsteht eine faktorenanalytisch gebildete Skala, die gegenüber einer reinen Summierung der Itemwerte das Ausmaß der jeweiligen Ladungen der Items berücksichtigt (nur sinnvoll bei großen Stichproben, da stark stichprobenabhängiges Ergebnis)

x Ggf. Faktorenanalyse 2. Ordnung durch oblique Rotation – dadurch können Sekundärfaktoren entdeckt werden (hierarchische Konstrukte)

Konfirmatorische Faktorenanalyse
 
Æ die CFA ist Teil einer Gruppe von Verfahren, die unter dem Namen Lineare Strukturgleichungsmodelle (structural equation modeling SEM) bekannt ist. Der Kernbereich der Anwendung liegt in der Prüfung zuvor spezifizierter theoretischer Modelle – d.h. es müssen vor der Datenanalyse präzise Vorstellungen über die Beziehungen zwischen den Untersuchten Variablen existieren

x SEM ist im Ansatz konfirmatorisch, jedoch treten Mischformen mit explorativen Ansätzen auf

x SEM beruht auf der Analyse der Kovarianzmatrizen, ist jedoch auch für Korrelationen oder sogar Mittelwerte möglich #

x SEM erfordert in aller Regel große Stichproben

x Die Darstellung erfolgt mit Hilfe von Pfaddiagrammen

η : latente abhängige (endogene, im Modell erklärte) Variable

ξ : latente unabhängige (exogene, im Modell nicht erklärte) Variable

y : Indikatorvariable für latente abhängige Variable η  (Sekundärfaktoren)

x : Indikatorvariable für latent unabhängige Variable ξ (Primärfaktoren)

ε : Residualvariable für y

δ : Residualvariable für x 

ζ : Residualvariable für η

o Latente Variablen: Kreis oder Ellipse, Notation in griech. Buchstaben

o Indikatorvariablen: Rechtecke, lateinische Buchstaben

o Residuen: manchmal eingekreist, griech. Buchstaben

o Kausalitäten/Ladungen: Darstellung der Wirkrichtung mit einseitigen Pfeilen 

o Korrelationen/Kovarianzen: ungerichtete Zusammenhänge mittels Doppelpfeilen

o Pfade: griech. Buchstaben mit zweistelligen Indizes (1.Ziffer Ziel, 2.Ziffer Ursprung)

 Strukturmodell: Beziehungen der latenten Variablen (exogen und endogen) zueinander #

x Messmodell der exogenen Variablen: besteht aus den exogenen latenten Variablen und den dazugehörigen Indikatoren x

x Messmodell der endogenen Variablen: dito für latente endogene Variablen und deren Indikatoren y

x Einfache CFA der Primärfaktoren: nur Messmodell der exogenen Variablen

x CFA 2. Ordnung: Hinzunahme des Strukturmodells (endogene Sekundärfaktoren ergeben sich indirekt aus der Kovarianz der Primärfaktoren)

x Vollständiges Strukturmodell: alle 3 Teilmodelle

1. Modellspezifikation 
2. Bestimmung der Identifizierbarkeit des Modells
3. Design und Datenerhebung
4. Durchführung der SEM Analyse
5. Modifikation

In der CFA muss vorher ein theoretisches Modell spezifiziert werden, dessen Haltbarkeit überprüft werden soll

• x Die CFA bezieht sich auf das Messmodell latenter exogener Variablen
• x Ein Großteil der theoretischen Arbeit liegt gerade darin, was man im Pfaddiagramm nicht sieht – Nullkorrelationen oder andere Fixierungen
• x Parameter können grundsätzlich frei, fixiert (Nullkorrelation oder beliebiger Wert) oder beschränkt sein (Wertebereich oder Gleichheit)
• x Für die Festlegungen sollten ausschließlich theoretische Gründe ausschlaggebend sein

Das Gleichungssystem aus n x m Variablen muss mathematisch lösbar sein, wobei es folgende Fälle gibt:

• x Als empirische Information  liegt allgemein die Kovarianz- oder Korrelationsmatrix der p beobachteten Variablen (z.B. Items) vor. Diese Matrix enthält k(k+1)/2 Varianzen (k = Anzahl manifester Variablen)
• x Das theoretische Modell ist nicht identifiziert wenn es mehr zu schätzende Parameter als empirische Informationen gibt
• x Das Modell ist gerade identifiziert, wenn empirische Informationen und Parameter zahlenmäßig gleich sind – jedoch kann die Güte des Modells dann nicht überprüft werden, weil das Ergebnis dann nur für exakt diesen Datensatz gilt !
• x Das Modell ist überidentifiziert, wenn mehr Informationen als Variablen zur Verfügung stehen (Freiheitsgrade größer gleich eins). In diesem Fall kann die Güte des Modells geschätzt werden.
• x Empirische Unteridentifikation entsteht, wenn zwischen den als unabhängig angenommenen empirischen Informationen faktisch hohe Redundanzen bestehen (hohe Korreliertheit)

x Dienen dazu, Modelle stärker identifizierbar zu machen, in dem die Anzahl der zu bestimmenden Variablen reduziert wird:

• o Fixierung einer Referenzvariablen: die Ladung einer manifesten Variable wird auf 1 gesetzt – dieses sollte das reliabelste Item sein. Dieses Item legt gleichzeitig die Einheit der latenten Variablen fest 
• o Fixierung der Varianz einer latenten Variablen: Varianz = 1 bedeutet Standardisierung
• o Parameterfixierung durch Modellannahmen: nicht theoretisch begründbare Ladungen werden auf  null gesetzt
• o Ohne Fixierungen ist ein Modell bestenfalls gerade identifiziert !

x df entspricht der Differenz aus der Anzahl der bekannten Parameter p und der zu schätzenden (nicht fixierten) Parameter (Faktorvarianz, Ladungen und Fehlerterme)

x df = 0 bedeutet gerade identifiziert, df<0 unter- und df>0 überidentifiziert

x Je größer df, umso sparsamer und falsifizierbarer ist ein Modell

x Je kleiner df, umso komplexer und umso weniger falsifizierbar ist ein Modell

4a) Ausgangsmatrix und Schätzalgorithmus CFA: es wird empfohlen, mit der Kovarianzmatrix zu arbeiten Die endgültige Schätzung erfolgt mittels iterativer Verfahren, wobei bei guten Startwerten oft nur wenige Schritte benötigt werden. Gängige Schätzalgorithmen sind:

• x ML Maximum Likelihood Methode: Standardmethode (empfohlen)
• x ADF Asymptotically Distribution Free: empfohlen bei der Analyse dichotomer oder kategorialer Daten – sehr große Stichproben erforderlich
• x Liegen dichotome oder kategoriale Daten vor und ist die Stichprobe klein, so kann die ML Methode ggf. mittels Parceling (zusammenfassen von 2-4 Items zu Miniskalen) angewendet werden

4b) Modelltest Vorteil der CFA gegenüber der EFA ist die Möglichkeit der Prüfung der Modellgüte. Die Modellprüfung umfasst dabei 

• a) Identifikation möglicher Schätzprobleme (Nichtkonvergenz) b) Prüfung der Passung (fit) zwischen theoretischem und empirischen Modell c) Prüfung der einzelnen Modellparameter

4C)  Modellvergleich       Weitere alternative Modellvergleiche liefern genestete Modelle (verschachtelte          Spezifikationen), die einem übergeordneten allgemeineren Modell entsprechen. Bei            genesteten  Modellen (und nur bei diesen!)  kann der Δχ2-Test (Chi-Quadrat-       Differenzen-Test)  angewendet werden.

a) Identifikation möglicher Schätzprobleme (Nichtkonvergenz) b) Prüfung der Passung (fit) zwischen theoretischem und empirischen Modell c) Prüfung der einzelnen Modellparameter
 
Zu a) bei nicht konvergierenden Schätzalgorithmen liefern einige SEM Programme dennoch (unzulässige) Lösungen, die sog. Heywood Cases (z.B. neg. Varianzen und Korrelationen >1). Hier ist das Ergebnis abzulehnen und stattdessen nach den Ursachen zu suchen – zu geringe Zahl an Indikatoren, zu geringe Stichprobengröße, zu geringe Faktorladungen oder allgemeiner: gravierende Fehlspezifikation des Modells

Zu b) Zur Bestimmung des Fit stehen neben dem χ2-Test eine Vielzahl verschiedener Fit-Indizes zur Verfügung:

• x Der χ2-Test prüft die H0, dass das Modell zur beobachteten Datenstruktur passt
• x Wegen der Formulierung als Nullhypothese führt ein signifikanter Test zur Ablehnung des Modells
• x Die Stichprobengröße erhöht die Signifikanz !
• x Die Anzahl der Freiheitsgrade (=Ausmaß an Überidentifikation) erhöht die Signifikanz ebenfalls
• x Ein nicht signifikanter Test ist ein Hinweis auf einen exakten Modell-Fit und Grundlage für approximative und relative Fit-Indizes (diese versuchen die Modellgüte zu quantifizieren). Typen von Indizes:
  • o Goodness-of-Fit Indizes: GFI, AGFI. Hohe Werte stehen für gute Passung. Vor Verwendung wird neuerdings eher abgeraten
  • o Badness-of-Fit Indizes: SRMR(Cutoff <.11), RMSEA(Cutoff<.06<.08). Guter Fit bei niedrigen Werten 4
  • o Komparative Indizes: CFI, TLI, BL89, RNI (Cutoff ~.95), guter Fit bei hohen Werten

Zu c) eine andere Art der Prüfung betrifft die Existenz äquivalenter Modelle (z.B.        Umkehr der Kausalrichtungen)

LISREL aund andere SEM Programme geben für jeden auf null fixierten Parameter an, welche Verbesserung für den χ2-Wert zu erwarten wäre, wenn der betreffende Parameter freigesetzt würde.
 
Modifikationsindizes können als Schätzung der direkten Kosten der Fixierung eines Parameters interpretiert werden und können auf Signifikanz getestet werden. Es wird jedoch davor gewarnt, unter Nutzung der Modifikationsindizes das Modell solange zu verändern, bis es zu den Daten passt  („nachgeschobene“ theoretische Gründe) !

Skalentypen
x Die meisten Normskalen unterstellen Normalverteilung des untersuchten Merkmals (nicht-normalverteilte, schiefe Verteilungen können mittels Flächentransformationen in normalverteilte transformiert werden)
x Meist entstehen sie durch z-Standardisierung mit M=0 und SD=1
x Gebräuchlich sind weitere transformierte Skalen wie z.B. IQ Skala oder auch die neunpolige, mit SD=2 skalierte Stannine-Skala (standard nine), die bei Persönlichkeitstests eingesetzt wird und bei der alle Extremwerte an den äußeren Polen 1 und 9 zusammengefasst werden.

 Häufig bei Leistungstests

x Ergebnis ist die Entscheidung über das Vorliegen oder Nicht-Vorliegen eines bestimmten Kriteriums (dichotomer Fall)
 
Es entsteht das klassische Vier-Felder-Schema der Fehlerrisiken

Daraus ergeben sich die formalen Definitionen:
 
x Trefferquote = Sensitivität = RP/(FN+RP)
x Verpasserquote = FN (FN+RP) = 1- Sensitivität
x Quote korrekter Ablehnungen = Spezifität = RN/(FP+RN)
x Quote falscher Alarme = FP/(FP+RN) = 1-Spezifität
 
Æ Eine Erhöhung der Sensitivität ist nur auf Kosten der Spezifizität möglich und umgekehrt

x Unterscheiden sich im Hinblick auf

• o Spezifikation des Anwendungsbereichs
• o Aussagen über Gütekriterien
• o Anforderungen an die Qualifikation der Anwender
• o Berufsethisches Verhalten

x Teststandards haben zwar keine formelle Gesetzeskraft, entfalten aber in der Rechtsprechung quasi-legale normative Kraft x Für die Eignungsdiagnostik ist in Deutschland die DIN 33430 relevant, die sowohl Qualitätskriterien für Tests definiert als auch formale Lizensierungsprüfungen für VL vorsieht (die Tests selber werden nicht zertifiziert)
x Eine wesentliche Bedeutung für die rechtliche Zulässigkeit jeglicher Testung kommt dabei dem Einverständnis des Teilnehmers auf der Grundlage ausreichender Informationen zu (informed consent)

Æ manchmal auch als Hauptgütekriterien bezeichnet (Objektivität, Reliabilität und Validität) sind faktisch nicht alle gleich wichtig. Validität ist sicher das wichtigste Kriterium, da mangels Validität alle Schlüsse unzulässig sind, auch wenn sämtliche andere Gütekriterien erfüllt sind. Es besteht außerdem eine Art Reihenfolge:
 
Mangelnde Objektivität -> verringert Reliabilität     Mangelnde Reliabilität -> verringerte Validität

Ziel der Objektivität: Testergebnisse sollen unabhängig vom Untersucher zustande kommen !
 
Æ  Objektivität wird teilweise der Reliabilität zugeordnet, da es um die Entstehung von Messfehlern geht, die zwischen unterschiedlichen Untersuchern entstehen

Testergebnisse sollen nicht durch Schwankungen in den Bedingungen bei der Testdurchführung beeinflusst werden. Erreicht wird das durch hohe Standardisierung bzw. präzise Instruktionen in den Testmanualen

verschiedene Auswerter sollen zu denselben Ergebnissen kommen. Bei geschlossenen Antwortformaten und computergestützter Auswertung ist dies gesichert, anders sieht es insbesondere bei offenen Antwortformaten oder gar projektiven Verfahren aus. Eine statistische Kennzahl ist der Konkordanzkoeffizient W von Kendall.

Interpretation ist an sich nur begrenzt standardisierbar, jedoch können Interpretationsbereiche und Skalenbedeutungen jedoch ausführlich beschrieben werden (Bezug zur Normstichprobe).

Ziel der Reliabilität: Messung soll zuverlässig („genau“) sein. 

Die Reliabilität kennzeichnet das Ausmaß, in dem Testergebnisse frei von unsystematischen Messfehlern sind.

Definition: Reliabilität ist der Anteil der Varianz der wahren Werte (systematische Variation) an der gesamten Testvarianz.

Die Reliabilität ist ein notwendiges, aber kein hinreichendes Kriterium zur Bestimmung der Testgüte.

Technisch handelt es sich um die Korrelation eines Tests mit sich selbst, wobei empirisch unterschiedliche Messreihen oder Messgelegenheiten untersucht werden.

Es gibt verschiedene Arten der Reliabilitätsschätzung, die alle mit spezifischen Vor- und Nachteilen verbunden sind.

die korrelierenden Messreihen entstehen, in dem man Teile des Tests miteinander vergleicht. Der Test wird somit nur einmal erhoben.
Merkmale der Messung der Internen Konsistenz: x Voraussetzung: Die Teile messen dasselbe Konstrukt, keine heterogenen Tests  x Speedtests sind problematisch, weil hier oft nur eine unvollständige Bearbeitung erfolgt
 
Häufiger Fehler: Interpretation als Homogenitätsindex (Maß der Eindimensionalität). Die interne Konsistenz ist allenfalls ein vager Indikator. Etwas besser geeignet ist hierfür die mittlere Itemkorrelation MIC. Formal lässt sich die Eindimensionalität nur durch Modelltests in der PTT oder duch eine CFA nachweisen.

einfachste Form der internen Konsistenzanalyse ist die Messung der Split-HalfReliabilität. Beide Testhälften werden umeinander verlängert, wobei die SpearmanBrown-Formel angewendet wird:
 rtt= k*r12 / (1+(k-1)*r12)

mit r12= Korrelation der Testhälften; k: Parallelitätsfaktor, bei Halbierung k=2 Æ wegen der Verfügbarkeit rechnergestützter Berechnungsprogramme ist dieses Verfahren eigentlich überholt.

Cronbach-α liefert eine präzisere Schätzung.