Bodeneffekte

• Verhältnis Theorie – Beobachtung
• Kernkonzept der Konstruktvalidität
• Angaben über Beziehungen zwischen Konstrukten

• Theorie über latente Konstrukte
• Beobachtete Variablen, über die man die erwarteten Zusammenhänge sucht

Ziel: Bestätigung der Übereinstimmung von Theorie und Beobachtung (empirischen Befunden)

Fehler in Annahmen (Axiomen) oder verwendeten Testverfahren
Iterativer Prozeß, Konstruktvalidität kann nie endgültig belegt werden

Es ist eine Methode zur Überprüfung der Konstruktvalidität

Messungen von verschiedenen Konstrukten/Merkmalen sollen weniger miteinander korrelieren als Messungen von gleichen Konstrukten (auch, wenn sie mit verschiedenen Methoden gemessen wurden)

• konvergente Validität/Merkmalskonvergenz: liegt vor, wenn Messungen eines Konstrukts, das mit verschiedenen Methoden erfaßt wird, hoch miteinander korrelieren
• diskriminante Validität: liegt vor, wenn Messungen verschiedener Konstrukte mit derselben Methode nicht oder nur gering miteinander korrelieren

Korrelationen, die auf Methodeneinflüsse zurückgehen, nicht als Merkmalskonvergenz interpretieren

Nachweis von:

Konvergenz: Korrelationen von Messungen eines Merkmals mit verschiedenen Methoden (MTHM = MonoTraitHeteroMethod) sollen hoch sein.

Divergenz:

1. Verschiedene Merkmale, die mit derselben Methode erfaßt werden (HTMM = HeteroTraitMonoMethod), sollen miteinander niedriger korrelieren als Messungen desselben Merkmals mit verschiedenen Methoden (MTHM = MonoTraitHeteroMethod), kurz HTMM < MTHM.
2. Die Korrelationen zwischen verschiedenen Merkmalen, die durch verschiedene Methoden erfaßt werden (HTHM = HeteroTraitHeteroMethod), sollen niedriger sein als die konvergenten Validitätskoeffizienten.
3. Die Muster der Korrelationskoeffizienten sollen sowohl innerhalb einer Methode als auch zwischen den Methoden etwa gleich sein.

Gewinnung von Hypothesen über Ein- bzw. Mehrdimensionalität der Merkmalsstruktur

Exploratorische Faktorenanalyse (EFA)

Von Theorie ausgehend

Gefundene Strukturen an neuen Datensätzen überprüfen (nur auf Basis von Testmodellen mit latenten Variablen/Konstrukten möglich)

Konfirmatorische Faktorenanaylse (CFA), MTMM-Analyse oder IRT

Faktor im faktorenanalytischen Sinn ist eine hypothetische Größe, die das Zustandekommen von Korrelationen erklären soll.

Struktur eines Tests wird im Rahmen der Konstruktvalidierung oft mittels Faktorenanalyse überprüft

Begriff FA bezeichnet eine Gruppe von multivariaten Analyseverfahren

Datenreduktion: möglichst viel gemeinsame Varianz der Variablen durch möglichst wenige Faktoren erklären

Überprüfung der Konstruktvalidität (nur Struktur)

• Struktursuchende Vorgehensweise
• Hypothesengenerierendes Verfahren (induktiv)
• Wird angewendet, wenn keine Hypothesen über Anzahl Faktoren und deren Beziehungen bestehen

1. Extraktionsmethode wählen
2. Abbruchkriterium wählen (Anzahl Faktoren bestimmen)
3. Faktorenrotation bestimmen
4. Faktoren interpretieren

Zerlegung einer standardisierten Messung zvi in Linearkombinationen aus Faktorladungen λ_ik, gewichteten Faktorwerten f_kv und Fehlerkomponente ε_vi

die Faktorladungen λ können als Korrelationskoeffizienten zwischen der manifesten Variable und dem Faktor interpretiert werden

Entspricht der Stärke des Zusammenhangs zwischen Faktor und Variable
Quadrierte Ladung (λ²) widerspiegelt den gemeinsamen Varianzanteil zwischen Faktor und Variable

Bedeutungsvolle Ladung ab .30

Aufgeklärte Varianz durch einen Faktor über alle Items/Variablen

Summe der quadrierten Ladungen innerhalb eines Faktors (Tabelle: Spalten)

Datenreduzierender Zweck erfüllt, wenn Eigenwert > 1

Die Summe der Eigenwerte ist immer gleich der Summe der Kommunalitäten!

Aufgeklärte Varianz der Variable durch die extrahierten q Faktoren

Summe der quadrierten Ladungen eines Items über alle Faktoren (Tabelle: Zeilen)

Niedrige Item-Kommunalität/Item nicht gut, wenn h2 < .20

Die Summe der Eigenwerte ist immer gleich der Summe der Kommunalitäten!

Ausgangspunkt: Korrelationsmatrizes

Voraussetzungen: Normalverteilung, keine Ausreißer, kein eingeschränkter Range, relativ großes Sample

Faktorenextraktion erfolgt nach dem Kriterium, daß jeder Faktor soviel Varianz in den untersuchten Variablen erklärt wie möglich

Bedeutendste Verfahren zur Faktorenextraktion:

• Hauptkomponentenanalyse (PCA, principal components analysis)
• Hauptachsenanalyse (PFA, principal axes factor analysis)

Kaiser-Kriterium
Alle Faktoren mit einem Eigenwert > 1 werden als bedeutsam betrachtet
Problem: Anzahl relevanter Faktoren wird oft überschätzt, Bedeutung hängt von der Anzahl der Items ab

Scree-Test
Alle Faktoren vor dem Knick (graphische Darstellung, Scree Plot) werden als relevant betrachtet
Problem: nicht immer eindeutig

Parallelanalyse
Faktoren, deren Eigenwert größer ist als in der Parallelanalyse, werden als relevant betrachtet
Wenn Eigenwert kleiner als in der Parallelstichprobe: wahrscheinlich durch Zufall entstanden

Die verschiedenen Abbruchkriterien geben möglicherweise unterschiedliche Faktorenzahlen an

Unerklärte Varianz aufgrund der Abbruchkriterien: Fehlerterm (unberücksichtigte systematische Anteile und unsystematische Meßfehler)

Ziel der Rotation: Erreichen einer Einfachstruktur, d. h. jede Variable lädt nur auf einem einzigen Faktor hoch (Primärladung) und hat auf den anderen Faktoren keine oder nur niedrige Ladungen (Sekundärladungen)

Faktoren bleiben unkorreliert (sind unabhängig voneinander interpretierbar)

Varimax-Rotation am bekanntesten

Anwendung

• wenn keine theoretische Annahme, daß Faktoren korrelieren
• wenn Hauptziel Datenreduktion

Faktoren werden korreliert

Oblimin-Rotation am bekanntesten

Anwendung, wenn theoretische Annahme, daß Faktoren korrelieren

Je nachdem, welche Items gemeinsam auf einem Faktor hoch laden, können den Faktoren Bezeichnungen zugeordnet werden

Beispiel: wenn Items wie
„Ich mache mir oft Sorgen...“
„Ich mache mir Gedanken darüber...“
„Ich befürchte, daß...“
„Ich habe Angst, daß...“
eine hohe Ladung auf einem Faktor zeigen, liegt es nahe, diesen mit Ängstlichkeit zu bezeichnen.

• Strukturprüfende Vorgehensweise
• Hypothesenprüfendes Verfahren (deduktiv)
• Wird angewendet, wenn Hypothesen über Anzahl Faktoren und deren Beziehungen bestehen
• Gehört zu Strukturgleichungsmodellen
• Datenreduktion theoriegeleitet, Faktoren werden vor Analyse bestimmt
• Basiert auf Kovarianzmatrix

Übereinstimmung zwischen theoretischem Modell und empirischen Daten überprüfen (Modellfit)

• Definierbar, welche Variablen auf welchem Faktor laden
• Bestimmbar, welche Faktoren miteinander korrelieren und welche nicht
• Fehler müssen nicht als unkorreliert angenommen werden
• Modellfit mit statistischen Tests überprüfbar

Übereinstimmung zwischen theoretischem Modell und empirischen Daten überprüfen

Vergleich verschiedener konkurrierender (nested) Modelle am selben Datensatz

Badness of fit: X²-Test, Sollwert: möglichst klein

Goodness of fit:

• CFI, Sollwert: > .95
• NFI und Goodness of fit (GFI), Sollwert: > .90

Ergebnis wird mit Norm einer Referenzgruppe verglichen

Ergebnis wird mit einem inhaltlichen, a priori vom Testkonstrukteur gesetzten Referenzwert (Kriterium) verglichen

Zweck: Bezugssystem herstellen als Hilfe zur Interpretation des Rohwerts, Bezugsgruppe als Vergleichsmaßstab

Definition: Unter Normierung/Eichung eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Vp im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werdenkönnen.

Normwert: erlaubt Positionierung der Vp bezüglich der erfaßten Merkmalsausprägung innerhalb der Bezugs-/Referenzgruppe (z. B. z-Wert)

1. Repräsentative Stichprobe
2. Testwerte auf Normalverteilung prüfen
3.  Bei Normalverteilung Standardnormen, sonst Prozentrangnormen bilden (Ausnahme: z-Werte)
4. Weitere Transformationen je nach Bedarf
5. Ergebnisse der Testeichung in Normtabellen darstellen
6. Geltungsbereich definieren und Aktualität der Normstichprobe wahren