m6 2

Der MTMM Ansatz dient der Überprüfung der Konstruktvalidität.

Es werden verschiedene Traits (z.B. Big 5) mit unterschiedlichen Methoden gemessen und eine Korrelationsmatrix der Methoden und Konstrukte erstellt.

Der Sinn der Überkreuzung von Konstrukten und Messmethoden ist es, den Einfluss der Messmethode vom Konstrukt zu trennen, in dem in der Matrix die konvergente Validität  (gleiches Konstrukt, andere Methode) und die divergente Validität (gleiche Methode, unterschiedliche Konstrukte) verglichen wird.

Koeffizient 
 1. Monotrait-Monomenthod (Hauptdiagonale der MM Blöcke)
2. Heterotrait-Monomethod (Dreiecksmatrizen unter der Diagonale)

Interpretation
1.Reliabilität
2.Diskriminante Validität, wenn niedriger als 1 und 3

Koeffizient
3. Monotrait-Heteromethod (Hauptdiagonalen der HMBlöcke)
4. Heterotrait-Heteromethod (Dreiecksmatrizen unter der Diagonale)

Interpretation
3. Konvergente Validität wenn hoch; diskriminante Validität wenn höher als 2 und 4
4. diskriminante Validität, wenn niedriger als 3

Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium, nämlich auf ein Verhalten außerhalb der Testsituation geschlossen werden kann. Die Enge der Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).
Die Abgrenzung zur konvergenten Validität liegt darin, dass hier ein konkreter Praxisbezug im Vordergrund steht (Gültigkeit der Schlüsse auf ein praktisch relevantes Kriterium).

Abhängig von der zeitlichen Verfügbarkeit des Außenkriteriums wird unterschieden zwischen
x Konkurrenter oder Übereinstimmungsvalidität: gleichzeitiges Vorliegen
x Retrospektive Validität: Kriterium lag schon vor
x Prognostische- oder Vorhersagevalidität: Prognose des zukünftigen Kriteriums
Messung (bei kontinuierlichen Kriterien) fast immer als bivariater Korrelationskoeffizient rtc 

Für die Klassifikation von Personen in Gruppen (z.B. depressiv vs nicht depressiv) wird als Validitätsmaß die Effektstärke d verwendet. Näherungsweise ist bei kleineren Effektstärken Cohens d ~ 2r. Als Faustregel gilt :
 
x Schwacher Effekt: r=.10, d=.20
x Mittlerer Effekt: r=.30, d=.50
x Starker Effekt: r=.50, d=.80
 
Æ entscheidend ist auch hier die Schwere der Konsequenzen der Testwertinterpretation
 
 

Für die Evaluation eines einzelnen Tests im Rahmen der Testkonstruktion interessiert man sich häufig für den Beitrag, den dieser neue Test über bereits vorhandenen Verfahren hinaus zur Aufklärung des Kriteriums leistet. Dieser zusätzliche Validitätsbeitrag ist die inkrementelle Validität. 
Maß für die inkrementelle Validität ist ΔR.
Ermittelt wird ΔR mittels hierarchischer Regressionsanalysen.

Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.
Unter der Normierung / Eichung eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können.

• x Stichprobengröße: generell gilt, je breiter der Geltungsbereich hinsichtlich der Zielpopulation, desto größer die Stichprobe. Das COTAN System gibt die Größe in Abhängigkeit von der Entscheidungssituation an (n=300 bei Niveau 1)
• x Repräsentativität: Grundprinzip ist die Zufallsziehung; Minimalstandard ist die Entsprechung wesentlicher demographischer Merkmale (Alter, Geschlecht) mit der Eichstichprobe 
• x Kontext: die Übertragbarkeit ist z.B. auch dann in Frage gestellt, wenn die Eichstichprobe unter „entspannten“ Forschungsbedingungen erhoben wurde und der Test anschließend  in der Eignungsdiagnostik eingesetzt wird
• x Aktualität: Normstichproben müssen spätestens alle 8 Jahre überprüft werden

Eine Möglichkeit, das Problem der Übertragbarkeit zu entschärfen, ist das Erstellen differenzierter Normen für Teilpopulationen.

Ein Test erfüllt das Kriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig Ressourcen wie Zeit, Geld oder andere Formen beansprucht.

Die Din 33430 fokussiert eher eine Kosten-Nutzen-Relation.

Ein Test ist dann nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr nutzen als Schaden erwarten lassen.

Bei der zitierten Nützlichkeitsdefinition geht es im Kern darum, den (potenziellen) Schaden der Nicht-Anwendung eines Tests seinen Kosten gegenüberzustellen.

Ein Test erfüllt das Gütekriterium der Fairness, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.

Ein Test erfüllt das Kriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer und körperlicher Hinsicht nicht über Gebühr belastet.

Der Begriff der Akzeptanz bezieht sich auf die subjektiven, bewertenden Einstellungen und Reaktionen von Testteilnehmern und ist damit weiter gefasst als das Konzept der Zumutbarkeit. 
Akzeptanz steht im Zusammenhang mit dem Gerechtigkeitsbegriff – positiv wirken hier Ergebnisrückmeldungen und die Gelegenheit zur Zwei-Wege Kommunikation.

Ein Testverfahren erfüllt das Kriterium der Unverfälschbarkeit, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.

Leistungstests sind tendenziell gegen Faking-Good-Versuche immun (Ausnahme: Abschreiben, daher Paralleltestversionen). Anders sieht es aus bei Persönlichkeitsfragebögen, bei denen der Aspekt der sozialen Erwünschtheit eine Rolle spielen kann.

• x Subtle Items (der Teilnehmer durchschaut nicht den Hintergrund der Frage)
• x Forced Choice: es muss zwischen gleich gut erscheinenden Antwortalternativen eine Wahl getroffen werden
• x Instruktionen, Warnungen bis hin zum simulierten Lügendetektor
• x Einfügen von Bogus Items – z.B. Kenntnisse und Erfahrungen mit nicht existierenden Gegenständen. Daraus lässt sich die Tendenz zu sozial erwünschten Antwortverhalten ableiten (hier gibt es Hinweise auf Validitätsgewinn)

1. Prüfung der Gültigkeit (Validität) theoretischer Modellannahmen eines Messinstruments 2. Entwicklung von Theorien über die interne Struktur psychologischer Konstrukte 3. Datenreduktion bzw. vereinfachende Beschreibung

x Keine theoretischen Modellvorstellungen x Induktiv x Theoriebildend x Datenreduktion

x Theoretisches Modell bereits vorhanden x Deduktiv x Theorieprüfend

x Effektindikatormodell: Grundgedanke der Faktorenanalyse, bei dem der simultane (!) Einfluss eines (latenten) Faktors auf ein oder mehrere beobachtbare Variablen untersucht wird

x Kausalindikatorenmodell: Grundgedanke der Regressions- und Varianzanalysen, bei denen der simultane Einfluss mehrerer unabhängiger Variablen (ebenfalls Faktoren genannt) auf abhängige Variablen untersucht wird

Hauptachsenanalyse, Principil Axis Factor Analysis PAF

Hauptkomponentenanalyse, Principil component Analysis PCA

x Ziel: Aufdeckung latenter Datenstrukturen, theoriebildend bzw. hypothesengenerierend

x Modell mehrerer gemeinsamer Faktoren plus Fehlerterm

bei Schätzproblemen u.U. keine Lösung

x Ziel: Datenreduktion x Keine Faktorenanalyse i.e.S.

x Reine empirische/deskriptive Auswertung der Daten (Fehlerterm der Strukturgleichung ist nicht explizit, sondern in den Faktoren enthalten)

führt immer zu einer Lösung

1. Prüfung der Voraussetzung
2. Auswahl der faktorenanalystischen Methode
3. Festlegung der Anzahl der extrahierten Faktoren
4. Festlegung der Methode der Rotation und deren Durhführung
5. Inhaltliche Interpretation
6. Festlegung der Methode zur Ermittlung der Faktorwerte

a. Korrelation

• x Die Existenz latenter Faktoren äußert sich in der Interkorrelation der Items
• x Sie sollten substanziell korrelieren x SPSS: Bartlett-Test auf Sphärizität . Signifikanz = Korrelationen sind alle >0
• x SPSS: Kaiser-Meyer-Olkin (KMO)-Koeffizient Minimum >.50, besser >.70; ähnlicher Tests: MSA Measure of Sample Adequacy
• x Kommunalitäten h2 >.60, darunter nur bei sehr großen Stichproben

 b. Stichprobengröße

• x EFA erfordert relativ große Stichprobengrößen
• x N=60 gilt unter sonst günstigen Bedingungen als Untergrenze bei h2>.60, sonst sehr viel größere Stichproben erforderlich

 c. Verteilungseigenschaften

• x EFA unterstellt Intervallskalenniveau und Normalverteilung, was selten erfüllt sein dürfte
• x Wichtig ist daher die Inspektion der deskriptiven Statistik
• x Annäherung an die NV kann ggf. durch log-lineare Transformation erreicht werden
• x Stattdessen kann auch eine Faktorenanalyse höherer Ordnung durchgeführt werden, wobei dabei nicht mehr die ursprünglichen Variablen analysiert werden (z.B. bei hierarchischen Konstrukten)

Das Modell mehrerer gemeinsamer Faktoren lautet (Definitionsgleichung):     
\(Zim= fi1*am1+fi1*am2+...+fiq*amp+ei\)                                                   
 x Zim = z-Wert einer Person i auf Item m
x amj = Ladung des Items m auf Faktor j. Ladungen stellen das Ausmaß dar, wie stark eine Itemantwort von einem oder mehreren Faktoren beeinflusst wird  -> Zusammenhang Item-Faktor

x Ladungen entsprechen den Korrelationen zwischen dem jeweiligen Faktor und dem Item

x fij = Faktorwert; Ausprägung der Person i auf Faktor j -> Zusammenhang Person-Faktor

x Die quadrierten Ladungen entsprechen dem Anteil gemeinsamer Varianz an der Gesamtvarianz der beteiligten Variablen

x Die Zeilensummen der Ladungsmatrix entsprich den Kommunalitäten h2 – also der Anteil der Varianz eines Items, der durch alle extrahierten Faktoren aufgeklärt werden kann

x Interpretieren lässt sich die Kommunalität auch als Untergrenze für die Schätzung der Reliabilität

x Der Variablensatz wird bei der PCA nach dem Grad der Varianzaufklärung sortiert und die mit niedrigem Beitrag anschließend herausgenommen

Ziel der Faktorenanalyse ist es, die Kovariation einer Vielzahl von Items durch möglichst wenige Komponenten zu beschreiben bzw. durch wenige latente Faktoren zu erklären. Generell gilt, dass immer maximal ein Faktor weniger als es Items gibt extrahiert werden kann.

Vorgehensweise:

•  x Selektion anhand eines existierenden theoretischen Modells (Dimensionen) – wie z.B. bei den Big Five (CFA hier aber angemessener wg. des deduktiven Charakters)
• x Ermittlung der Eigenwerte: der Eigenwert berechnet sich aus der Spaltensumme der quadrierten Ladungen, entspricht somit der Varianz des Faktors gemessen an den Varianzen der Items. Ein EW>1 bedeutet, dass der Faktor mehr Varianz aufklärt als ein einzelnes Item. Teilt man den Eigenwert durch die Anzahl der Items so erhält man den Anteil der durch den Faktor aufgeklärten Varianz des gesamten Tests. 
• x Um zu entscheiden ab wann es sich nicht mehr lohnt zusätzliche Varianz durch die Extraktion weiterer Faktoren aufzuklären, können die folgenden 3 Vorgehensweisen angewendet werden:
  • o Komponenten mit einem EW>1 sollten extrahiert werden (KaiserGuttmann-Kriterium) – tendenziell führt das Verfahren zu einer Überschätzung der Anzahl tatsächlich existierender Faktoren
  • o Grafische Analyse mittels Scree-Test: Der Scree-Plot zeigt den Eigenwerteverlauf aller Faktoren – an der Stelle, wo die Kurve auffällig abknickt bzw. abflacht sollte mit der Extraktion aufgehört werden (nicht wirklich objektiv)
  • o Statistische Methoden: MAP-Test Minimum Average Partial Test – sukzessive  Extraktion eines Faktor und danach Analyse der Residualmatrix. Alternativ Parallelanalyse nach Horn – dieses Verfahren arbeiten mit einem Vergleich der empirischen Matrix mit einer Zufallsmatrix. Unterschreitet der EW der empirischen Matrix den der Zufallsmatrix, wird die Extraktion abgebrochen. Tendenziell führt das Verfahren zu einer Überschätzung (PAF)

Die EFA ist ein rein statistisches Verfahren und liefert keine Aussage drüber, was ein extrahierter Faktor inhaltlich bedeutet. Die Interpretation kann durch Hilfsmittel wie die Rotation erleichtert werden:

x Kriterium der Einfachstruktur: durch Rotation wird das Kriterium der Einfachstruktur angestrebt. Dieses besagt, dass einzelne Items möglichst hoch auf genau einen Faktor laden und auf die restlichen entsprechend gering. Dieses Ladungsmuster kann durch Rotation angenähert werden.

x Orthogonale Rotation: die ursprüngliche Unabhängigkeit der Faktoren bleibt erhalten (orthogonale Faktoren), Orthogonalität maximiert die Sparsamkeit der Faktoren. Am meisten verbreitet ist die Varimax-Rotation (maximiert die Unterschiede der Ladungen innerhalb eines Faktors). Annahme: Faktoren sind unkorreliert (eher selten)

x Oblique (schiefwinklige) Rotation: verändert den Winkel in den Matrizenachsen, was inhaltlich bedeutet, dass eine Korrelation zwischen den Faktoren zugelassen wird. Im Rahmen der Inhaltsanalyse lassen sich so Mehrfachladungen besser interpretieren – exploratorisch ist zudem die Annahme völliger Unabhängigkeit der Faktoren auch nur schwer zu begründen. Varianten sind die Promax-Rotation oder die Direkte Oblimin-Rotation, die eine Variation zwischen maximaler Korreliertheit (Einstellung Delta = 0) und Orthogonalität (Delta = -4) zulässt.

x Varimax- und Promax-Rotation sind die Methoden der Wahl.

Durch die Rotation entstehen 2 neue Matrizen:
x Strukturmatrix: Matrix der Strukturkoeffizienten, darin stehen die Korrelationen der Items mit den rotierten Faktoren
x Mustermatrix: enthält die partiellen Regressionsgewichte der Items auf die rotierten Faktoren, welche den Ladungen α der faktorenanalytischen Grundgleichung entsprechen. 

Für die inhaltliche Interpretation ist das Muster der nicht quadrierten Ladungskoeffizienten interessant:
x Ladungen unterhalb von .20 oder .30 sollten tendenziell unterdrückt werden
x Hohe und eindeutige Ladungen (Einfachstruktur) werden von den als Markiervariablen bezeichneten Items generiert
x Die inhaltliche Interpretation eines Faktors beruht in der Praxis häufig auf 2-3 Markiervariablen

Häufig ist das Ziel eine Faktorenanalyse bereits mit der Aufdeckung und Interpretation der Faktoren erreicht. Die Testkonstruktion kann entsprechend neu zusammengestellt werden.

x SPSS: Anzeige der Koeffizientenmatrix der Faktorwerte – werden die Itemantworten mithilfe der Faktorladungen gewichtet entsteht eine faktorenanalytisch gebildete Skala, die gegenüber einer reinen Summierung der Itemwerte das Ausmaß der jeweiligen Ladungen der Items berücksichtigt (nur sinnvoll bei großen Stichproben, da stark stichprobenabhängiges Ergebnis)

x Ggf. Faktorenanalyse 2. Ordnung durch oblique Rotation – dadurch können Sekundärfaktoren entdeckt werden (hierarchische Konstrukte)