Testtheorie und Fragebogenkonstruktion

Um das Vertrauens/Konfidenzintervall zu berechnen (Statistische Absicherung von beobachteten Testwerten) 

Standardmessfehler: Ausgangspunkt: Äquivalenzhypothese: Beobachteter Wert des Probanden ist gute Annährerung an den wahren Wert des Probanden (Keine Korrektur zur Mitte, aber ein breiteres KI bei Extremwerten = bessere Schätzung des KI für Extremwerte) 

Standardschätzfehler: Ausgangspunkt: Regressionshypothese: Wahrer Wert des Probanden muss aus beobachtetem Wert erst geschätzt werden, Korrektur zur Mitte: bei extremen beob. Werten ist bei Messwiederholung weniger extremer Wert zu erwarten

Vertrauensintervall nach Regressionshypothese schmaler als nach Äquivalenzhypothese --> aber bei hohen Reliabilität = ähnliche Ergebnisse

1). Art der Extraktionsmethode (z.B. Hauptskomponenten- oder Hauptachsenmethode) 

2). die Wahl des Abbruchkriteriums (z.B. Scree-Test oder Parallelanalyse)

3). die Methode der Faktorenrotation (z.B. orthogonal oder oblique Rotation)

Ausmaß, wie stark die Ausprägung der Itemantwort von einem oder mehreren Faktoren beeinflusst wird (wie stark hängt individuelles Item mit Faktor zusammen. 

-zwischen -1 und +1 

-Bei unkorrelierten Faktoren: Korrelation: Item-Faktor 

-Bei korrelierten Faktoren: semipartielles Regressionsgewicht

Ausprägung einer Person auf einem Faktor

Die durch den Faktor erklärte Varianz aller Items --> zeigt die Wichtigkeit des Faktors 

-bei unkorrelierten Faktoren: quadierte Faktorladungen aller Variablen aufsummiert (spaltenweise) 

-Variablen sind z-standardisert: Varianz von 1, dementsprechend immer wenn > 1, dann erklärt Faktor mehr Varianz als eine einzelne Variable 

die durch alle Faktoren aufgeklärte Varianz einer Variable

-bei unkorrelierten Faktoren: Summe der quadrierten Ladungen über alle Faktoren (zeilenweise) 

PCA: max. 1, da die Variablen z-standardisiert sind 

PFA: max. so groß wie die Reliabilität der Variablen 

bei niedriger Kommunlalität: misst etwas anderes als das Konstrukt, jängt nicht gut den anderen Faktoren zusammen

- 1-h2

- Varianz eines Items, die das Item mit keinem anderen teilt

- Setzt sich aus Spezifität (systematischer Varianzanteil, der nicht durch andere Faktoren erklärt werden kann) und Messfehler des Items zusammen) 

-Hauptkomponentenanalyse, PCA

- Hauptachsenanalyse PFA

- Maximum-Likelihood-Faktorenanalyse

Annahme: messfehlerfreie Erhebung

• Ziel: Dimensionsreduktion --> Entstehung von nicht erklärter Varianz (Uniqueness)

• Hauptkomponenten enthalten aber tatsächlich Messfehler

• Aufzuklärende Varianz jeder einzelnen stand. Variablen = 1 --> zu erklärende Gesamtvarianz = Zahl der Variablen

• Annahme: Variablen enthalten auch Varianz durch Messfehler

• Ziel: Identifikation latenter Konstrukte

• Faktoren erklären Beziehung der Variablen („wahre Varianz“)

• Schätzung der wahren Varianz (= Reliabilität) einer Variable

• unerklärter Varianzanteil enthält systematische und unsystematische Varianz

• Ziel: latente Faktoren als Ursache für Korrelation in der Population aufdecken

• Schätzt aus Stichprobenkorrelationsmatrix Populationsmatrix

• Erfordert große Stichprobe und multivariate Normalverteilung der Variablen

• Möglichkeit zu Modelltest (χ2-Test)

• H0: Das Modell passt zu den Daten

Kaiser-Kriterium:

- alle Faktoren mit Eigenwert > 1, erklären mehr Varianz als eine Variable

- Problem: häufig Überschatzung der Faktorenzahl, da zufällig Eigenwerte > 1 möglich

• Scree-Test/ Screeplot:

- Eigenwerte der Faktoren gegen Faktorenzahl abgetragen (nach Größe) -->alle Faktoren vor dem Knick extrahiert

Parallelanalyse

Vorgehen:

1. Zufallsdaten generiert - die den empirischen Daten entsprechen

2. Extrahieren von Faktoren

3. Alle Faktoren extrahieren, wenn Eigenwerten > gemittelte Eigenwerte

- Durchführung einer Hauptkomponentenanalyse

- Bestimmung der Komponentenwerte der Personen

- Auspartialisieren aus Ausgangskorrelationsmatrix (durch diese Komponente erklärte Varianz eliminiert) --> übrig bleibt Residualmatrix (enthält Partialkorrelationen)

– Quadrieren und Mitteln der Partialkorrelationen oberhalb der Diagonale --> mittlere quadrierte Partialkorrelation (MAP)

- Wiederholen der Schritte (angefangen mit Residualmatrix) bis sich die mittlere quadrierte Partialkorrelation nicht mehr reduzieren lässt

- Extraktion der Zahl an Komponenten, bei der MAP am geringsten ist (hier ist systematische Varianz der Korrelationsmatrix ausgeschöpft)

- Auch im Rahmen der ML oder Hauptachsenanalyse verwendbar

--> Orthogonal immer bei unkorrelierten (wenn es keine anderen theoretischen Annahmen über Korreliertheit gibt (laut Moosbrugger) 

-> Eid: Standard Oblique, da in der Psychologie immer von Korreliertheit ausgegangen werden muss

1). Substantielle Korrelationen der Items (KMO-Koeffizient, MSA-Koeffizient, Bartlett´s Test auf Sphärizität)

2). Unverzerrte Zusammenhänge (z.b: Ausreißer) 

3). Ausreichende Itemanzahl und ausreichende Itemreliabilität (mind. 4 Items pro Faktor, Achten auf Reliabilitäten)

4.) Ausreichende Stichprobengröße (Abhängig von der Kommunalität und Anzahl der Items pro Faktor)

Endogene Variablen: abhängige Variablen, auf die ein Pfeil zeigt 

Exogene Variablen: unabhängige Variablen, auf die kein Pfeil zeigt / vin denen ein oder mehrere Pfeile ausgehen

= Modelle, welche dieselbe Modellstruktur aufweisen und sich nur dadurch unterscheiden, dass einzelne Parameter zusätzlich fixiert oder freigesetzt werden. (Modellstruktur bleibt ansonsten aber erhalten) 

1. Pro Faktor fixieren einer Faktorladung auf 1 

2. Fixieren der Varianz der latenten Variablen auf 1 (NICHT für Längsschnittstudien oder Multigruppenanalysen) 

3. Parameterfixierung durch Modellannahmen 

1. gerade identifizierte Modell (eine einzige Lösung für den zu schätzenden Parameter, df=0, kein Modellfit möglich) 

2. unteridentifiziertes Modell (es gibt unendlich viele Möglichkeiten, mehr zu schätzende als bekannte Parameter --> nicht für Analysen mit Strukturgleichungsmodellen anwendbar) 

3. überidentifizierte Modell (mehr bekannte als zu schätzende Parameter --> kann näherungsweise gelöst werden) 

hier wird das Zielmodell mit einem Null- oder Independencemodell verglichen

• Null- oder Independence Modell: nur die Varianzen der Variablen werden geschätzt und alle anderen Parameter auf 0 fixiert

Tucker Lewis Index (TLI, oder auch NNFI)

NFI (Normed Fit Index), sollte groß sein (≥ .95)

CFI (Comparative Fit Index), sollte groß sein (≥ .97)

• Wertebereich zwischen 0 und 1, wobei ein höherer Wert für einen besseren Modell Fit steht

a) Sparsamkeit Fit-Indizes beziehen den Faktor der Sparsamkeit eines Modells mit in die Bewertung der Modellgüte ein

• Sparsam = Modelle mit wenigen zu schätzenden Parametern

1. Akaike Information Criterion (������): Abgleich anhand der Freiheitsgrade / frei zu schätzenden Parameter

2. Bayesian Information Criterion (BIC): bezieht die Stichprobengröße mit ein und bestraft Anzahl Parameter noch stärker als der ������

• niedriger Wert = besserer Modellfit

• alleine können die Kennwerte keine Aussage über den Modellfit machen, sie dienen nur zum Vergleich von Modellen

• Paralleles Modell

- Die Messfehler beider Messungen sind unkorreliert

- Die wahren Werte beider Messungen sind gleich

- Die Fehlervarianzen beider Messungen sind gleich

• Essenziell paralleles Modell

- Die Messfehler beider Messungen sind unkorreliert

- Die wahren Werte beider Messungen unterscheiden sich lediglich um eine additive Konstante für jede Person

- Die Fehlervarianzen beider Messungen sind gleich

• Tau-äquivalentes Modell

- Die Messfehler beider Messungen sind unkorreliert

- Die wahren Werte beider Messungen sind gleich

• Essenziell Tau-äquivalentes Modell

- Die Messfehler beider Messungen sind unkorreliert

- Die wahren Werte beider Messungen unterscheiden sich lediglich um eine additive

Konstante für jede Person

• Tau-kongenerisches Modell

- Die Messfehler beider Messungen sind unkorreliert

- Die wahren Werte beider Messungen unterscheiden sich lediglich um eine additive und eine multiplikative Konstante für jede Person

Konstruktvalivität umfasst die empirischen Befunde, mit denen die Zuverlässigkeit der Interpretation von Testergebnissen im Sinne erklärender Konzepte gestützt wird. 

Ziele:

• .berprüfung der Korrektheit des nomologischen Netzes

• Beobachtete Testwerte zulässige Indikatoren für nicht beobachtbares Konstrukts?

--> Prüfen empirischer Gesetze mittels empirischer Beobachtung

• Ursachen für Inkonsistenzen zw. Theorie und Beobachtung:

- Fehler in Axiomen

- Falsche Ableitung der Korrespondenzregeln

- Verwendetes Testverfahren

• Hypothetisch-deduktiver Ansatz:

- Kein endgültiger Beleg, nur Falisifikation

• Kein einzelner Wert zur Validitätsangabe

• Nur vorläufiger Charakter

• Vorgehen praktisch schwer umzusetzen

• Keine Formalisierung psychologischer Theorien

Stärke

• exakte und theoriebasierte Aussagen darüber, wie die Testergebnisse interpretiert werden können

- Formulierung expliziter Annahmen über Zusammenhänge des untersuchten Konstrukts mit anderen Konstrukten

- Überprüfung anhand empirisch beobachtbarer Sachverhalte

- Theoretische Annahmen

- Festlegung Effektgröße, a - und b - Fehler

- Berücksichtigung des statischen Verfahrens --> ANOVA, Regression, T-Test etc.

- Bestimmung der optimalen Stichprobengröße

- Durchführung der empirischen Untersuchung

• Formulierung spezifischer Null- und Alternativhypothesen --> entsprechen exakt der Fragestellung der Validitätsuntersuchung