WS 16/17

A

C

B

Skript: „Formal ist Eindimensionalität dann gegeben, wenn die Korrelation zwischen den Items eines Tests nach Auspartialisierung der latenten Eigenschaft (d.h. bei deren konstanter Ausprägung) verschwindet (lokale Unabhängigkeit)“

A

Streng genommen zählt die PCA nicht zu den faktorenanalytischen
Methoden, da sie lediglich dem Zweck der Datenreduktion und Beschreibung
dient, und die latenten Variablen heißen hier auch nicht Faktoren, sondern
Komponenten. Dessen ungeachtet wird die PCA sehr häufig angewendet (in SPSS
ist sie die Voreinstellung) und die Unterschiede zur PAF in den Berechnungen
und häufig auch in den Ergebnissen sind auch nur gering (zu Ausnahmen siehe
Fabrigar, Wegener, MacCallum & Strahan, 1999).

C 
Skript: „Wenn man den Eigenwert durch die Gesamtzahl der Items teilt, ergibt sich außerdem der Anteil der durch den Faktor aufgeklärten Varianz des gesamten Tests.“

C

Skript: „Kein Signifikanztest, jedoch ein ebenfalls in SPSS implementiertes Verfahren mit inhaltlich ähnlicher Funktion ist der Kaiser-Meyer-Olkin-Koeffizient (KMO-Koeffizient), der, vereinfacht gesagt, den gemeinsamen Varianzanteil der Items relativ zu deren spezifischen Varianzanteilen misst. Der KMO-Koeffizient sollte möglichst hoch sein (keinesfalls unter .50). Anhaltspunkte zur Beurteilung der Höhe gibt Bühner (2011):
.50-.59- schlecht
.60-.69- mäßig
.70-.79- mittel
.80-.89- gut
>.90 sehr gut“

D

Aus dem Bühner: „Die Kommunalität eines Items ist die durch alle extrahierten Faktoren augeklärte Varianz (quadrierte Ladungen a²) eines Items (Summe der quadrieten Ladungen in der Zeile). 
Sie gibt an, wie gut ein Item durch alle Faktoren repräsentiert wird. 

Die Kommunalität eines Items lässt sich in der Regel (aber nicht immer beliebig) dadurch steigern, dass man mehr Faktoren extrahiert, da so die Anzahl an zu summierenden quadrierten Ladungen ansteigt.“

C
Je mehr Variablen in die Analyse eingehen,
desto wahrscheinlicher ist es jedoch, dass bei strikter Anwendung des KGKriteriums
zu viele Komponenten extrahiert werden, die teilweise schwer zu interpretieren
sind und eher methodische Artefakte als inhaltliche Konstrukte abbilden.
In der Regel empfiehlt es sich, die Entscheidung über die Anzahl der Faktoren
nach anderen Kriterien zu treffen und vor dem nächsten Schritt der EFA die
entsprechende Voreinstellung im Programm zu ändern.

B

Meist wird mit der Rotation aber das Kriterium der Einfachstruktur angestrebt.
Wenn in der ursprünglichen Faktoren- oder Komponentenmatrix überwiegend
Ladungen in mittlerer Höhe vorkommen, wenn sich also die Ladungen je Item auf
mehrere Faktoren relativ gleichmäßig verteilen und auch je Faktor viele Ladungen
mittlerer Höhe dominieren, wird dieses Kriterium verfehlt. Es ist dann nämlich
kaum möglich, die Items eindeutig einem bestimmten Faktor zuzuordnen und die
Faktoren inhaltlich eindeutig zu interpretieren. Dafür wäre es wünschenswert,
wenn möglichst jedes Item auf einen bestimmten Faktor hoch und auf die anderen
niedrig oder gar nicht laden würde. Ein solches Ladungsmuster entspricht der Einfachstruktur,
die i.d.R. mittels Rotation nur angenähert werden kann. Durch die
Rotation wird die Lage der Faktoren im Faktorraum verändert, nicht deren Anzahl
oder die Lage der Items. Einfach gesagt werden die Achsen (Faktoren, Komponenten)
so gedreht, dass sie sich einigen Punkten (Items, beobachtete Variablen)
im Raum annähern und von anderen entfernen, so dass am Ende die Punkte den
Achsen möglichst eindeutig zugeordnet werden können (Einfachstruktur). Nach
der Rotation bleibt die Gesamtvarianz der extrahierten Faktoren erhalten, es ändert
sich aber die Verteilung der Varianz auf die extrahierten Faktoren bzw.
Komponenten (d.h. deren Eigenwerte, die allgemein gleichmäßiger werden).

E

Der
zweite Fall heißt oblique (schiefwinklige) Rotation, weil auch der Winkel zwischen
den Achsen verändert wird, was inhaltlich bedeutet, dass eine Korrelation
zwischen den Achsen zugelassen wird. Die Korreliertheit führt u.a. dazu, dass die
quadrierten Ladungen nicht mehr einfach zeilenweise summiert werden können,
um die Kommunalität zu erhalten, und dass sich die neuen Eigenwerte nicht mehr
zu einem Maß für die aufgeklärte Gesamtvarianz addieren. Die Entscheidung zwischen
orthogonaler und obliquer Rotation sollte aber im Wesentlichen aufgrund
inhaltlicher Überlegungen getroffen werden. Einerseits maximiert Orthogonalität
die theoretische Sparsamkeit der Faktorenlösung, weil Korreliertheit immer auch
Redundanz bedeutet. Andererseits sind korrelierte Faktoren oft einfacher interpretierbar,
weil sich so Mehrfachladungen der Items besser verteilen lassen. Außerdem
stellt postulierte Unabhängigkeit zwischen Konstrukten eine Restriktion dar,
die gerade bei einem explorativen Vorgehen ohne a priori Definitionen begründungspflichtig
ist.

D

Diese Faktorwerte ergeben sich, nach entsprechender Umstellung
der faktorenanalytischen Grundgleichung, als eine gewichtete Kombination
der Items, die zu dem jeweiligen Faktor beitragen.

Faktorwerte werden also
nicht direkt beobachtet, sondern indirekt aus den Daten berechnet und sind deshalb
auch extrem stichprobenabhängig. Dies ist einer der Gründe, warum häufiger
mit den gegenüber Stichprobencharakteristika robusteren Rohwertsummen gerechnet
wird. In manchen Fällen möchte man jedoch „reine“ Ausprägungen auf
Faktoren ermitteln oder benötigt Faktorwerte für weitere Berechnungen.

Aufgrund der Standardisierung
lassen sich mit den Faktorwerten keine Mittelwertsvergleiche zwischen den Faktoren
durchführen (dieser ist immer Null; vgl. jedoch Thompson, 2004, zu einer
Methode, die sich für diesen Zweck eignet)

D

B

C

Skript:“Dafür ist ULS weder skaleneinvariant noch skalenfrei und sollte deshalb, wenn überhaupt, nur auf die Korrelationsmatrix bzw. bei Varibalen mit einheitlicher Skalierung angewandt werden.“

E

B

D

B

Skript: 
„Konzeptionell sinnlos ist die Interpretation der Retest-Reliabilität etwa bei der Veränderungsmessung bzw. generell, wenn die Instabilität des erfassten Merkmals theoretisch zu erwarten ist.

Ein großes Problem bei der Retest-Reliabilität ist die Wahl des geeigneten zeitlichen Intervalls zwischen beiden Messzeitpunkten. Dabei sind zwei gegenläufige Tendenzen in Einklang zu bringen. Einerseits kann durch Übungs- und Erinnerungseffekte die Korrelation zwischen beiden Messzeitpunkten künstlich überhöht sein. Dies ist umso eher zu erwarten, je kürzer das Messintervall ausfällt. Andererseits kann sich das zugrunde liegende Merkmal (also die wahren Werte) zwischen beiden Messzeitpunkten verändern, was zu Unterschätzung der Reliabilität führt. Dies tritt in begrenztem Umfang auch bei theoretisch stabilen Merkmalen wie Intelligenz und Persönlichkeitseigenschaften auf und verstärkt sich mit zunehmendem Zeitintervall. „

C

Skript: „(1) Inhaltsvalidität. Der inhaltliche Aspekt der Validität bezieht sich auf die Übereinstimmung

der Testinhalte (d.h. der Items inkl. Stamm und Antwortvorgabe) mit dem zugrunde liegenden Merkmal des Tests. Die Inhaltsvalidität betrifft also einen frühen Schritt der Testentwicklung, nämlich die Ableitung der Items aus dem definierten Merkmalsbereich (Abschn. 2.3), und setzt folglich voraus, dass ein solcher Merkmalsbereich existiert.

In Beispiel 5.1 wird exemplarisch ein systematischeres Vorgehen dargestellt, welches u.a. zeigt, dass Maße der Beurteilerübereinstimmung (vgl. Abschn. 5.2.1 oben) auch zur quantitativen Abschätzung der Inhaltsvalidität herangezogen werden können.“

D

Skript: “In deren jeweiligen Diagonalen (Validitätsdiagonalen) stehen fettgedruckt die Monotrait-Heteromethod-Koeffizienten, die Hauptindikatoren der konvergenten Validität. Sie sollten möglichst

hoch ausfallen (auf jeden Fall statistisch von Null verschieden), um konvergente Validität anzuzeigen, sowie höher als die Heterotrait-Monomethod-Koeffizienten als ein Hinweis auf diskriminante Validität im Sinne der Unabhängigkeit von den Messmethoden.“

B

B

Entscheidend war das Versäumnis, bei
der Testentwicklung hinreichend zu etablieren, dass für Männer und Frauen die
gleichen „aerobischen Standards“ auch mit gleicher beruflicher Leistung verbunden
sind. Dies war lediglich aufgrund einer nach Geschlechtern nicht getrennten
Gesamtauswertung der Daten unterstellt worden, die zudem für eine zuverlässige
getrennte Auswertung eine zu kleine Teilstichprobe von Frauen enthielt. Tatsächlich
bestanden Frauen aufgrund ihrer physischen Konstitution den Fitness-Test
sehr viel seltener als Männer, ohne dass sich dieser Unterschied in entsprechenden
Leistungsunterschieden niederschlug (nur insofern spielte die Leistungsbeurteilung
eine Rolle). Die Behörde hatte nach Ansicht des Supreme Court versäumt,
die Gültigkeit der gleichen Fitness-Standards für beide Geschlechter empirisch
nachzuweisen (Quelle: Catano, Wiesner, Hackett & Methot, 2005).

D

E

(1) Äquivalenzhypothese, gleicher Test: Dkrit = z ⋅ Sx ⋅ √(2 ⋅ (1− rtt))
(2) Äquivalenzhypothese, verschiedene Tests: Dkrit = z ⋅ Sx ⋅ √(2 − (rtt1 + rtt 2))
(3) Regressionshypothese, verschiedene Tests: Dkrit = z ⋅ Sx ⋅ √(1− r²12)

Skript:“Die Werte der kritischen Differenzen vermitteln zudem einen Eindruck

davon, wie hoch reliabel ein Test sein muss, damit z.B. eine beobachtete

Testwertdifferenz von 5 IQ-Punkten zwischen zwei Probanden (Fall (1)) interpretiert

werden kann. Mit der angenommen Sicherheitswahrscheinlichkeit erforderte

dies einen Test mit einer unglaublichen Reliabilität von rtt = .9855! (Versuchen

Sie ruhig einmal, dies durch Umstellung der obigen Formel nachzurechnen.)

Meine Meinung: Bei perfekter Reliabilität gibt es also keinen Grund eine kritische Differenz zu berechnen und es fehlen alle nötigen Werte „

A

A D

Kriteriumsvalidität = Korrelation des Tests mit einer anderen Variablen z.B. einem Verhaltensindikator oder einem anderen Test. 
Zwei Arten von Kriterien: 
1) Außenkriterium – Schulnoten bei einem Schuleignungstest
2) Binnenkriterium – Ein anderer Schuleignungstest 

B

C

Anders als bei ML oder GLS kann das bei etwas komplexeren
Modellen leicht Stichproben in einer vierstelligen Größenordnung
erfordern.

E

Erheblich schwieriger zu quantifizieren als die Kosten ist i.d.R. der Nutzen von
Testverfahren. Nichtsdestotrotz reichen die Versuche, den Nutzen der Diagnostik
objektiv zu erfassen, weit in die Geschichte der Psychologie zurück. Eine besondere
Rolle haben in dieser Hinsicht eignungsdiagnostische Entscheidungen gespielt.
Die entsprechenden Entwicklungen seien deshalb hier nur kurz angesprochen
und in Modul 8 vertieft dargestellt. Ein Versuch, den Nutzen von Auswahlinstrumenten
als Verbesserung des Anteils richtiger Entscheidungen (insbes. der
Trefferquote, vgl. Abschn. 4.3) im Vergleich zur Zufallsauswahl zu bestimmen,
stammt aus der Zeit vor dem zweiten Weltkrieg (Taylor & Russell, 1939). Unter
anderem hängt der Nutzen hier vom Anteil geeigneter Personen an der Bewerberpopulation
(Basisrate) und dem Anteil der am Ende Ausgewählten (Selektionsquote)
ab. Später ist diese ausschließlich an der Akkuratheit der Klassifikation
orientierte Nutzenanalyse um Elemente der betriebswirtschaftlichen Kosten- und
Leistungsrechnung zu einer echten monetären Nutzenanalyse erweitert worden
(z.B. Brogden, 1949; Cronbach & Gleser, 1965). In allen Fällen ist der Nutzen
jedoch keineswegs unabhängig von der psychometrischen Validität zu bestimmen,
sondern im Gegenteil deren direkte Funktion. Dies gilt fast noch mehr für qualitative
Nutzendefinitionen (z.B. in einem Entwurf zur DIN 33430 als relativer Wert
der testbasierten Entscheidung im Vergleich zu anderen möglichen Entscheidungen),
die im Grunde Validitätsfacetten (hier: inkrementelle Validität) umschreiben.
Als Minimalstandard für praktische Zwecke lässt sich festhalten, dass der
von einem Test gestiftete Nutzen den möglichen Schaden (z.B. durch Fehlentscheidungen)
und die Kosten in der Summe übersteigen sollte. Bei Betrachtung
alternativer Verfahren kann sich dieser Standard relativieren, weil vorliegende
Verfahren größeren Nutzen versprechen oder weil sich der „neue“ Test als vollständig
redundant erweist. Es sollte jedoch auch noch einmal erwähnt werden,
dass Tests i.d.R schon bei erheblich geringeren (kriterienbezogenen) Validitätskoeffizienten
als den manchmal als Untergrenze geforderten .30 bis .40 nachweislich
Nutzen versprechen und insofern der Schaden ihrer Nicht-Anwendung
den Nutzen derselben häufig übersteigt.

B

Der durchschnittliche Fehler kann auf zwei unterschiedlichen Wegen geschätzt
werden (eigentlich auf drei Wegen, wobei wir auf die Darstellung des Vorhersagefehlers
verzichten; vgl. Lord & Novick, 1968). Im ersten Fall wird davon ausgegangen,
dass der beobachtete Testwert den wahren Wert befriedigend annähert
(Äquivalenzhypothese). Bei der Beurteilung eines einzelnen individuellen Testwerts
ist dies der übliche Fall. In diesem Fall berechnet sich die Schätzung für den
durchschnittlichen Betrag der Abweichung des beobachteten Werts vom wahren
Wert als Standardmessfehler.

Bessere Erklärung muss noch gefunden werden!

E

Nur Prozentrangnorm nicht was leicht zu erkennen ist in Abbilung 4.24 "Darstellung einiger gebräuchlicher Normskalen"

anhand der nicht gleichgroßen Abstände zwischen den einzelnen Rängen.

D

Dafür wird eine Matrix bzw. eigentlich viele Matrizen produziert,
die den gleichen Rang (gleiches p) wie die empirische Matrix besitzen, aber
auf Zufallswerten beruhen. Aus diesen Zufallskorrelationen werden dann Faktoren
bzw. Komponenten extrahiert und wieder nach ihren Eigenwerten geordnet.
Da die Korrelationsmatrix von Zufallsvariablen in unendlich großen Stichproben
der Identitätsmatrix entspricht, sind Abweichungen der Eigenwerte von Eins (bei
der PCA) definitionsgemäß rein zufällig bedingt. Die Zufallseigenwerte werden
nun mit den empirischen Eigenwerten verglichen. Die aus der empirischen Matrix
extrahierten Faktoren bzw. Komponenten werden beibehalten, sofern und so lange
ihre Eigenwerte die Eigenwerte der Faktoren aus der Zufallsmatrix mit dem gleichen
Rangplatz übersteigen. Da man mit dem Computer problemlos viele Zufallswerte
generieren und faktorisieren kann, lässt sich auch eine Verteilung der
zufallsgenerierten Eigenwerte erstellen. Dann kann man die empirischen Faktoren
z.B. dann beibehalten, wenn ihre Eigenwerte größer sind als 95 % der zufallsgenerierten
Eigenwerte mit dem gleichen Rangplatz. Dies lässt sich als überzufällige
(bedeutsame) Abweichung des empirischen Eigenwerts nach oben interpretieren,
obwohl es formal kein Signifikanztest ist. Allerdings neigt auch die Parallelanalyse
bei sehr großen Stichproben zur Überschätzung der Faktorenzahl. Je größer die
Stichprobe ist, desto flacher ist der Verlauf der zufälligen Eigenwerte, da für N →
∞ jede Zufallsmatrix der Identitätsmatrix entspricht und damit die Eigenwerte den
Elementen in der Hauptdiagonalen der Matrix (bei der PCA also Einsen). Im
hypothetischen Extrem entspricht das Ergebnis der Parallelanalyse also dem KGKriterium.

ABCDE

B C E

Rational (deduktiv)
Konstruktdefinition: Theoretische Ableitung von Items
Ziel: konstruktvalide, gut interpretierbare Messung

External (empirisch)
Kriteriumsdefinition: Empirische Selektion von Items
Ziel:  Kriteriumsvalidität

Internal (induktiv)
Grober Merkmalsbereich:  Empirische Zuordnung von Items
Ziel:  interpretierbare Binnenstruktur, homogene Subskalen

Typologisierend (nicht Prototypen)
Mehrere Merkmale:  Zuordnung von Personen
Ziel:  Klassifikation von Personen