Testtheorie und Fragebogenkonstruktion
Psychologie
Psychologie
Fichier Détails
| Cartes-fiches | 310 |
|---|---|
| Utilisateurs | 42 |
| Langue | Deutsch |
| Catégorie | Psychologie |
| Niveau | Université |
| Crée / Actualisé | 08.05.2018 / 25.02.2024 |
| Lien de web |
https://card2brain.ch/box/20180508_testtheorie_und_fragebogenkonstruktion
|
| Intégrer |
<iframe src="https://card2brain.ch/box/20180508_testtheorie_und_fragebogenkonstruktion/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
SPSS: Datenbeispie: Ausgabe - Kommunalitäten
Zweite Spalte ist hier entscheident:
Extraktion = die Summe der quadrierten Ladungen => Item O4 und A2 werden nicht so gut durch die gewonnenen Faktoren abgebildet
Erste Spalte sagt aus, dass jedes Item, dass man mit sich selbst korreliert gleich 1 ist.
Das kommt nur bei der Hauptkomponentenanalyse
SPSS: Datenbeispiel: Ausgabe - Eigenwerte und erklärte Varianz
Kommunalität - Hauptkomponentenanalyse: Die Eigenwerte sollten größer als 1 sein => das trifft bei den ersten drei Faktoren zu.
Es gibt 9 potenzielle Faktoren, soviele Items haben wir auch.
Faktor 3 hat eine Kumulierte Prozentangaben insgesamt 55,099% = 55,1% -> das entspricht der aufgeklärten Varianz...die restlichen 44,9 sind Messfehler oder unsystematisch Varianz.
SPSS: Datenbeispiel: Ausgabe - Unrotierte Faktoren
SPSS: Datenbeispiel: Ausgabe - Rotierte Faktoren
Hier wird rotiert, damit entweder die Items hoch auf die Faktoren laden oder so gering wie möglich (gleich Null)
Man sieht hier schon die Struktur, die man schon bei dem unrotierten Version sehen kann..nur differenzierter => eindeutigere Zuordnung!
Item E10 hat ein negatives Vorzeichen: man muss sich das Item ansehen, ob es evtl. umgepolt werden muss.
Geometrische Darstellung: Rotation von zwei Faktoren
Auf der x-Achse liegt der Faktor 1 und auf der y-Achse liegt der Faktor 2. Es wird rotiert, wobei der rechte Winkel der beiden Schenkel beibehalten wird. Es wird dabei solange rotiert, bis die Items x1, x2, x3 auf den Faktor 1' laden und die Items x4, x5, x6 auf dem Faktor 2' laden.
Es gibt hier auch noch die Möglichkeit oblique zu rotieren. Das wäre dann das Beispiel mit dem Faktor1" und dem Faktor2". Durch die Veränderung des Winkels kann man die Einfachstruktur noch vereinfachen.
Was kommt nach einer Explorativen Faktorenanalyse in den Forschungsbericht?
- Rotierte Lösung
- Verlauf der Eigenwerte und Begründung zur Faktorenzahl
- Protzensatz der durch die Faktoren erklärte Varianz
- Spezifikation der Ausgangsmatirx (Kovarianz oder Korrelationsmatrix)
Wo gehört die CFA dazu?
Konfirmatorische Faktorenanalyse (englisch „Confirmatory Factor Analysis“, CFA) gehört zur Familie der Strukturgleichungsmodelle (CFA=Messmodell)
Was sind die Ziele der CFA?
- CFA dient zur Prüfung expliziter Hypothesen über Anzahl an Faktoren, den Beziehungen zwischen Variablen und Faktoren sowie der Beziehung zwischen den Faktoren
- CFA ist ein hypothesenprüfendes Verfahren
- Besonders geeignet bei deduktiver Testkonstruktion
Was ist der Unterschied zwischen der EFA und der CFA?
EFA:
- keine Auskunft darüber, wie gut das Modell die vorliegende Daten erklären kann.
- Keine Restriktionen
- Alle Ladungen werden geschätzt
CFA:
- Modell kann entsprechend meiner Annahmen modulliert werden, z.B. Ladung = 0
- Beantwortet die Frage, ob mein Modell zu den Daten passt.
Was wird in der CFA geprüft?
In der CFA wird geprüft, ob das angenommene Modell auf die Daten passt -> hinreichende Übereinstimmung (Modellfit) zwischen den empirischen Daten und dem theoretischen Modell.
Nenne die drei Ablaufschritte der CFA.
- Modellspezifikation: ergibt sich aus der annahmen, verschiedene Modelle können vergleichen werden. Je mehr Vorgaben, desto restriktiver (strenger) ist das Modell. Je mehr Vorgaben, desto schlechter passt das Modell zu meinen Daten. Wenn es nicht signifikant ist, dann nimmt man das weniger restriktivere Modell.
- Parameterschätzung
- Modellevaluation (siehe Karte)
CFA: Modellevaluation
- Grundlegende Fit-Statistik ist (N-1)FML, wobei N-1 die Freiheitsgrade in der Stichprobe sind und FML der Wert des statistischen Kriteriums ist, der bei ML-Schätzung minimiert wird.
- In großen Stichproben, bei angenommener multivariater Normalverteilung ist, (N-1)FML Chi-quadrat verteilt mit dfM -> likelihood ratio chi-square
- Die chi-quadrat-Statistik prüft die Nullhypothese, dass das Modell korrekt ist.
H0: Daten passen zum Modell
H1: Daten passen nicht zum Modell
Modellevaluation sagt aus, wie gut das Modell zu meinen Daten passt.
Konfirmatorische Faktorenanalyse: Modellevaluation - Nachteile der Chi-Quadrat-Statistik
- Unrealistische Annahme, dass ein Modell einen perfekten Populations-Fit hat
- Sensitiv für Größe der Korrelationen -> Höhere Korrelationen führen zu größeren Chi-Quadrat -Werten
- XM2 -Wert ist durch Stichprobengröße beeinflusst -> Modell wird abgelehnt, auch wenn es korrekt ist
Fit-Indizies sagen, wie gut die Daten zum Test passen (beschreibend)
Konfirmatorische Faktorenanalyse Modellevaluation - Alternative Fit-Indizes
- Die meisten Fit-Indizes basieren auch auf Chi-Quadrat , nehmen aber nicht als Kriterium ∑=∑(Θ), dass die empirische Kovarianzmatriy mit der Kovarianzmatrix, die sich aus dem Modell ergibt, gleich sind.
- RMSEA (min. ≤ .08) schlecht, wenn der Indize hoch ist - darf höchstens 0.08 sein.
- CFI (min. ≥ .95) Indize soll größer als 0.95 sein.
- SRMR (min. ≤ .08) Indize darf höchstens 0.08 sein.
Konfirmatorische Faktorenanalyse: Wann ist ein Modell identifiziert?
Es gibt zwei Bedingungen:
1. es muss eine eindeutige numerishe Lösung für jeden Parameter in dem Modell geben.
Bedingung: die Freiheitsgrade sind null oder positv - bei negativen Freiheitsgraden ist das Modell nicht identifiziert.
2. die latente Variablen müssen skaliert sein (Faktoren und Messfehler sind die latenten Variablen)
Konfirmatorische Faktorenanalyse: Bedingung 1: Ein Modell ist dann identifiziert, wenn es eine eindeutige numerische Lösung für jeden Parameter in dem Modell gibt.
- Datengrudlagen ist die Varianz-Kovarianzmatrix S als Schützung für die Varianz-Kovarianz-Matrix der Population
- Diagonale: Varianzen
off-Diagonal: Kovarianzen - Anzahl der nicht-redundanten Informationen: v (v + l) / 2
v = Anzahl der manifesten Variablen/Items - Freiheitsgrade: df = p-q
d.h. die Anzahl der nicht-redundanten Informationen - der Anzahl der frei zu schätzenden Parameter
Konfirmatorische Faktorenanalyse:
1. Modell ist unteridentifiziert bzw. unterdeterminiert: negative Freiheitsgrade
- Gleichung: a + b = 6
- eine Information und zwei unbekannte Parameter
- df = 1 - 2 = -1
- unedliche Anzahl an Lösungen, keine eideutige Lösung, keine Möglichkeit zu entscheiden, welches die beste Lösung ist.
- Anzahl der zu schätzenden Parameter können fiyiert werden, besser: das Modell respezifizieren
Merke: es gibt immer mehr Informationen als Parameter!
Konfirmatorische Faktorenanalyse:
2. Modell ist gerade Identifiziert: Freiheitsgerade = 0
- Anzahl der Informationen = Anzahl der frei zu schätzdenden Parameter
- 2 Gleichungen:
a + b = 6
2a + b = 10 - zwei Informationen und zwei unbekannte Parameter
- eine eindeutige Lösung, perfekte Anpassung des Modells, Modellparameter kann geschätzt werden, aber keine Schätzung der Passung möglich, keine alternative Lösung.
Konfirmatorische Faktorenanalyse:
3. Modell ist überidentifiziert: positive Anzahl der Freiheitsgrade (das ist der Fall, der erwünscht wird)
- Keine negativen Freiheitsgrade sind eine notwendige aber keine hinreichende Bedingung für die Identifikation des Modells
- zwei Gelungen, die linear abhängig sind: perfekte Abhängigkeit beider Informationen
a + b = 6
3a + 3b = 18
=> 0 Freiheitgrade: - zwei Informationen und zwei zu schätzende Parameter: es gibt unendlich viele Lösungen trotzdem df = 0
normalerweise ist es eine Bedigung, dass die Freiheitsgrade nicht geativ und nicht 0 sein dürfen, aber manchmal ist es nicht hinreichend und die Freiheitsgrade fürfen auch negativ sein.
Konfirmatorische Faktorenanalyse: 2. Bedingung: Modell ist dann identifiziert, wenn die latenten Variablen skaliert sind.
- Skalierung der latenten Variablen/Faktoren und Rsiduen (Messfehler)
- die Skalierung, d.h auch die Varianzen der latenten Variablen (=Faktoren, Residuen) sid unbekannt und müssen deshalb definiert werden, dh. die latente Variablen muss eine Metrik annehmen
- Skalierung der Residuen z.B. Residuen der maifesten Variablen: Exi: xi = 1, die Fehlervariablen übernehmen die Metrik der manifesten Variablen.
Konfirmatorischen Faktorenanalyse: Es gibt 2 Möglichkeiten für die Sklaierung der Faktoren
1. Fixierung der Faktorladung eines Indikators auf eine bestimmten Wert (Wert =1)
1. Fixierung der Faktorladung eines Indikators auf einen bstimmten Wert (in der Regel ist das der Wert 1) => eine Faktorladung wird auf 1 gesetzt -> macht Amos automatisch: das Programm nimmt immer das erste Item
Die latente Variable übernimmt die Metrik der x1-Variable, so kann die Varianz der latenten Variable geschätzt ewrden (diese Faktorladung kann nicht freigeschätz werden und damit auch nicht inferenzstatistisch abgesichert werden)
Konfirmatorischen Faktorenanalyse: Es gibt 2 Möglichkeiten für die Sklaierung der Faktoren
2. Fixierung der Varianz der latenten Variablen auf eine Konstante (in der Regel ist das 1).
Ladungen werden frei geschätzt und können inferenzstatistisch abgesichert werden, Standardisierung der Faktoren.
Was bedeutet Einfachstruktur?
Welchen Effekt hat es, wenn man die oblique Rotation statt der orthogonalen nimmt?
Welches Prinzip liegt der Bestimmung der Faktorenzahl bei Anwendung der Parallelanalyse nach Horn zugrunde?
Die Version eines Tests 4 P, der interpersonelle Verhaltensweisen messen soll, besteht aus 12 Items. Es werden latente Faktoren vermutet. Die theoretische Hypothese sieht vor, dass ein hoher Faktorwert auf einem Faktro tendenziell zu niedrigeren Werten auf den anderen möglichen Faktoren führt.
Die Analysestichprobe bestand aus N = 2074 Personen.
Die Hauptkomponentenanalyse mit Varimaxrotation konnte zwei Dimensionen (Faktor 1: Fügsamkeit, Faktor 2: Zudringlichkeit) finden, die 55% der Varianz aufklärten. Die Trennschärfe und Schwierigkeit der Items lagen zwischen r=0.25 und 0.66 und die Schwierigkeitsindizes zwischen P=17% und 55%
Zwei Items erwiesen sich als faktorunrein (das eine Item weist eine substanzielle Nebenladung auf dem Zudringlichkeit-Faktor; das zweite Item hat eine bedeutsamen Nebenladung auf dem Fügsamkeitsfaktor).
Welche Aussage ist aufgrund der Beschreibung korrekt?
Welche Aussage in Bezug auf die Bedeutung der Faktoren in der Hauptachsenanalyse ist korrekt?
Die CFA ist innerhalb einer größeren Verfahrensgruppe eingebettet.
Welche Aussagen sind in diesem Zusammenhang zutreffend?
Was sind die typischen Ablaufschritte einer CFA?
Wählen Sie eine Antwort.
Einer der wichtigsten Kennwerte für die Modellevaluation ist die Chi-Quadrat-Statistik.
Was ist ein spezifischer Vorteil dieser Größe?
Wählen Sie eine oder mehrere Antworten.
Worin liegt eine Gemeinsamkeit der EFA und dder CFA?
Wählen Sie eine oder mehrere Antworten aus.
Im Zuge der Modellindentifiktion müssen mehrere Aspekte beachtet werden.
Welche Aussagen sind diesbezüglich zutreffend?
Wählen Sie eine oder mehrere Antworten.
CFA: Wie berechnet man die Freiheitgrade?
Wie berechnet man die Informationen?
df = s - t
s = Anzahl der Information: v * (v-1) / 2
t = Anzahl der zu schätzenden Parameter
Merke: Wenn die Freiheitsgrade 0 sind, dann ist es genau identifiziert und es gibt genau nur eine Lösung => aber man möchte immer positive Freiheitsgrade, weil man immer mehr Informationen reingeben möchte, als man hinterher rausbekommt.
Interpretation von Testresultaten und Testeichung: Ziel? Rohwerte?
Ziel: Das numerische Testergebnis soll i.d.R. Auskunft über die Merkmalsausprägung der Testperson geben.
- Rohwerte (z.B. Summenwerte basierend auf den Aufgaben/Items) sind für sich genommen zunächst nicht aussagekräftig
- Rohwerte sind abhängig von den verwendeten Items
-> 70% gelöste Aufgaben in einem Vokabeltest vs. 90% gelöste Aufgaben in einem Rechentest oder 23 Punkte in einem Depressionsfragebogen
Was bedeutet das?
Interpretation von Testresultaten und Testeichung: Was wird zusätzlich zum Testwert benötigt und warum?
Um eine eindeutige Aussage über die individuelle Merkmalsausprägung treffen zu können, wird zusätzlich zum Testwert ein Vergleichsmaßstab benötigt, anhand dessen der Testwert eingeordnet bzw. interpretiert wird.
Interpretation von Testresultaten und Testeichung: Welche zwei Möglichkeiten gibt es einen Test zu interpretieren?
- Normorientierte Interpretation durch den Vergleich mit einer Bezugsgruppe
- Kriteriumsorientierte Interpretation durch den Bezug auf ein vorab definiertes inhaltlich-psychologisches Kriterium
Interpretation von Testresultaten und Testeichung: Was versteht man unter normiertes Testen?
Die Mehrheit psychologischer Tests ist normorientiert: Testwerte von Personen oder Gruppen werden in Bezug gesetzt zu den Testwerten anderer Gruppen oder idealerweise einer Grundgesamtheit (Normstichprobe) => Beispiel: IQ als Abweichung von der durchschnittlichen Intelligenz der Population
Interpretation von Testresultaten und Testeichung:
Normiertes Testen: Um die Testergebnisse mit den Werten einer Bezugsgruppe zu vergleichen, werden die individuellen Testwerte in Normwerte transformiert - Erkläre!
Anhand eines Normwerts lässt sich eine getestete Person hinsichtlich der erfassten Merkmalsausprägung innerhalb der Bezugsgruppe positionieren
- Die Bildung von Prozenträngen durch eine nicht-lineare Transformation auf Basis der Häufigkeitsverteilung der Testwerte
- Die Bildung von z-Normen durch Standardisierung an Mittelwert und Standardabweichung der Testwerteverteilung
Interpretation von Testresultaten und Testeichung - Normorientiertes Testen - 1. Bildung von Prozenträngen
Definition: Ein Prozentrang gibt an, wie viel Prozent der Bezugsgruppe einen Testwert erzielten, der niedriger oder maximal ebenso hoch ist, wie der Testwert xv der Testperson v.
Der Prozentrang entspricht somit dem prozentualen Flächenanteil der Häufigkeitsverteilung der Bezugsgruppe, der am unteren Skalenende beginnt und nach oben hin durch den Testwert xv begrenzt wird.
Interpretation von Testresultaten und Testeichung - Normorientiertes Testen - 2. Bildung von zv -Normen
Der zv -Normwert gibt an, wie stark der Testwert xv einer Testperson v vom Mittelwert der Verteilung der Bezugsgruppe in Einheiten der Standardabweichung SD(x) der Testwerte xv abweicht.
- zv -Normwerte haben einen Mittelwert von 0 und eine Standardabweichung von SD(z)=1.
- Normalverteilung der Testwerte
- Können auch bei nicht normalverteilten Testwerten eingesetzt werden, sind dann aber wenig informativ.
- metrische Testwerte
Interpretation von Testresultaten und Testeichung - Normorientiertes Testen - Normwerte: Wie werden Normwerte gebildet?
Testwerte werden in Normwerte transformiert => Normwerte ermöglichen die Position der Person bezüglich seiner Mermalsauspärgung innerhalb einer Bezugsgruppe zu positionieren.
Bildung von Normwerten:
- Prozentränge:
nicht-lineare Trasformation aufgrund der Häufigkeitsverteilung der Testwerte
ordinal skalierte Testwerte
Keine Normalverteilung der Testwerte - z-Transformation: lineare Trasformation: Standardisierung am Mittelwert und Standardabweichung
Normalverteilung der Testwerte (geht auch bei nicht-normalverteilten Testwerten => wenig informativ)
metrische Testwerte
