testkonstruktion
Testkonstruktion
Testkonstruktion
-
- 1 / 269
-
Lernkarten
Wofür ist die Trennschärfe nahe Null ein Hinweis?
Hinweis auf Messung eines anderen Konstruktes
Inangriffnahmekorrektur
Korrektur des Schwierigkeitsindex
bei zeitbegrenzten Leistungstests werden nicht alle Items von allen Personen bearbeitet
anstelle N nur NB , also die Personen die das tem in Angriff genommen haben
Überdeterminiertheit
zumeist wird ein Faktor durch zwei bis drei Items mit den höchsten Ladungen interpretiert
grundsätzlich aber sollte ein Faktor durch mehrere Variablen mit jeweils höchstmöglicher Ladung interpretiert werden
bei kleinen Stichproben besteht sonst die Gefahr Zufallsfaktoren zu interpretieren
Wie verändert sich die Reliabilität bei systematischen Fehlern?
Tragen zur Erhöhung der Reliabilität bei
typologisierende Testkonstruktoion
Identifikation von Gruppen von Personen oder Objekten auf der Grundlage empirischer Information
dominante statistische Verfahren: Clusteranalyse
Bsp: Aufgrund Daten finde ich heraus, dass Konsumenten in verschiedene Gruppen eingeteilt werden können
Vorteil Retest-Reliabilität
tatsächlich gleiches Merkmal
auch sinnvoll bei Speed und heteroegenen Tests anzuwenden sowie Persönlichkeitstest
Ursachen verzerrte Trennschärfe
Varianz erweitert z.B. durch Ausreißer
Varianz eingeschränkt
Trennschärfe Ratingskala
entspricht der Produkt-Moment-Korrelation nach Part-Whole-Korrektur
Scree-Test
grafische Analyse
In Diagramm werden alle Eigenwerte der Größe nach abgetragen und durch geknickte Linie miteinander verbunden
Bei auffälligen Knick wähle nur die Faktoren vor dem Knick d.h. links davon (Vorrausezuung kg Kriterium ist gleichzeitig erfüllt)
Problem: kein objektives Kriterium
non iterative Schätzverfahren
TSLS two-stage least squares
instrumental variables IV
erlauben keine Prüfung des Fit -> keine endgültige Schätzung
geben Startwerte als brauchbare Anfangsschätzung
Einteilung Tests nach formalen Gesichtspunkten
Speed s power
ein vs mehrdimensional
Gruppe vs Einzel
verbal vs. nonverbal
Unterscheidung nach Medium ( (PC, paper-Bleistift, Online)
Homogenitätsindex
Maß für Eindimensionalität (Vorraussetzung für interne Konsistenz , ist aber selbst nur vager Indikator für Homogenität)
mittlere Interitemkorrelation und Streeung
formale prüfung durch Modelltest im Rahmen der PTT und CFA
absolute Fit-Indizes
Vergleich des geschätzen Modells (unter Resitriktion geschätzt) mit Modell mit frei geschätzten Parameter (entspricht explorativen Modell ohne Freiheitsgrade mit desshalb perfekter Passung)
Was ist oft ein Grund dafür, dass in der PAF Schätzungen nicht konvergiert?
zu gerine Stichprobengröße in Relation zur Zahl der Variablen
Validität in der KTT
Anteil der Zielkonstruktvarianz an der Gesamtvarianz
Bias und eigentliches Zielkonstrukt dürften nicht miteinander korrelieren
erste Kommunalitätenschätzung
Problem
PCA
PAF
Problem: Müssen geschätzt werden bevor Faktoranalyse durchgeführt wird
Vorgehen PCA: Hauptdiagonale der Korrelationsmatrix wird mit 1 gefüllt -> vollständige Aufklärung der Varianz des Items durch Summe der Faktoren
Vorgehen PAF: konservative Schätzung, quadrierte multiple Korrelationskoeffizienten R² zwischen Item und anderen Items
-> in jedem Item steckt Anteil spezifische Varianz/Spezifität S
ist systematisch, trägt zur Relaibiltät bei, ist von anderen Items nicht zu erfassen
Strategien der Überprüfung der Konstruktvalidität nach Cronbach
logistische argumentative Vorgehen
experimentelle Prüfung
korrelative Anaysen (inferenzstatistische Absicherung)
Vorteile externale Testkonstruktion
in bestimmten Bereichen sehr gute Kriteriumsvalidität
geeignet für Exploration unbekannter Situationen, Konstrukte
Was sagt der Monotrait-Heteromethod?
wenn hoch konvergente Validität
wenn niedriger als Heterot-Monom und Heterot-Heterom diskriminante Validität
Minimum Stichprobengröße
Anzahl der Variablen
Welche Randbedingungen erfordert die Faktorenanalyse?
rel große Stichproben
rel. viele Indikatoren je extrahierten Faktor
Einzelindikatoren mit relativ hoher Messqualität
substanzielle Interkorrelation
angemessene Verteilungsiegenschaften
Standards for Educational and Psychological Testings
Entwickelt von AERA APA und NCME
Testentwicklung Testfairness und Testanwendung als Teile
Richtlinie mit Schwerpunkt Qualität
Existenzaxiom
Bei wiederholter Messung bei der gleichen Testperson unterscheiden sich die Testergebnisse zufallsabhängig
Bei beliebig häufiger Wiederholung nähern sich die Testergebnisse einer Normalverteilung an
Mittelwert der NOrmalverteilung ist der wahre Wert (auch Verhaltenstendenz)
Welche Formen der Validität gibt es?
Inhaltsvalidität
Konstruktvalidität (Faktorielle, konvergente und diskriminante)
Kriterienbezogene Validität/ Kriteriumsvalidität ( Z.B. retrospektive, konkurrente und Pädiktive/ prognostische Validität; inkrementelle Validität)
Wie werden im Pfaddiagramm Nullkorrelationen dargestellt
fehlen von Pfeilen
Ordnungsaufgaben Sortieraufgaben
Zuordnung oder Umordnung
+Abfrage von Wissen und Kenntnissen in kompakter und ökonomischer Form
-Folgefehler, Ratewahrscheinlichkeit steigt mit Zuordnung (Lösung ganz falsche Lösung untermischen)
Was wird vorrausgesetzt?
lokale stochastische Unabhängigkeit (PTT)
Iformalisiert die Itemhomogenität (Item guter Indikator wenn Leistung bei Item komplett auf Fähigkeitsausprägung der latenten Variable zurückzu führen ist)
Lösungswahrscheinlichkeiten der Items für alle Personen dürfen multipliziert werden
Signifikantests, ob es sich um ein Raschmodell handelt
Andersen-Quotienten-Test
Pearson-chiquadrat-Test
Bootstrap-Methode
Vorraussetzungen der EFA
1. substanzielle Korrelation der Items
2. Stichprobengröße
3. uni- und multivariate Verteilungseigenschaften
Schwelle oder Threshold in der PTT bei ICC
Schwelle der Übergang von der einen Auswahlalternative zur nächsten
Punkt an dem beide Antworten gleichwahrscheinlich sind
Punkt entspricht dem Wendepunkt der logistischen Funktion undgleichzeitig Itemparameter
empirische Unteridentifikation
Modell formal identifiziert
Aber: extrem hohe Interkorrelationen -> zw. empirischen Informationen liegen Redunanzen-> keine genaue Schätzung möglich
Modell sit gerade identifiziert, wenn
die Zahl der freien Parameter der Zahl der empirischen Information entspricht
Modell berechenbar
Güte nicht prüfbar
Richtig klassifizierte nicht erfüller
Korrekte Ablehnung
richtig negativ
Aspekte der Identifizierbarkeit
Verhältnis freie Parameter zu empirischer INformation
Skalierung
Metrik
Teilmodelle sind nicht identifiziert
empempirische Unteridentifikation
Eigenschaften Messefehler und Zusammenhang zw. Mesfehler und wahren Wert in der KTT
Messfehler verteilen sich um Null
Kein Zusammenhang zwischen Messfehler und wahren Wert (Unkorreliertheit)
-> Messfehler hängt nicht davon ab ob der wahre Wert hoch niedrig etc ist
Messfehler zweier Testsunkorreliert (nur wenn Messvorgänge experimentell unabhängig)
Kreuzweise Unkorreliertheit von Fehlern und wahren Werten verschiedener Tests
Schritte der EFA
1. Prüfung Vorraussetzungen
2. Auswahl faktoranalytische Methode und damit der Methode der Kommunalitätenschätzung und der Faktorextraktion
3. Festlegung Anzahl der extrahierten faktoren
4. Festlegung Methode der Rotation un Durchführung dieser
5.Inhaltliche interpretation der Faktoren
6. festlegng der Methode zur Ermittlung der Faktorwerte und ggf. Faktorenanalyse höherer Ordnung
Facettentheorie
Methode zur Systematisierung wissenschaftlicher Fragestellungen
Werkzeuge um Merkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facetten)& Ausprägungen/Typen gliedern, Beziehungen zwischen Facetten erstellen und empirisch skalieren
Skaleninvarianz
Werte der Diskrepanzfunktion hängen nicht von der Skalierung der beobachteten Variable ab
Prüfung der substanziellen Korrelation
Mindestens: Beobachtete Korrelationsmatrix weicht signifikant von der vollständigen Unabhängigkeit der Variablen in der Population ab-> Barlett-Test auf Spphärizität wird signifikant
Kaiser-Meyer-Olkin-Koeffizient (kein Signifikanztest): misst gemeinsamen Varianzanteil der Items relativ zu den spezifischen Varianzanteilen
sollte möglichst möglichst hoch >.50
Kommunalität >.20
MSA-Koeffizient (bezieht sih auf einzelne Items)