M6 Grundlagen der Testkonstruktion
Kapitel 3: Itemanalyse: Kürzung und Revision des Entwurfs
Kapitel 3: Itemanalyse: Kürzung und Revision des Entwurfs
Kartei Details
| Karten | 84 |
|---|---|
| Lernende | 12 |
| Sprache | Deutsch |
| Kategorie | Psychologie |
| Stufe | Universität |
| Erstellt / Aktualisiert | 28.11.2011 / 12.09.2017 |
| Weblink |
https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion4
|
| Einbinden |
<iframe src="https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion4/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Wozu wird ein Pretest durchgeführt?
- um Items auf Verständlichkeit und Eindeutigkeit zu prüfen
- Erfassung möglicher Probleme mit der Akzeptanz durch Fragen, die als invasiv, belastend oder aus anderen Gründendes inakzeptabel empfunden werden.
Welche Kennwerte werden in der KTT genutzt, um Unterschiede in den Messeigenschaften einzelner Items zu identifizieren und zur Kürzung der Vorform des Test bzw. zu Eliminierung weniger gut geeigneter Aufgaben zu nutzen?
Itemschwierigkeit und Itemtrennschärfe
Welche Kennwerte werden in der PTT genutzt, um Unterschiede in den Messeigenschaften einzelner Items zu identifizieren und zur Kürzung der Vorform des Test bzw. zu Eliminierung weniger gut geeigneter Aufgaben zu nutzen?
In der PTT können in unterschiedlich komplexen Modellen unterschiedliche Parameter berechnet werden. Dafür stehen in der PTT Statistiken zur Prüfung der Modellverträglichkeit einzelner Items wie auch des gesamten Modells zur Verfügung.
Was ist das BFI ?
- Big Five Inventory
- ein kurzes Inventar zur Messung des Fünf Faktoren Modells der Persönlichkeit
- 44Items, 7-10 Items sind je einem Faktor zugeteilt.
- fünfstufige, bipolare Ratingskala
- rational konstruierter Test zur Messung eines faktorenanalytisch Begründeten Persönlichkeitsmodells
Was muss mit den Items passieren, bevor irgendwelche Berechnungen mit den Daten durchgeführt werden können?
Rekodierung inventierter Items, dass alle Items gleich gepolt sind.
Wie erfolgt die Rekodierung Von Items in SPSS?
Befehl: TRANSFORMIEREN -> UMKODIEREN IN DIESELBEN VARIABLEN
Datensatz mit originaler Polung: UMKODIEREN IN ANDERE VARIABLEN
Was bedeutet invertiert
umgepolt
Wie sind invertierte Items in SPSS gekennzeichnet?
sie haben am Ende ein i
In welche Liste werden die invertierten Items in SPSS verschoben?
in die LIste NUMERISCHE VARIABLEN
Über welchen Befehl wird in SPSS die Rekodierung der Items spezifiziert?
ALTE UND NEUE WERTE
Welche Optionen gibt es zur Ausführung von SPSS-Befehlen?
1. OK - die jeweilige Berechnung wird unmittelbar ausgeführt und da Ergebnis in der SPSS-Ausgabe angezeigt.
2. EINFÜGEN- der Befehl wird zunächst in ein SPSS-Syntax-Dokument geschrieben, wo er jederzeit makiert und ausgeführt werden kann. -> diese Option sollte immer gewählt werden!
Welches sind die wichtigsten Kennwerte zur Kennzeichnung von univariaten Verteilungseigenschaften?
nach Zentraler Tendenz: Mittelwert, Median, Modus
Streuung: Varianz, Perzentile, Streubreite
Verteilung: Schiefe Exzess
Welche graphischen Hilfsmittel sind bedeutsam für die Exploration von Auffälligkeiten innerhalb der Daten?
Histogramme
Identifikation von Ausreißern in unterschiedlichen Arten von Diagrammen
Bei Ratingskalen kann Normalverteilung für einzelne Items überprüft werden
Wie lassen sich für deskriptive Statistiken in SPSS direkt Datenanalysen als Zusatzinformation abrufen?
ANALYSIEREN-> DESKRIPTIVE STATISTIKEN -> DESKRIPTIVE STATISTIK
zusätzlich kann über OPTIONEN Standardauswertung, Kurtosis ( Exzess) und Schiefe ausgewählt werden
Wie lassen sich in SPSS Tests auf Normalverteilung und Histogramme abrufen?
ANALYSIEREN -> DEKRIPTIVE STATISTIKEN -> EXPLORATIVE DATENANALYSE -> DIAGRAMME
Welchen Wert sollte die Standardabweichung idealerweise bei einer fünfstufigen Skala annehmen?
Ungefähr 1
Was ist negative Schiefe?
Eine rechststeile Verteilung
Worauf deutet es hin, wenn der Exzess ( Kurtosis) negativ ist ?
(Ist häufig der Fall)
Breitgipflige Verteilung
Welchen Wert überschreiten Schiefe und Exzess in keinem Fall?
1
Wird für die Anwendung von Strukturgleichungsmodellen als kritisch angesehen
Welchen Wert überschreiten Schiefe und Exzess in keinem Fall?
1
Wird für die Anwendung von Strukturgleichungsmodellen als kritisch angesehen
Wie wird Itemschwierigkeit in ihrer einfachsten Form definiert?
Als der prozentuale Anteil der richtigen Lösungen
P= N(R) / N * 100
NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben
N= Anzahl alle Probanden
P= Schwierigkeitsindex ohne Korrektur
Wie kann der Index (Itemschwierigkeit) bei Persönlichkeitstests interpretiert werden?
Als Anteil der im Sinne einer hohen Ausprägung des Konstrukts gegebenen Antworten
Wie sieht die Formel für den Schwierigkeitsindex mit Zufallskorrektur aus?
Ganz wild :-P seite65
Wie hoch ist die korrigierte Itemschwierigkeit bei einer Dichotomien Aufgabe mit 75% richtiger Lösungen?
50%
Was ist der Schwierigkeitsindex mit Inangriffnahmekorrektur?
bei zeitbegrenzten Leistungstests, mit hohem Anteil fehlender Werte, kann bei der Formel statt des gesamten N im Nenner auch NB für die Anzahl einsetzen, die das Item überhaupt bearbeitet haben.
Wie wird eine Ratingskala Transformiert und die schwierigkeitsanalyse durchgeführt?
1. Die Antwortskala der Ratingskala wird so transformiert, dass das theoretische Minimum den Wert Null annimmt (= null richtige Lösungen)
2. Danach wird die Schwierigkeit mit der Formel berechnet - Schwierigkeitsindex ohne Korrektur, darauf achten,dass die transformierten Werte benutzt werden!
Wann hat die Zahl der theoretisch möglichen Entscheidungen ( und damit die Informatinshaltigkeit eines Items) ihr theoretisches Maximum erreicht?
bei mittlerer Schwierigkeit?
Welchen Wert hat einItem, dass alle/ keine Probanden lösen können?
es enthält keine empirische Information und ist damit wertlos.
Welcher Zusammenhang besteht zwischen Itemschwierigkeit und Informationshaltigkeit?
Der Zusammenhang ist umgekehrt u-förmig mit dem Maximum in der Mitte
Wie lautet die Fausregel dafür, ab welchen Schwierigkeitsindizes Items besser eliminiert werden sollten?
es gibt verschiedene Faustregeln ( unter 20 und über 80 % oder unter 10 und über 90)
Aber alle sind mit Vorsicht zu genießen.
Warum sind Faustregeln ab welchen Schwierigkeitsindizes Items eliminiert werden sollen, mit Vorsicht zu genießen?
1. Die Lösungswahrscheinlichkeit hängt annahmegemäß von der individuellen Ausprägung des gemessenen Merkmals ab.
2. Die Schwierigkeit sagt nur etwas über die maximal in einem Item enthaltene Information aus, dagegen nicht über die tatsächliche Informationshaltigkeit.
Welcher Faktor der Big-Five ist Gegensatz zu den anderen Faktoren nicht besser im oberen Mermalsbereich differenziert?
Neurotizismus, ausserdem ist er als einziger Faktor mit negativer sozialer Wertigkeit belegt.
Was ist Eigentrennschärfe?
- In der KTT der wichtigste Indikator dafür, wie gut jedes einzelne Item das zugrunde liegende Merkmal abbildet
- sie stellt die korrigierte Korrelation einer Aufgabe mit einer Skala dar
- sie drückt aus. Wie gut ein Item eine Skala, die Us den restlichen Items gebildet wird, widerspiegelt/wie prototypisch ein Item für diese Skala ist.
Was ist Fremdtrennschärfe?
Es sind Korrelationen von Items mit den Skalen oder Testwerten anderer Fragebögen oder mit Kriterien.
Werden besonders für externale Skalenkonstruktionen herangezogen
Wie hängen Trennschärfeanalyse und Validitätsprüfung zusammen?
Trennschärfeanalyse ersetzt nicht die Validitätsprüfung
Validität ist Voraussetzung für Trennschärfeanalyse
Warum ist vor der Berechnung der Trennschärfe eine Part-whole-Korrektur nötig?
-das Betreffende Item würde sonst mit in den Skalanwert eingehen, was zu einer Überschätzung der Trennschärfe führen würde.
- ohne Part-whole -Korrektur ginge ein Teil der Skalenstreuung auf das entsprechende Item zurück, mit dem die Skala korreliert wird.
Wodurch wird der unkorrigierte Wert, der eine partielle Eigenkorrelation darstellt, umso größer?
1. Je kürzer die Skala ist
2. Je heterogener eine Skala ist ( = je geringer die Items im Mittel untereinander korrelieren
Was ist negative Trennschärfe?
ein Item korreliert mit der Gesamtskala entgegen der erwarteten Richtung
Welche folgen hat negative Trennschärfe?
es kann als ein sicheres Ausschlusskriterium für das betroffene Item gelten. Voraussetzt, das Item wurde vor Durchführung der Trennschärfeanalyse korrekt gepolt.
Wie wird die Trennschärfe bei Ratingskalen berechnet?
Die Produkt-Moment-Korrelation nach Part-Whole-Korrektur
(Korrekturformel Seite 69. )
