03421- Kapitel 3
Grundlangen der Testkonstruktion Kapitel 3 Itemanalyse: Kürzung und Revision des Entwurfs
Grundlangen der Testkonstruktion Kapitel 3 Itemanalyse: Kürzung und Revision des Entwurfs
Set of flashcards Details
Flashcards | 79 |
---|---|
Students | 14 |
Language | Deutsch |
Category | Psychology |
Level | University |
Created / Updated | 17.09.2015 / 06.09.2023 |
Weblink |
https://card2brain.ch/box/03421_kapitel_3
|
Embed |
<iframe src="https://card2brain.ch/box/03421_kapitel_3/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Create or copy sets of flashcards
With an upgrade you can create or copy an unlimited number of sets and use many more additional features.
Log in to see all the cards.
In welchem Wertebereich liegt der Logit- Wertebereich der Personen- und Itemparameter?
- theoretisch zwischen plus und minus unendlich
- in der Regel zwischen plus und minus drei
- negative Werte kennzeichnen leichte Items oder Personen mit geringen Fähigkeiten
- positive Werte kennzeichnen schwere Items (von wenigen Personen gelöst oder geringe Zustimmung) oder Personen mit höherer Fähigkeit
Warum ist es plausibel, dass Personen- oder Itemparameter einen Wertebereich von plus und minus unendlich besitzen?
- es gibt unendlich viele Möglichkeiten, Items zu konstruieren
Was ist die ICC (Item Characteritic Curve)?
- Personen- und Itemparameter besitzen nun dasselbe Skalenniveau und dieselbe Einheit
- können dadurch additiv (Additivität, genauer gesagt subtraktiv) verknüpft werden.
- die Lösung eines Items wird immer wahrscheinlicher, je weiter die Fähigkeit oder Eigenschaftsausprägung die Itemschwierigkeit übersteigt: θ - σ
- die Beziehung zwischen Itemlösungswahrscheinlichkeit sowie Fähigkeits- oder Eigenschaftsausprägung und Itemschwierigkeit ist dabei eine logistische Funktion
- eine logistische Funktion zwischen Itemlösungswahrscheinlichkeit und den Parametern im Modell anzunehmen ist psychologisch und mathematisch sehr plausibel
- man bezeichnet diese logistischen Funktionen für ein Item auch als Item-Characteristic-Curve (ICC).
Wie kann man die im Studienbrief angegebene ICC interpretieren?
In Abbildung 3.15 ist auf der Y-Achse die Itemlösungswahrscheinlichkeit aufgetragen und auf der X-Achse die gemeinsame Einheit von Personen- und Itemparameter. Die Itemschwierigkeit kann man ermitteln, indem man von der Y-Achse bei 0.5 nach rechts geht bis zur logistischen Funktion für das erste Item und dann von diesem Schnittpunkt ein Lot auf die X-Achse fällt.
Formel für die Lösungswahrscheinlichkeit für ein dichotomes Item im Rahmen des Rasch- Modells bei gegebenem Item- und Personenparameter?
p(Xvi = x) = Wahrscheinlichkeit einer Person v, bei Item i die Antwortka-tegorie x zu wählen
θv = Personenparameter für eine Person v
σi = Itemparameter eines Items i
Exp = Exponentialfunktion
xvi = Wert einer Person v auf dem Item i (im dichotomen Fall: 0 für „falsch gelöst" und 1 für „richtig gelöst")
Was ist der grafische Modelltest?
- durch Modelltests wird festgestellt, obdas Rasch-Modell durch die Daten abgelehnt werden muss
- die einfachste Methode stellt der Grafische Modelltest dar
- es handelt sich um ein Streudiagramm,in dem die geschätzten Itemparameter aus zwei Stichproben dargestellt werden
- In einem Intelligenztest kann beispielsweise die Stichprobe am Median der Testleistung in zwei Stichproben mit überdurchschnittlichem und unterdurchschnittlichem Summenwert eingeteilt werden
- Die Schätzung der Itemparameter sollte dabei unabhängig von der Teilstichprobe sein
- auf der X- und Y-Achse sind die Logit-Einheiten der Itemparameter für die jeweiligen beiden am Median des Summenwerts geteilten Stichproben aufgetragen. Die ansteigende Linie im Diagramm zeigt die Regressionsgerade der Parameter einer Teilstichprobe auf die andere
- Im Idealfall liegen die Schätzungen der Itemparameter in beiden Stichproben auf der Regressionsgeraden und diese fällt mit der Winkelhalbierenden zusammen. Dies ist im Beispiel nur annähernd der Fall. So beträgt etwa die Abweichung der Parameterschätzungen für Item 11 für beide Gruppen ungefähr .50, während für Item 7 beide Schätzungen fast identisch sind.
Welche Nachteile hat der grafische Modelltest?
- es handelt sich nicht um einen Signifikanztest
Welche Annahmen treffen zu, wenn das Rasch- Modell durch einen Modell- Test NICHT abgelehnt wird?
- Die Lösungswahrscheinlichkeit wird durch eine logistische Funktion beschrieben.
- Summenwerte sind suffiziente oder erschöpfende Statistiken der Personenfähigkeit.
- Vergleiche zwischen Items und Personen sind spezifisch objektiv.
- Items sind – abgesehen von wenigen Ausnahmen – eindimensional (die Forderung der lokalen stochastischen Unabhängigkeit der Items ist erfüllt).
Welche Annahme wird häufig noch formuliert, wenn das Rasch- Modell durch Modelltests nicht abgelehnt wird?
- dass alle Items die gleiche Trennschärfe besitzen
- Diese Annahme ist jedoch nur im Rahmen des dichotomen Rasch-Modells notwendig und ist eine Grundvoraussetzung für erschöpfende Statistiken
- Für ordinale Rasch-Modelle (mehr als zwei geordnete Antwortalternativen, z.B. Likert-Skala) sind gleiche Itemtrennschärfen nicht zwingend, dafür jedoch geordnete Antwortschwellen.
Welches Modell der PTT ist eine Erweiterung des Rasch- Modells?
2- Parameter- Modell, auch Birnbaum- Modell
- enthält einen Trennschärfe- Parameter
Formel des 2- Parameter- Modells?
p(Xvi = x) = Wahrscheinlichkeit einer Person v, bei Item i die Antwortka-tegorie x zu wählen
θv = Personenparameter für eine Person v
σi = Itemparameter eines Items i
Exp = Exponentialfunktion
xvi = Wert einer Person v auf dem Item i (im dichotomen Fall: 0 für „alsch gelöst" und 1 für „ichtig gelöst")
βi = Trennschärfeparameter von Item i
Als was ist die Itemschwierigkeit definiert?
- Die Itemschwierigkeit ist definiert als die Stelle auf der x-Achse, an der die Lösungswahrscheinlichkeit .50 ist.
- lässt sich grafisch ermitteln, indem man von einer Lösungswahrscheinlichkeit von .50 auf der y-Achse eine Linie zu der entsprechenden ICC zieht und dann ein Lot von dem ICC-Schnittpunkt auf die x- Achse fällt
Welche negativen Konsequenzen haben unterschiedliche Trennschärfen für die Berechnung der Itemparameter?
- die unterschiedlichen Trennschärfen müssen zusätzlich geschätzt werden und erhöhen so die Anzahl der zu schätzenden Parameter
- geht auf Kosten der Schätzgenauigkeit
- ungewichtete Summenwertbildung nicht mehr zulässig, da wegen unterschiedlicher Trennschärfen eine Gewichtung mit der Itemtrennschärfe vorgenommen werden müsste
- daher wird im dichotomen Rasch-Modell die Annahme gemacht, dass alle Trennschärfen gleich sind.
Was versteht man unter einer Irrtumswahrscheinlichkeit?
- dass eine Person trotz hoher Fähigkeit ein im Verhältnis zu ihrer Fähigkeit leichteres Item mit einer kon-stanten Wahrscheinlichkeit nicht löst
Wie werden die Items auf Verständlichkeit und Eindeutigkeit geprüft, wenn die erste Rohfassung des Tests vorliegt?
- Pretest
Warum kann es Probleme mit der Aktzeptanz von Items geben?
Items werden als
- invasiv
- belastend
- oder aus anderen Gründen inakzeptabel empfunden
Wie können mögliche Probleme mit der Akzeptanz von Items erfasst werden?
- qualitative Erhebung mit der Möglichkeit, Kommentare abzugeben
- hier genügt eine kleine Stichprobe, deren Mitglieder aber zur Zielgruppe des Tests gehören sollen
Was kann erfolgen, nachdem missverständliche Items identifiziert, eleminiert oder ggf. umgeschrieben wurden?
- quantitative empirische Prüfung der Vorform des Tests in einem größeren Rahmen
Wofür werden empirische Kennwerte für die einzelnen Items genutzt?
- Unterschiede in den Messeigenschaften einzelner Items zu identifizieren
- zur Kürzung der Vorform des Tests
- Eleminierung weniger geeigneter Aufgaben
Welche Kennwerte für Items werden in der KTT an erster Stelle verwendet?
Itemschwierigkeit
Itemtrennschärfe
Was ist der BFI?
- Big Five Inventory
- kurzes Inventar zur Messung des Fünf- Faktoren- Modells der Persönlichkeit
- 44 Items
- jeweils zwischen 7 und 10 Items für die Persönlichkeitsdimensionen
- Neurotizismus, Extraversion, Offenheit für Erfahrungen, Verträglichkeit, Gewissenhaftigkeit
- fünfstufige, bipolare Ratingskala zur Beantwortung
- von "trifft überhaupt nicht auf mich zu" bis "trifft sehr gut auf mich zu"
- es handelt sich im Grunde um einen rational konstruierten Test zur Messung eines faktorenanalytisch begündeten Persönlichkeitsmodells
- Übereinstimmung mit anderen Inventaren zur Messung der Big Five ist hoch
Die Items des BFI sind unterschiedlich gepolt. Was bedeutet das?
- hohe Werte stehen manchmal für hohe, manchmal für niedrige Ausprägungen des jeweiligen Merkmals
- bevor Berechnungen mit den Daten durchgeführt werden, sollten die Items rekodiert werden, so dass sämtliche Items gleich gepolt sind
Welcher Befehl wird in SPSS verwendet, um Items zu rekodieren?
- TRANSFORMIEREN -> UMKODIEREN IN DIE-SELBEN VARIABLEN
- (wer einen Datensatz mit originaler Polung erhalten will, kann auch UMKODIEREN IN ANDERE VARIABLEN wählen). Es öffnet sich das in Abb. 3.1 gezeigte Fenster. In unserem Datensatz kennzeichnet der erste Buchstabe jedes Items die Dimension des Fünf-Faktoren-Modells, zu der das Item gehört (z.B. „e" für Extraversion). Umgepolte (invertierte) Items sind jeweils am Ende durch ein „i" gekennzeichnet. Diese Items werden in die Liste NUMERI-SCHE VARIABLEN verschoben (Abb. 3.1). Anschließend wird über den Befehl ALTE UND NEUE WERTE die Rekodierung spezifiziert. Es öffnet sich das Fenster in Abb. 3.2, in dem für jeden alten Wert (z.B. 5) der jeweils entsprechend umkodierte neue Wert (hier 1) definiert und durch den Befehl HINZUFÜGEN in die Liste ALT -> NEU aufgenommen wird. Durch den Befehl WEITER gelangt man zurück zum vorigen Menü, wo die Rekodierung jetzt durchgeführt werden kann.
Welcher Befehl wird in SPSS verwendet, um Items zu rekodieren?
- TRANSFORMIEREN -> UMKODIEREN IN DIE-SELBEN VARIABLEN
- (wer einen Datensatz mit originaler Polung erhalten will, kann auch UMKODIEREN IN ANDERE VARIABLEN wählen). Es öffnet sich das in Abb. 3.1 gezeigte Fenster. In unserem Datensatz kennzeichnet der erste Buchstabe jedes Items die Dimension des Fünf-Faktoren-Modells, zu der das Item gehört (z.B. „e" für Extraversion). Umgepolte (invertierte) Items sind jeweils am Ende durch ein „i" gekennzeichnet. Diese Items werden in die Liste NUMERI-SCHE VARIABLEN verschoben (Abb. 3.1). Anschließend wird über den Befehl ALTE UND NEUE WERTE die Rekodierung spezifiziert. Es öffnet sich das Fenster in Abb. 3.2, in dem für jeden alten Wert (z.B. 5) der jeweils entsprechend umkodierte neue Wert (hier 1) definiert und durch den Befehl HINZUFÜGEN in die Liste ALT -> NEU aufgenommen wird. Durch den Befehl WEITER gelangt man zurück zum vorigen Menü, wo die Rekodierung jetzt durchgeführt werden kann.
Welche Optionen stehen für die Ausführung von SPSS- Befehlen zur Verfügung?
- mit dem Befehl OK wird die jeweilige Berechnung unmittelbar ausgeführt und das Ergebnis in der SPSS-Ausgabe angezeigt
- mit der Option EINFÜGEN wird der Befehl zunächst in ein SPSS-Syntax-Dokument geschrieben, wo er jederzeit markiert und durch Anklicken des Buttons ausgeführt werden kann.
- empfohlen wird die zweite Option, da nur so die Aktionen nachvollziehbar sind und Fehler ggf. vor der Ausführung korrigiert werden können
Welche Kennwerte zur Kennzeichnung von von univariaten Verteilungseigenschaften lassen sich - in Abhängigkeit vom Skalenniveau- auch für Items eines Tests berechnen?
- zentrale Tendenz (Mittelwert, Median, Modus)
- Streuung (Varianz, Perzentile, Streubreite)
- Form der Verteilung (Schiefe, Exzess)
Wiederholung Statistik- Was ist der Modus oder Modalwert?
- die Merkmalsausprägung mit der größten Häufigkeit
- auch anwendbar bei Merkmalen, deren Ausprägungen nur Kategorien sind
- x mod
Wiederholung Statistik- Was ist der Median?
- der mittlere Wert eines geordneten Datensatzes
- auch Zentralwert genannt
- nur bei mindestens ordinalskalierten Merkmalen anwendbar
- bei ungeradem n ist der Wert eindeutig bestimmt
- bei geradem n und ordinalskaliertem Merkmal nicht eindeutig bestimmbar
- bei geradem n und metrisch skaliertem Merkmal wird aus den beiden zentralen Werten der MIttelwert gebildet
- x med oder x Schlange
Wiederholung Statistik- Was ist der Mittelwert?
- ergibt sich, indem man alle Werte eines Datensatzes addiert und das Ergebnis durch n teilt
- nur bei metrisch skalierem Merkmal anwendbar
- auch arithmetisches Mittel genannt
- x quer
-
- 1 / 79
-