Modul 2- VL 4

VL 4

0.0 (0)

B. F.

Study

B. F.

About these flashcards

Diese Lernkarten behandeln die Itemanalyse in der psychologischen Testtheorie auf Universitätsniveau. Sie erläutern die Bedeutung von Items, Itemschwierigkeit, Itemvarianz und Trennschärfe für die Bewertung von Testitems. Die Karteikarten zeigen, wie diese Konzepte zur Qualitätsbeurteilung und Verbesserung von Messinstrumenten beitragen. Sie richten sich an Studierende und Forscher, die psychologische Tests entwickeln und auswerten, um die Validität und Reliabilität ihrer Instrumente zu gewährleisten.

Flashcards

Students

Language

German

Flashcards

VL 4 Normalisierung

Was ist richtig?

Die Verteilung der Testwerte kann durch Transformation an Normalverteilung angenähert werden

Die Annahme von Normalverteilung in der Population muss für eine Normalisierung gerechtfertigt sein.

Normalisierung durch Logarithmierung (bei rechtsschiefer Verteilung)

Normalisierung durch Logarithmierung (bei linksschiefer Verteilung)

Normalisierung durch Flächentransformation

VL 4 Ursachen für Abweichungen von der Normalverteilung

Welche gibt es?

Mangelhafte Konstruktion des Tests

Aufgaben sind bei linksschiefer Verteilung zu leicht

Heterogene Stichprobe

Stichprobe aus zwei normalverteilten Substichproben bestehen

Nicht normalverteiltes Merkmal in der Population

VL 4 Testwertverteilung

Was ist korrekt bzgl. Schiefe und Exzess?

Abweichung von Normalverteilung

Rechtsschiefe (> 0) Verteilung

Linksschiefe (< 0) Verteilung 

Flache (< 0) Verteilung

Spitze (> 0) Verteilung

VL 4 Testwertverteilung

Welche Streuungsmaße gibt es?

Varianz

Standardabweichung

Spannweite (Range) 

Interquartilsabstand  

Konfidenzintervall

VL 4 Testwertverteilung

Was ist korrekt bzgl. der zentralen Tendenz?

Arithmetischer Mittelwert

Median (Testwert, der die Stichprobe in zwei gleiche Hälften teilt)

Modalwert (häufigster Testwert)  

Der Mittelwert ist erwartungstreu

Der Median ist erwartungstreu

VL 4 Testwertermittlung

Was ist richtig?

Nach Selektion der geeignetsten Items kann für jede Person ein Testwert durch Skalenbildung ermittelt werden

Nach Selektion der geeignetsten Items kann für jede Person ein Testwert durch Summenbildung ermittelt werden

Zur Testwertermittlung wird Intervallskalenniveau vorausgesetzt.

Zur Testwertermittlung wird eine hohe Reliabilität vorausgesetzt.

Will man zwischen Probanden mit extremen Merkmalsausprägungen differenzieren werden Items mit hoher oder niedriger Schwierigkeit einbezogen.

VL 4 Itemselektion und Testrevision

Simultane Berücksichtigung der Itemschwierigkeit, Itemvarianz und Itemtrennschärfe

Faustregel aus Sicht der Deskriptivstatistik:  

Möglichst hohe Trennschärfen (Priorität!)  

Möglichst hohe Itemvarianzen  

Möglichst niedrige Korrelationen

Möglichst gleichmäßig verteilte Itemvarianzen

Möglichst gleichmäßig verteilte Itemschwierigkeiten zwischen 5 und 95

VL 4 Interpretation der Trennschärfe

Was ist korrekt?

Liegt die Trennschärfe nahe bei 1, wird das Item von Probanden mit hoher Merkmalsausprägung gelöst bzw. zustimmend beantwortet

Liegt die Trennschärfe nahe bei 1, wird das Item von Probanden mit niedriger Ausprägung nicht gelöst.

Liegt die Trennschärfe nahe bei 0 ist das Item ungeeignet, zwischen Personen mit hoher und niedriger Ausprägung zu unterscheiden.  

Liegt die Trennschärfe nahe bei -1 wird das Item wird von Probanden mit niedriger Merkmalsausprägung gelöst

Eine Trennschärfe von .4 bis .7 gilt als mittelmäßig.

VL 4 Itemtrennschärfe

Was ist richtig?

Die Trennschärfe rit drückt aus, wie groß der korrelative Zusammenhang zwischen den Itemwerten xvi und den Testwerten xv der Probanden ist. Der Testwert xv eines Probanden v wird als Zeilensumme sämtlicher Itemwerte xvi des Probanden gebildet.

Die Trennschärfe kann als Korrelation Werte zwischen -1 und 1 annehmen

Die Trennschärfe wird durch eine niedrige Itemvarianz begünstigt  

Zur Bestimmung des Testwerts wird das betrachtete Item häufig weggelassen, um die Trennschärfe nicht zu überschätzen („part-whole-correction“)  

Voraussetzung ist, dass alle Items dasselbe Merkmal messen.

VL 4 Zusammenhang zwischen Itemschwierigkeit und Itemvarianz

Was ist richtig?

Der Zusammenhang zwischen Itemvarianz und Itemschwierigkeit ist kurvenlinear.

Die Itemvarianz hat ihr Maximum bei hoher Itemschwierigkeit.

Bei dichotomen Items wird die größte Differenzierung bei einer Itemschwierigkeit von Pi = pi · 100 = 50 erreicht.

Die Itemschwierigkeit nimmt zu den beiden extremen Ausprägungen hin (sehr niedrig, sehr hoch) stark ab.

Bei dichotomen Items liegt bei Pi = 0 sowie bei Pi = 100 keine Differenzierung mehr vor.

VL 4 Itemvarianz

Was ist vollständig richtig?

Die Itemvarianz ist die Differenzierungsfähigkeit eines Items hinsichtlich der Probandenstichprobe

Die Itemvarianz ist begrenzt durch die Itemschwierigkeit

Bei hoher Schwierigkeit ist die Differenzierungsfähigkeit gering

Bei niedriger Schwierigkeit ist die Differenzierungsfähigkeit gering

Bei hoher und niedriger Schwierigkeit ist die Differenzierungsfähigkeit gering

VL 4 Itemschwierigkeit bei Persönlichkeitstests

Was ist richtig?

Es gibt zwar keine „richtigen“ oder „falschen“ Antworten, aber bei der Testkonstruktion wird festgelegt, welche Antwort als „symptomatisch“ für eine hohe Ausprägung des Merkmals gilt

In der Regel spricht „Zustimmung“ für eine niedrige Merkmalsausprägung  

Eine Ausnahme stellen „invertierte“ Items dar, bei denen Verneinung für eine höhere Merkmalsausprägung spricht  

Invertierte Items müssen vor der Itemanalyse „umgepolt“ werden

Der Schwierigkeitsindex entspricht bei Umpolung dem Anteil »symptomatischer« Antworten an allen n Antworten

VL 4 Itemschwierigkeit bei Leistungstests

Was ist FALSCH?

Bei Powertests werden richtige (R = 1) und falsche (F = 0) Antworten sowie ausgelassene (A = 0) Aufgaben unterschieden

Der Schwierigkeitsindex ist bei Leistungstests definiert als Summe der Probanden mit richtigen Antworten.

Bei Speedtests müssen aufgrund des Zeitlimits unbearbeitete Aufgaben (U) abgegrenzt werden

Der Schwierigkeitsindex bezieht sich bei Speedtests im Nenner nur auf die Anzahl der Probanden, die das Item auch bearbeitet haben (nR + nF + nA)

Ggf. sollte eine Ratekorrektur auf den Schwierigkeitsindex angewendet werden (zur Kontrolle von zufällig richtigen Antworten)  

VL 4 Itemschwierigkeit

Die Werte liegen zwischen 0 und unendlich 

Umso größer der Wert, je mehr Probanden lösen ein Item bzw. je eher stimmen sie zu

Die Größe kennzeichnet also eigentlich die „Leichtigkeit“ eines Items

Die deskriptivstatistische Itemschwierigkeit darf nicht verwechselt werden mit dem Schwierigkeitsparameter aus der Item- Response-Theorie

Der Schwierigkeitsindex Pi eines Items i ist das Maß der Schwierigkeit.

VL 4 Itemschwierigkeit

Welche Aussagen sind korrekt?

Der Schwierigkeitsindex Pi eines Items i ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der maximal erreichbaren Punktsumme multipliziert mit 100.

Damit kennzeichnet die numerische Höhe des Schwierigkeitsindex Pi eigentlich die »Leichtigkeit« des Items i.

Der Schwierigkeitsindex der Itemanalyse kann nicht vom Schwierigkeitsparameter der Item Response Theorie unterschieden werden.

Der Schwierigkeitsindex ergibt sich allgemeiner ausgedrückt aus der obigen Formel.

Wenn der Wertebereich der Itemantworten auf Item i nicht bei 0 beginnt (sondern z.B. bei 1 aufgrund der Verwendung einer Ratingskala ohne 0), muss das potentiell erreichbare Minimum einer Itemantwort auf Item i, min(xi), von jeder realisierten Itemantwort

VL 4 Itemanalyse

Welche Aussagen sind korrekt?

Unter Itemanalyse versteht man die deskriptivstatistische Auswertung der Items basierend auf einer möglichst repräsentativen Stichprobe

Die Itemanalyse ermöglicht eine erste Qualitätsbeurteilung des neu entwickelten Messinstruments

Die Abschätzung des erforderlichen Verbesserungsbedarfs der Items wird durch die Itemanalyse möglich

Die Itemanalyse ist eine erschöpfende Analyse für die Items des Tests.

Die Itemanalyse sollte durch weitere Analysen, z.B. hinsichtlich Gültigkeit des Messmodells, ergänzt werden.

Study

Modul 2- VL 4

Create or copy sets of flashcards

Flashcards

Please log in

Google

Apple ID

Microsoft

Switch edu-ID

Edulog

Google

Apple ID

Microsoft

Switch edu-ID

Edulog