978-3-642-20071-7, Kapitel 4

Die Produkt-Moment-Korrelatio bestimmt die Trennschärfe bei einem Item und Skala, welches intervallskaliert ist

Die Punktbiseriale-Korrelation

Siehe Bild

Dass die Itemhomogenität gewährleistet ist; sonst ensteht das Problem der Autokorrelation bei der Berechnung der Trennschärfe: Der Wert des Items geht zweimal in die Berechnung ein, d.h. die Trennschärfe wird erhöht

Dieses Problem kann mit der Teil-Ganz-Korrektur (Part-whole-Korrektur) behoben werden

-Steigende Anzahl der Items, Abnahme des Einflusses der Korrektur

-Homogenität der Skala

Siehe Bild

(Wird bei der Bestimmung der Trennschärfe von Dichotomen Items angewandt)

Gemäss Buch ist eine Trennschärfe zwischen .40 und .70 "gut"

Je höher die Trennschärfe eines Items, desto mehr wird das Item von Probanden mit hohem Testwert gelöst / symptomatisch beantwortet (Item misst, was der Test messen sollte)

Negative Trennschärfe bedeutet, dass das Item von Probanden mit niedrigen Testwerten gelöst / symptomatisch beantwortet wurde (Item misst nicht, was der Test messen sollte)

Eine hohe Itemvarianz begünstigt eine hohe Trennschärfe

1. Hohe Trennschärfen setzen hohe Item.Interkorrelationen voraus

2. Die Variation von Itemschwierigkeiten führt zu einer Abnahme der Interkorrelationen (Homogenität) zwischen den Items und zu einer Abnahme der Trennschärfe 

Verschiedene Items messen verschiedene Facetten; Homogenität drückt aus, wie stark sich diese Items überlappen, inwiefern also diese Items eines Tests diesselben Eigenschaften erfassen

Homogenität ist Voraussetzung für eine hohe Trennschärfe, aber nicht für einen Test!

Durch die Berechnung der Interkorrelation; Mittelwert der Korrelation entspricht der Homogenität

Homogene Items laden auf denselben Faktor vergleichsweise hoch

1. Perspektiven (Konstrukt, Zumutbarkeit, Effizienz)
2. Statistische Kriterien (Reliabilität, Validität, Schwierigkeitsindex, Trennschärfe)
3. Inhaltliche Kriterien

1. Item bei Trennschärfe unter .30 i.d.R eliminieren
2. bei zu hoher oder niedriger Schwierigkeit ebenfalls eliminieren
3. Ebenfalls bei einer deutlich niedrigeren Streuung als andere Items
4. Häufen sich die Items in einem unerwünschten Schwierigkeitsbereich an (z.B. 60 < P_i < 80)?
5. Powertest: Sind schwierige und leichte Items im gleichen Umfang vorhanden
6. Sind die Übergänge von Einfach zu Schwierig nicht zu gross?

1. Analyse der Itemschwierigkeit
2. Bestimmung der Itemvarianzen
3. Trennschärfeanalyse der Items
4. Itemselektion und Testrevision
5. Testwertermittlung
6. Bestimmung der Testvertverteilung und ggf. Normalisierung

Der Schwierigkeitsindes P_i eines Items ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der maximal erreichbaren Punktsumme, multipliziert mit 100

Durch die Multiplikation mit 100 erhält man stets einen Wertebereich von 0 bis 100. Je höher die Zahl, desto einfacher die Aufgabe.

Daher gilt eher: Schwierigkeitsindex = "Leichtigskeitsindex"

Im Zähler müssen von jeder erreichten Antwort jedes einzelnen Probanden, die minimal erreichbare Punktezahl abgezogen werden (also z.B. -1)

Im Nenner muss von der maximal möglichen Punktsumme aller n Probanden, die minimal mögliche Punktsumme aller n Probanden abgezogen werden

n_R, n_F, n_A und n_U : Der Niedergestellte Buchstabe bezeichnet jeweils die Antwort der n Probanden:

R= Richtig beantwortet, F= Falsch, A= Ausgelassen, U= Unbeantwortet

Wenn mann diese vier Elemente addiert, zeigt die Summe die Anzahl Probanden an, welche dieses Item bearbeitet haben

nB setzt sich wie folgt zusammen: n_R + n_F + n_A = n_B

Es drückt aus, wie viele Probanden die Aufgabe bearbeitet haben (egal ob richtig, falsch oder ausgelassen)

Um die Schwierigkeit eines Items in einem Speedtest zu bestimmen werden die Anzahl richtigen Antworten im Item mit 100 mulltipliziert und anschliessend durch die Summe der richtigen, faschen und ausgelassenen Antworten bei diesem Item dividiert.

Die Unbeantworteten Fragen werden nicht miteinbezogen, um die Schwierigkei nicht zu überschätzen

Der Test wird ohne Zeitbeschränkung gemacht; d.h. der Proband hat die Aufgabe nicht mangels Zeit, sondern aufgrund der Schwierigkeit ausgelassen

Die Anzahl richtigen Antworten werden mit 100 multipliziert und anschliessend durch die Anzahl aller Probanden geteilt.

Von der Anzahl richtiger Antworten wir der Quotient der Anzahl falscher Antworten und Anzahl Antwortalternativen minus eins subtrahiert; dieses Ergebnis wird wieder mit 100 multipliziert und alles durch die Anzahl Probanden dividiert

1. Bei MC-Tests mit mehr als vier Antwortalternativen
2. Bei Persönlichkeitstests

Bei der Itemanalyse eines Persönlichkeitstests wird zwischen symptomatischer und unsymptomatischer Antwort unterschieden. Eine Zustimmung bedeutet in der Regel Symptomatisch, eine gewisse Merkmalsausprägung zu besitzen, auser bei invertierten Items (umgepolte Items)

Die Summe der Anzahl richtigen Antworten (in diesem Fall symptomatischen Antworten) wird mit 100 multipliziert und anschliessend durch die Anzahl Probanden die dieses Item bearbeitet haben dividiert

(Formel Analog zu Schwierigkeitsindex bei Niveautest ohne Berücksichtigung des "Problems des Ratens")

Die Anzahl erreichte Punkte in einem Item über alle Probanden hinweg multipliziert mit 100, dividiert durch die Anzahl maximal möglicher Punkte über alle Probanden hinweg