Testtheorie und Fragebogenkonstruktion

(0,8 / 4) * 100 = 20 %

=> spricht für eine eher schwieriges Item

Berechnung ohne Ratekorrektur:
(15/20) * 100 = 75%

Berechnung mit Ratekorrektur: k=2
{[15-(5 / 2-1)] / 20 } *100 = 50%

nb = nR + nF + nA
nb = 60 + 10 + 4 = 74

p_i = (nR / nb) * 100 = 81%

=> leichtes Item

 

Itemselektion aufgrund der Faktorladung
Bei der Faktorenanalyse werden Faktoren erzeugt. Latente Merkmale werden in Faktoren zerlegt. Die Ladung ist eine Korrelation und drückt aus, wie stark das Item auf den Faktor läd. => Ladung = Korrelation zwischen Item und Faktor

Homogenität im Sinne der Faktorenanalyse

• Passung zur Annahme einer eindimensionalen Faktorenstruktur => Erklärung der Itemkovariation durch eine gemeinsame Fatorvariable.

Selektion nach Faktorladung

• hohe Faktorladung indiziert einen starken Zusammenhang zwischen dem Item und dem Faktor => d.h. die Itemantworten werden in hohem Maße durch Faktorenwerte beeinflusst.
• Items mit hoher Faktorladung werden in den Test aufgenommen.

• Einschätzung der Messgenauigkeit mittels der Reliabilitätsanalyse
• Itemselektion: Items können ausgeschlossen werden, wenn damit eine Steigerung der Reliabiltät (Homogenität) erreicht werden kann, dabei sollte die Itemzal beachtet werden

Leistung mit Zeitbegrenzung (Speedtests)

• Aufgaben werden gelöst
• Aufgaben werden nicht gelöst
• Aufgaben werden übersprungen/ausgelassen
• Aufgaben werden nicht mehr in Angriff genommen, weil die Bearbeitungszeit endete

Um die Itemschwierigkeit nicht zu überschätzen, soll die Zahl der gelösten Aufgaben ins Verhältnis gesetzt werden zur Zahl der Probanden, die dieses Item überhaupt bearbeitet haben - und nicht zur Gesamtzahl aller Probanden.

• Metaphysische Sichtweise: Natürlicher, festliegender Wert der Person v hinsichtlich der in Test g gemessene Eigenschaft
• Operationale Sichtweise: Mittelwert (unendlich) vieler Testreplikationen von Person v
• Theoretische Sichtweise: Erwartungswert der Testrealisation von Person v als stochastischer Prozess

=> Messfehlertheorie

Einige Überlegungen

• X_vg bezeichne das beobachtete Testergebnis von Person v in Test g
• Jede Beobachtung ist durch Situationseinflüsse etc. beeinflusst
• Eine Beobachtung X_vg setzt sich somit aus stabilen und vorübergehenden Einflüssen zusammen.
• Daher stellt X_vg einen stochastischen Prozess dar, bei dem die möglichen Werte x_vg mit einer bestimmten Wahrscheinlichkeit auftreten.

1. Existenzaxiom: \(τ \)_vi= E(x_vi)

2. Verknüpfungsaxiom: x_vi = \(τ\)_{vi +} \(ε\)_vi

_=> Aus dem Existenz- und dem Verknüpfungsaxiom folgt, dass E(\(ε\)_vi) = 0

3. Unabhängigkeitsaxiom: Da der Erwartungswert des Zufallsfehler \(ε\)_vi = 0, folgt Corr(\(τ\)_vi,\(ε\)_vi) = 0

Diese Zusatzannahmen sind notwendig, um die Reliabilität von Tests schätzen zu können.

a. Unabhängigkeit der Messfehler zwischen Items: Corr(\(ε\)_vi,\(ε\)_vj) = 0

b. Unabhängigkeit der Messfehler zwischen Personen: Corr(\(ε\)_vi,\(ε\)_wi) = 0

• Um den Messfehler zu neutralisieren, werden wiederholt Messungen durchgeführt
• Die Items, auf denen die Wiederholungsmessungen basieren, müssen das gleiche Merkmal messen
• Der gemittelte Wert dient als Schätzer für den wahren Wert, denn es gilt, dass E(x_v) = \(τ\)_v
• _{Testwert einer Person (der sich aus der Summe der Erwartungsewrte der Itemwerte zusammensetzt) ist eine Schätzung des wahren Wertes einer Person}

• Bei der Bestimmung des wahren Werts handelt es sich nur um eine Schätzung
• Bestimmung des Standardmessfehlers -> Ausdruck der Unsicherheit über den „wahren Wert“ des geschätzten wahren Werts
• Standardmessfehler dient zur Berechnung von Konfidenzintervallen
• Zur Berechnung des Standardmessfehlers muss die Gesamtvarianz der Testwerte zerlegt werden in die wahre Varianz und Fehlervarianz

Varianzzerlegung
Var (x) = Var (τ + ε)
Var (x) = Var (τ) + Var (ε) + 2 ⋅ Cov (τ, ε)

Aber: Korrelation zwischen wahren Werten und Fehler ist null: Var (x) = Var (τ) + Var (ε)

Doch wie können die beiden unbekannten Varianzen geschätzt werden?

Die Messgenauigkeit eines Tests lässt sich im Rahmen der KTT mit der Reliabilität beschreiben.

Definition: Die Reliabilität Rel bezeichnet die Messgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte \(τ\) an der Varianz der beobachteten Testwerte x definiert:
 

Der Standardmessfehler ist die Wurzel aus dem Ausdruck (siehe Grafik)

Das Konfidenzintervall drück aus, wie genaudie messung ist, je breiter das Konfidenzintervall, desto ungenauer die Schätzung
 

Konfidenzintervall für \(τ\)_v

SD(x)=15
x_v=130
Rel=.89
SD(\(ε\))=5

 Konfidenzintervall: 130-(2*5)≤≤130+(2*5)

• Axiome sind nicht prüfbar (weil esAnnahmen sind)
• Ermöglicht die Genauigkeit der Messung einzuschätzen, z.B. wie hoch ist der Messfehler?
• Basiert auf den grundlegenden Annahmen über den wahren Wert (true score) und den Messfehler
• Es kann auf die warhe Ausprägung einer Person geschlossen werden

Die Covarianz von zwei parallelen Tests ist gleich die wahre Varianz s_\(τ\)²

Der wahre Wert (einer Person) entspricht dem Erwartungswert der Messungen eines Probanden bei dem betreffenden Item.

Jede Messung setzt sich aus den wahren Wert einer Person und einem zufälligen Messfehler zusammen.

Die Korrelation zwischen den Messfehlern und den warhen Werten ist Null. Das gilt bei beliebigen Personen und beliebigen Items.

• Spearman − Brown − Koeffizient:
  dabei geht es um die Korrelation beider Testhälfte
   
• Guttmans Split − Half − Koeffizient:
  hier geht es um Varianzen: im Zähler:  Varianz des Gesamttestes, subtrahiert wird die Varianz einzelner Testteile geteilt durch die Varianz des gesamten Tests

Ausgabe der Prozedur ’Reliabilitätsanalyse’ in SPSS mit den Optionen:

• deskriptive Statistiken’ für die Items ("Item")
• "Skala, wenn Item gelöscht"

Tabelle:
Mittelwert der Lageparameter - kennen wir aus der Itemanalyse und kann als Indikatior für die Itemschwierigkeit gesehen werden.
Standardabweichung: Item 2 hat die geringste Streuung
Bei einer Nullvarianz wäre ein Item unbrauchbar.

Antwortskala 0 = gar nicht bis 4 stimme stark zu
Item 1, 3 und 8 haben die höchste Zustimmung (leichtes Item)
Item 2 hat die höchste Schwierigkeit

Ausgabe der Prozedur ’Reliabilitätsanalyse’ in SPSS mit den Optionen:

• deskriptive Statistiken’ für die Items ("Item")
• "Skala, wenn Item gelöscht

Vorteil Interne Konzistenz (Cornbachs Alpha): Man braucht keine verschiedenen Messzeitpunkte

1. Spalte: Skalen-Mittelwert wenn Item ausgelassen
2. Spalte: Skalen-Varianz wenn Item ausgelassen
3. Spalte: Korrigierte Item-Skalen-Korrelation = Itemtrennschärfe
Ergebns: Sauber Lösung homogener Aussagen
4. Spalte: Cronbachs Alpha, wenn Item ausgelassen
Welche Höhe würde Cronbachs Alpha annehmen, wenn man das betreffende Item herausnimmt?
Cronbachs Alpha beträgt 0,904 => Das auslassen eines dieser Items würde zu einer Reduzierung des Cronbachs Alpha führen.

Retest-Reliabilität: Zwei Messzeitpunkte

a) Alle Probanten haben zum ersten und zum zweiten Messzeitpunkt das gleiche Ergebnis => Rel=1
b) Alle Probanten verbessern sich um den selben Betrag vom ersten Messzeitpunkt zum zweiten Messzeitpunkt  => Rel = 1
c) Je nach Person unterschiedliche Übungseffekte: starke Zunahme bis geringe Zunahme zum zweiten Messzeitpunkt; in der Tendenz geht es bei allen Probanten nach oben d.h. Testwertmittelwert ist zum ersten Messzeitpunkt geringer als zum zweiten Messzeitpunkt => Rel = 0.85
d) Einzelne Personen verschlechtern sich und andere verbessern sich zwischen den beiden Messzeitpunkten => Rel = 0,71

 

Zeitpunkt 1 (erste Grafik): bimodal: Eine bimodale Verteilung ist in der Mathematik eine Wahrscheinlichkeitsverteilung oder Häufigkeitsverteilung, bei der die Dichte bzw. deren Schätzung zwei Modi aufweist.
k=4 => bei 8 Items ist der höchste Wert, der erreicht werden kann: 8 * 4 = 32
Ein Höhepunkt der Verteilung ist bei 18 und der andere bei 30

Zeitpunkt 2 (zweite Grafik): unimodal: Im Allgemeinen bedeutet Unimodalität, dass es nur einen einzigen, irgendwie definierten, höchsten Wert eines mathematischen Objekts gibt, d.h es besitzt nur ein Modal

Testwerte für zwei Zeitpunkte als Streudiagramm in SPSS mit Modellgerade  - 45 Grad Winkelhalbierende für konstante wahre Werte und konstante Fehlervarianzen.
x-Achse ist erster Testzeitpunkt tw1
y-Achse ist zweiter Testzeitpunkt tw2

Bei tw1 findet man bei 30 drei Ausreißer d.h. diese 3 Personen haben sich stark verändert zum tw2 -> Wert war dann nur noch zwischen 20 und 24 (siehe y-Achse).

Ausgangspunkt für die Bestimmung der Reliabilität ist die Zerlegung der Varianz der Testwerte

wenn Var(x) = Var(\(τ\)) dann ist Rel = 1
wenn Var(x) = Var(\(ε\)) dann ist Rel = 0

Theoretischer Wertebereich ist zwischen 0 und 1