Psychometrie
Professor Heller, Uni Tübingen
Professor Heller, Uni Tübingen
-
- 1 / 98
-
Lernkarten
Welchen besonderen thesttheoretischen Status hat das Raschmodell?
Die Forderung nach der Existenz minimal suffizienter Statistiken für die Personenparameter führt unter schwachen Bedingungen gemäß dem Theorem von Anderson automatisch zum Raschmodell.
Was ist die suffiziente Statistik im Raschmodell und wie ist diese definiert?
Die Summe korrekt gelöster Aufgaben bildet die suffiziente Statistik für den Personenparameter θ.
Diese ist nicht von den Aufgabenparametern abhängig.
\(Ti = (t (Ui1, ... Uin) = ∑ Uij ( i = 1, ..., m)\)
n & j =1 beim Summenzeichen
Was ist der Unterschied zwischen der suffizienten Statistik des Personenparameters im Birnbaum Modell im Vergleich zum Raschmodell?
Auch hier existiert eine minimal suffiziente Statistik für θ (\(∑ δj uij\))
Sie enthält jedoch die Trennschärfe und ist somit nicht unabhängig von den Aufgabenparametern.
Manche Schätzverfahren können deshalb nicht angewandt werden.
Was ist die Suffizienz der Summenstatistik?
Die Reduktion der Daten ohne Informationsverlust bezüglich der Schätzung des Parameters.
Anzahl gelöster Aufgaben.
Eine Statistik Tn = tn (x1...x2) ist genau dann suffizient für den Parameter ϑ, wenn zwei nicht negative Funktionen g und h existieren, sodass für die Likelihood gilt:
\(L(x1, ..., xn| ϑ) = g(tn(x1...xn)|ϑ) *h(x1,...,xn) \)
wobei g nur von den Daten abhängt und h unabhängig von ϑ ist.
Nenne drei grundlegende Unterschiede hinsichtlich der suffizienten Summenstatistik zwischen Klassischer Testtheorie und LTT.
- Die Summenstatistik ist nur in der LTT suffizient. In der KTT wird dies fälschlicherweise impliziert.
- In der LTT ist die suffiziente Summenstatistik unabhängig von den Aufgabenparametern. In der KTT nicht so.
- In der LTT ist die suffiziente Summenstatistik nur ein Hinweis auf den Personenparameter. In der KTT bestimmt sie die Fähigkeit.
Welche grundlegenden Annahmen macht die marginale Maximum-Likelihood Schätzung im Birnbaum Modell und was wird dadurch erreicht?
Es werden Verteilungsannahmen über die Personenparameter gemacht (meist Normalverteilung).
Dadurch kann der Aufgabenparameter unabhängig von den Personenparametern geschätzt werden.
Dann kann über die Personenparameter integriert werden und die Aufgabenparameter in der Randverteilung geschätzt werden, wo keine einzelnen Personenparameter mehr enthalten sind.
Was ist der Nachteil der marginalen Maximum-Likelihood Schätzung?
Die statistischen Eigenschaften der Schätzer hängen stark von der Gültigkeit der gemachten a-priori Verteilungsannahme der Personenparameter ab.
Nenne und erkläre alle relevanten Symbole der itemspezifischen Kategorienfunktion im Kontext des Rating-Skalen-Modells.
τ : Charakterisierung der Kategoriengrenzen relativ zur Aufgabenschwierigkeit
θ: Personenfähigkeit
ε: Beitrag der Aufgabe ("Schwierigkeit")
Y: Zufallsvariable
r: Anzahl der Kategoriengrenzen
k: Anzahl der Kategorien
Wie ergeben sich die freien Parameter im Rating Skalen Modell?
Anzahl der Items + (r -1)
Beschreibe die Repräsentationsbedingung des schwachen Nutzen-Models.
Ist die Menge X eines ausbalancierten, probabilistischen Paarvergleichssystems <a, x> endlich, so existiert eine Abbildung φ: x -> IR, sodass für alle a, b enthalten in X gilt:
\(p(a,b) \geq p(b, a) gdw. p (a) \geq p (b)\)
Zeige, dass das BTL-Modell auch ein schwaches Nutzen-Modell ist.
Ist es, denn:
\(\frac{φ(a)}{φ(a)+φ(b)} \geq \frac{φ(b)}{φ(b)+φ(a)} | * (φ(a)+φ(b))\)
\(= φ(a) \geq φ(b)\)
"Frauen sind im Mittel besser als Männer"
Welche Bedeutsamkeit kommt dieser Aussage im additiven Raschmodell zu?
Keine, da die Aussage mit Exponentialfunktion erst in das multiplikative Raschmodell überführt werden muss, damit der Wahrheitswert beurteilt werden kann.
Was ist die "empirische" Item charakteristische Kurve (ICC)?
Eine Darstellung der relativen Lösungshäufigkeiten in den durch die Summenstatistik definierten Teilstichproben.
Was ist Overfit? Was ist Underfit? Wie sollten die wMNSQ-Werte sein?
Overfit:
wMNSQ-Wert ist kleiner 1
--> Zu hohe Diskrimination, da Kurve steiler als Modellkurve.
Zu wenig Variation.
Underfit:
wMNSQ-Wert größer 1
--> Flacher als Modellkurve, da zu viel Variation
Ein guter Wert ist 1 --> guter Fit
Nenne die Multiplikationsbedingung des Raschmodells.
Ein probabilistisches Paarvergleichssystem <A,x,P> ist genau dann raschskalierbar, wenn für alle a,b enthalten in A & x, y enthalten in X gilt:
\(\frac{\frac{P(a, x)}{1 - P(a, x)}}{\frac{P(b, x)}{1 - P(b, x)}} = \frac{\frac{P(a, y)}{1 - P(a, y)}}{\frac{P(b, y)}{1 - P(b, y)}}\)
Wieso kann man die Multiplikationsbedingung im Raschmodell als spezifisch objektiven Vergleich interpretieren?
Die Multiplikationsbedingung sagt aus, dass das Verhältnis der Wettchancen unabhängig von der für den Vergleich der Person gewählten Aufgabe ist.
Personen lassen sich unabhängig von Aufgaben vergleichen und anders herum.
Was versteht man unter adaptivem Testen?
Eine an den bisherigen Antworten der Person orientierte Vogabe einer Teilmenge der Aufgaben.
Weshalb kann adaptives Testen nur in der Latent-Trait-Theorie Anwendung finden und nicht in der klassischen Testtheorie?
Nur in der LTT ist die Testaufgabe vom Rest des Tests losgelöst betrachtbar (Primitivum Test vs. Aufgabe). Die Aufgaben und Parameter sind durch die suffiziente Summenstatistik nämlich trennbar.
Durch die Stichprobenunabhängigkeit der Parameter in den LTT-Modellen ist so eine Vergleichbarkeit der Ergebnisse trotz anderer präsentierter Aufgaben möglich.
In der KTT gibt es keine lokale stochastische Unabhängigkeit und Theta und Epsilon sind nicht trennbar (Primitivum Test!).
Beschreibe den Ablauf des grafischen Modelltests im Rahmen der Prüfung des Raschmodells.
- Die Personenstichprobe wird (zumeist am Median) geteilt.
- Es werden in den Substichproben bedingte ML-Schätzungen der AP vorgenommen.
- Die resultierenden Schätzwerte werden dann für jede Aufgabe gegeneinander abgetragen.
- Bei geltendem Raschmodell sollten die Werte auf der Winkelhalbierenden liegen.
- Falls resultierende Konfidenzellipsen die Winkelhalbierende nicht schneiden, verletzen diejenigen Items die Stichprobenunabhängigkeit und somit auch die Annahmen des Raschmodells.
Welche problematische Konsequenz ergibt sich, wenn im Rahmen des adaptiven Testens die nächste Aufgabe lediglich nach dem maximale Informationskriterium ausgewählt wird?
Was sind Lösungsansätze dafür?
Wenn nur maximale Information als Selektionkriterium gilt, dann werden manche Aufgaben sehr häufig und manche sehr wenig präsentiert. (Bspw. die Anfangsaufgaben für mittlere Fähigkeit)
Dies untergräbt die Testökonomik und ist insofern problematisch, als dass die Aufgaben besser gelernt werden können.
Lösungansätze:
- Einführen einer Zufallsvariable für die Aufgabenpräsentation
- Einführen eines Parameters zur Kontrolle der Vorgaberate
- Kombination aus 1 & 2
Welche Modelle, die im Rahmen der Vorlesung behandelt wurden sind ordinal skaliert? (x --> f(x))
Nenne dabei auch stets, ob diese deterministisch oder probabilistisch sind.
Deterministisch:
- Guttmanskala
Probabilistisch:
- Schwaches-Nutzen-Modell
- Mokken-Skalierung
Welche Modelle, die im Rahmen der Vorlesung behandelt wurden sind intervall skaliert? (x --> p * x + q)
Nenne dabei auch stets, ob diese deterministisch oder probabilistisch sind.
Deterministisch:
- Verbundene Messung
Probabilistisch:
- Starkes-Nutzen-Modell
- 2PL-Modell (Theta und Epsilon)
Welche Modelle, die im Rahmen der Vorlesung behandelt wurden sind differenz skaliert? (x --> x + q)
Nenne dabei auch stets, ob diese deterministisch oder probabilistisch sind.
Deterministisch: /
Probabilistisch:
- Raschmodell (additiv!)
Welche Modelle, die im Rahmen der Vorlesung behandelt wurden sind verhältnisskaliert? (x --> p * x)
Nenne dabei auch stets, ob diese deterministisch oder probabilistisch sind.
Deterministisch: /
Probabilistisch:
- BTL-Modell
- Raschmodell (multiplikativ)
- 2PL-Modell (nur die Trennschärfe)
Wie unterscheiden sich die ICCs im Rasch- und Birnbaummodell voneinander? Welche Bedeutung hat dieser Unterschied?
Im Raschmodell sind die ICCs insofern parallel, als dass sie sich entlang der X-Achse ineinander verschieben lassen. Des Weiteren sind hier die Aufgaben- und die Personenparameter unabhängig voneinander (s. spezifisch objektive Vergleiche).
Im Birnbaum schneiden sich die Grafen der ICCs unter Umständen, im RM nicht. Sie sind also nicht parallel. Dies liegt daran, dass dieses Modell die Trennschärfe enthält und somit die Aufgabenschwierigkeit sowie Personenfähigkeit gewichtet.
Warum kann ordinale Skalierbarkeit eines probabilistischen Paarvergleichssystems nicht als probabilistische Version der Guttman-Skalierung gesehen werden?
In der Guttman-Skala sind ε und θ auf einer gemeinsamen Ordinalskala.
Bei ordinaler Skalierung eines probabilistischen Paarvergleissystems ist das nicht unbedingt so.
ε und θ haben also nicht unbedingt gemeinsam zulässige Transformationen.
Es resultieren unabhängige Ordinalskalen
Wie wird das Problem der ordinalen Skalierbarkeit in der Mokkenskalierung gelöst?
Hier werden Zusatzannahmen getroffen, welche eine gemeinsame Ordinalskala sicherstellen.
∀ a ∈ A & x ∈ X gilt: p(a,x) = 0,5 gdw. θ(a) = ε(x)
Nenne die Formel des Birnbaummodells.
Wo entspricht die Lösungswahrscheinlichkeit 50%?
Nenne und definiere alle benutzen Symbole.
Die Lösungswahrscheinlichkeit ist dort 50%, wo ε = θ entspricht. Dies liegt daran, dass dort die Fähigkeit und die Aufgabenschwierigkeit identisch sind.
ε = Aufgabenschwierigkeit
θ = Personenfähigkeit
δ = Trennschärfe
uij = Gelöst 1, nicht gelöst 0
Was setzt die bedingte ML-Schätzung voraus?
Sie benötigt eine suffiziente Statistik für die Personenparameter, die unabhängig von den Aufgabenparametern und vice versa ist.
Welchen Vorteil hat die bedingte ML-Schätzung im Rasch-Modell? Wieso ist dieser vorhanden?
Sie ermöglicht das voneinander unabhängige Schätzen von Aufgaben- und Personenparametern.
Dies geht durch die Trennung der Personen- und Aufgabenparameter über die suffiziente Statistik für den Personenparameter.
Warum kann die bedingte ML-Schätzung im Raschmodell, nicht aber im Birnbaummodell angewandt werden?
Beim Birnbaummodell gibt es keine suffiziente Statistik für den Personenparameter der unabhängig von den Aufgabenparametern ist.
Personen die alles bzw. nichts korrekt lösen sind bezüglich der Schätzung von Personenparameter durchaus problematisch. Wie werden diese Personen im Kontext der bedingten ML-Schätzung sowie der marginalen ML-Schätzung behandelt?
Marginale ML-Schätzung: Zuweisung eines festen Personenparameters anhand der a-priori-Verteilungsannahme.
Bedingte ML-Schätzung: Diese Personen werden ausgeschlossen, da der Test nicht hinreichend reliabel ist.
Nenne den Eindeutigkeitssatz des BTL-Modells.
Wenn die Abbildung φ': x --> IR+ ebenfalls die Repräsentationsbedingung des BTL-Modells erfüllt, so gilt für alle a∈X:
φ'(a) = p * φ(a) mit einer Konstanten p > 0
Bewerte die Aussage "Rom ist doppelt so attraktiv wie Oslo." Im Kontext des BTL-Modells.
Die Aussage ist zulässig, da ihr Wahrheitswert invariant unter den zulässigen Transofrmationen des BTL-Modells ist.
--> BTL-Modell ist verhältnisskaliert
Wie werden die Parameter bei der gemeinsamen ML-Schätzung geschätzt?
Personen- und Aufgabenparameter werden ausgehend von der unbedingten Likelihood simultan geschätzt.
Welches Problem ergibt sich durch die simultane Schätzung ausgehend von der unbedingten Likelihood in der gemeinsamen ML-Schätzung?
Das Problem der nicht gesicherten Konsistenz. Durch Erhöhen der Stichprobe steigt auch die Anzahl der zu schätzenden Parameter, sodass mit zunehmender Stichprobengröße nicht unbedingt präziser geschätzt wird.
Ist die Aussage "ε(x) = 2*ε(y)" im Kontext des additiven Raschmodells empirisch bedeutsam?
Nein, da das additive Raschmodell natürlich Differenzskalenniveau hat. Hier wird mit Verhältnissen gearbeitet.
Was definiert den Begriff des spezifisch objektiven Vergleich im Allgemeinen?
Welche beiden Konsequenzen ergeben sich durch solche Vergleiche für einen Test?
Vergleiche von Personen (Aufgaben) anhand der Lösungswahrscheinlichkeit, welche unabhängig von den dafür verwendeten Aufgaben (Personen) sind.
Testergebnisse sind so fair und vergleichbar.
Ein Modell verfügt über spezifisch objektive Vergleiche. Wie lässt sich das in Bezug auf Bedeutsamkeit interpretieren?
Die für ein Modell gültigen spezifisch objektiven Aussagen sind keine modellinhärenten Eigenschaften, korrespondieren jedoch über die Repräsentationsbedingung mit quantitativer Bedeutsamkeit.
Welches Skalenniveau haben das additive bzw. das multiplikative Raschmodell?
Nenne ebenfalls die zulässigen Transformationen.
Additives RM: Differenzskala
- θ(a) + s = θ'(a)
Multiplikatives RM: Verhältnisskala
- ϑ(a) * p = ϑ'(a)
