Testtheorie und -praxis

Wahre varianz: Variation durch unterschiedliche wahre Merkmalsausprägung der Pbn

Fehlervarianz: Variation durch Messfehler der Pb 

Schätzung der wahrer Varianz:

- Zur Schätzung von Var(T) und Var(E) zieht man die Testwertevariablen xp und xq zweier Tests p und q heran 

- Betrachtet deren Covarianz: Aufgrund der Axiome (3. Unabhängigkeitsaxiom und 4. Zusatzannahmen) entspricht die Kovarianz zweier Tests ihrer wahren Werte 

- Sind xp und xq 2 Testwertevariablen von Messungen 2 paralleler Tests oder desselben, so ist

Tp=Tq=T

und Cov (xp,xq) = Cov(Tp,Tq) = Cov (T,T) = Var(T)

- Die wahre Varianz Var(T) kann folglich als Kovarianz der Testwertevariablen zweier paralleler Tests geschätzt werden 

- Ist Var(T) bekannt, so kann die Fehlervarianz geschätzt werden:

Var(E) = Var(X) - Var(T)

Definition: Reliabilität (Rel) bezeichnet die Messgenauigkeit eines Tests und ist als Anteil der Varianz der wahren Werte T an der Varianz der beobachteten Testwerte x definiert

Rel= \( = Var(T) \over Var(x)\) - Reliabilitätskoeffizient: Test ist umso reliabler, je größer der wahre Varianzanteil Var(T) an der Gesamtvarianz Var(x) ist

Wertebereich: 0<=Rel<=1

Grundlage: Für die Berechnung des Standardmessfehlers und der Konfidenzintervalle 

Herleitung: Der Anteil der wahren Varianz Var(T) an der beobachteten Testvarianz Var(x) kann im Fall paralleler Tests als Test-Test-Korrelation rtt geschätzt werden

Zusammenhang: Steigerung der Reliabilität durch Testverlängerung (Hinzunahme paralleler Testteile)

Parallelität: Wenn die Tests p und q die gleichen wahren Werte und Varianzen haben

Verlängerung: 

- Die gemeinsame Testwertevarianz setzt sich aus Summe der Varianzen der einzelnen Tests plus der zweifachen Kovarianz der Tests zusammen

- Dies kann auch in Anteilen wahrer Varianz und Fehlervarianz ausgedrückt werden und die Kovarianz der beiden Testwerte in Varianz des True Scores T 

- Durch Verdopplung der Testlänge verdoppelt sich zwar auch die Fehlervarianz, aber es kommt auch zu einer Vervierfachung der wahren Varianz!

Reliabilität Rel bei verdoppelter Testlänge l:

 \(Rel (2l) = {2xRel \over 1+Rel}\)

-> Warum steht unten 1+Rel?

Resultierende Reliabilität eines Tests der Länge l durch Verlängerung um Faktor k kann durch die Spearman-Brown-Formel ausgedrückt werden:

\(Rel (kxl) = {kxRel \over 1+(k-1)xRel}\)

Anwendung:

- Um wie viele parallele Tests müsste ein Test verlängert werden, um seine Reliabilität auf eine bestimmten Wert anzuheben?

- Aufwertung von Split-Half-Reliabilitäten zur Schätzung der Gesamttest-Reliabilität 

Voraussetzungen: Reliabilität und Testwertevarianz müssen bekannt sein 

Berechnung: 

- Testwertevarianz Var(x) kann in Anteile der Reliabilität und sich selbst zerlegt werden

Var(x) = Rel x Var(x) + (1-Rel) x Var(x)

- Dies kann zu wahrer Varianz Var(T) und Fehlervarianz Var(E) umgeformt werden

Var(x) = Var(T) + Var(E)

- Diese Gleichung kann nach Var(E) umgestellt werden: 

Var(E) = Var(x) - Rel x Var(x)

Var(E) = Var(x) x (1-Rel)        -> Var(E) stellt den unerklärten Varianzanteil der Testwertevarianz Var(x) dar (?)

- Durch Wurzelziehen erhält man den Standardmessfehler: Sozusagen die Standardabweichung der Fehlervarianz

SD(E) = SD(x) x \(\sqrt{1-Rel}\)
- Je höher die Reliabilität, desto kleiner der Standardmessfehler 

Das Konfidenzintervall umfasst denjenigen Bereich eines Merkmals, in dem sich 95% bzw 99% aller möglichen wahren Werte Tv befinden, die den Stichprobenwert ^Tv erzeugt haben können 

Voraussetzung: Normalverteilung der Fehler

Berechnung: 

- einseitige Testung: ^Tv - z1 - a x SD(E) <= Tv <= ^Tv + z1 - a x SD(E)

- zweiseitige Testung: ^Tv - z1 - a/2 x SD(E) <= T <= ^Tv + z1 - a/2 x SD(E)

- untere Schranke <= Tv(wahrer Wert) <= obere Schranke 

- d.h. wahrer Wert -/+ z-Wert aus Tabelle x Standardmessfehler 

Bedeutung: Der wahre Wert Tv liegt mit einer Wahrscheinlichkeit von (1-a, also 99%/95%) in diesem Intervall (a=0.05 bzw 0..01)

Rel = 0.94 -> SD(E) = 15 x \(\sqrt{1-0.94}\) = 3.67

- Mit SD(E) lässt sich nun ein Konfidenzintervall berechnen, in dem der wahre Wert mit einer Wahrscheinlichkeit von (1-a = 1 - 0.05 = .95 also 95%) liegt 

111 - 1.96 x 3.67 <= Tv <= 111 + 1.96 x 3.67

103.8 <= Tv <= 118.2  

- Der wahre IQ des Pbn liegt mit 95%iger Whrschk zwischen diesen Werten 

- Tv kann auch unter 130 liegen -> Es kann nicht mit statistischer Sicherheit gesagt werden, ob es sich um Hochbegabung handelt

- Bei x>= 139 würde die untere Grenze des Konfidenzintervalls  (^Tv-2 x SD(E)) keinen IQ unter 130 umfassen

- Bei Rel = .96 reicht ein x>=135, damit die unter Grenze nicht unter 130 fällt 

- Standardmessfehler = Standardabweichung der Testwerte 

SD(E) = SD(x)

- Die Breite des Konfidenzintervalls würde sich auf 49.5 vergrößern

2 x z1 - a x SD(x) = 2 x 1,65 x 15 = 49.5 

- Je kleiner die Reliabilität, desto breiter wird das Konfidenzintervall 

- Da bei sinkender Reliabilität auch die Punktschätzungen ungenau werden, sollten Tests mit Rel < .80 für die Individualdiagnostik nicht verwendet werden

- Annahme, dass beobachtete Werte = wahrer Wert + Fehlerwert kann nicht empirisch überprüft werden, da die Größen nicht direkt beobachtbar sind 

- Intervallskalenniveau als Voraussetzung kann bei den tatsächlichen vorliegenden Testwerten nicht überprüft werden 

- Homogenität der Testitems bezüglich des untersuchten Merkmals nicht überprüfbar

- Merkmale können nur operational definiert werden

- Kennwerte der KTT sind stichprobenabhängig (Itemschwierigkeit, Trennschärfe, Reliabilität etc.)

- Generalisierbarkeit der Ereignisse unklar

- Bewährter Ansatz zur Beurteilung der Reliabilität von Tests und Fragebögen 

- Ökonomische und praktische Handhabung

Item-Response-Theory (IRT):

- strengere Annahmen

- Beschreibung des Reaktionsverhaltens der Pbn durch Personen- und Itemparameter

- Probalistischer Zusammenhang zwischen Merkmalsausprägungen und beobachteten Messweren 

Zweck: Stellt die Vergleichbarkeit von Testleistungen verschiedener Testpersonen sicher

Definition: Ein Test ist dann objektiv, wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter und Testauswerter misst

3 Aspekte: Durchführungs-, Auswertungs-, Interpretationsobjektivität 

Vorliegen: Wenn das Testergebnis nicht davon abhängt, welcher Testleiter den Test durchführt

Bedingung: Standardisierung der Durchführungsbedingungen durch die Testautoren im Testmanual

Optimal: Wenn die Merkmalsausprägung der Testperson die einzige Variationsquelle in der Testsituation darstellt 

Vorliegen: Wenn bei vorliegendem Testprotokoll (Antworten der Testperson auf die Items) das Testergebnis nicht von der Person des Auswerters abhängt

Bedingung: Ggf. detaillierte Auswertungsregeln

Messung: Grad der Übereinstimmung verschiedener Auswerter bei der Auswertung einer bestimmten Testleistung 

statistische Kennzahl: Konkordanzkoeffizient W (Kendall, 1962)

Vorliegen: Wenn verschiedene Testanwender bei Testpersonen mit demselben Testwert zu denselben Schlussfolgerungen kommen 

Bedingung: Angabe von Ergebnissen aus Eichstichprobe (Normtabellen), um VGL der Testperson mit relevanten Bezugsgruppen zu ermöglichen 

Definition: Ein Test ist reliabel (zuverlässig), wenn er das Merkmal, das er misst exakt, d.h. ohne Messfehler, misst

Reliabilitätskoeffizient (Rel): Wert zwischen 0 und 1 (0<=Rel<=1) 

- 1 bezeichnet das Freisein von Messfehlern -> Test führt an derselben Person immer zum gleichen Ergebnis

- 0 zeigt, dass das Testergebnis ausschließlich aus Messfehler besteht 

- Test sollte Wert von 0.7 nicht unterschreiten

Varianzanteile:

- Reliabilität ist Anteil der wahren Varianz an der Gesamtvarianz der Testwerte, die Merkmalsstreuung der wahren Testwerte

- Unreliabilität ist restlicher Anteil an Gesamtvarianz der Messwerte, die Messfehlerbehaftetheit eines Messinstruments

Bestimmungsverfahren: Retest-Reliabilität, Paralleltest-Reliabilität, Testhalbierungs-Reliabilität, Innere Konsistenz

Einschränkung: Nur für Tests, die nach der KTT konstruiert wurden! Bei Tests nach der Item-Response-Theory andere Genauigkeitsbeurteilung der Testwerte möglich

Durchführung: Derselbe Test wird zu zwei verschiedenen Zeitpunkten vorgelegt, Reliabilität ist Korrelation der Ergebnisse

Annahme: Merkmal selbst hat sich nicht verändert

Zeitintervall: Korrelation kann sich durch Ürbungs/Erinnerungseffekte verändern, oder durch Veränderung des Merkmals selbst (Identifizierung als Spezifität mittels Latent-State-Trait-Modelle möglich)

Königsweg: kann etliche reliabilitätsverändernde Einflüsse kontrollieren (Übungs/Lerneffekte, Merkmalsveränderungen)

Berechnung: Korrelation zwischen Testwerten in zwei parallelen Testformen, die aus inhaltlich möglichst ähnlichen Items (Itemzwillingen) bestehen

Parallele Tests: Führen trotz nicht identischer Itemstichproben zu gleichen wahren Werten und Varianzen der Testwerte 

Berechnung: Test in zwei möglichst parallele Hälften teilen, Korrelation dieser Hälften berechnen

Korrekturfaktor: Wird brücksichtigt, um die verminderte Split-Half-Reliabilität wieder auf die ursprüngliche Testlänge hochzurechnen 

- Jedes Item wird als eigenständiger Testteil betrachtet

- Je stärker diese untereinander korrelieren, desto höher ist die interne Konsistenz (Cronbach-a-Koeffizient; Cronbach, 1951)

Definition: Test ist valide (gültig), wenn er das Merkmal, das er messen soll, wirklich misst und kein aderes

Zusammenhänge: wichtigstes Gütekriterium, Objektivität und Reliabilität sind nur günstige Voraussetzungen, ABER ohne hohe Reliabilität keine hohe Validität

Interpretation: Validität eines Tests ist Korrelation der Testwerte in der Testsituation mit einem korrespondierenden Verhalten außerhalb der Testsituation (Kriterium)

Anwendung: Validität ist das Ausmaß, in dem Angemessenheit und Güte von Interpretation und Maßnahmen auf Basis der Testwerte durch Empirie belegt werden

Validitätsaspekte: Inhalts-, Augenschein-, Konstrukt-, Kirteriumsvalidität

Definition: Inwieweit ein Test oder ein Item das zu messende Merkmal repräsentativ erfassen 

Bestimmung: Aufgrund logischer Überlegungen, Expertenurteile - NICHT numerisch

Items: Sollten unmittelbaren Ausschnitt aus Verhaltensbereich darstellen, über den Aussage getroffen werden soll 

Definition: Gibt an, inwieweit der Validitätsanspruch eines Tests, vom bloßen Augenschein her einem Laien gerechtfertigt erscheint

Bedeutung: wichtig für Mittelbarkeit der Ergebnisse, Akzeptanz durch Testpersonen, ABER wissenschaftlich nicht zufriedenstellend

Definition: Wenn der Rückschluss vom Verhalten der Testperson in der Testsituation auf zugrunde liegende psychologische Persönlichkeitsmerkmale (Konstrukte, latente Variablen, Traits) wissenschaftlich fundiert ist, Überprüfung durch theoretische Annahmen und Modelle 

Beurteilung Konstruktvalidität: struktursuchende (EFA) und strukturüberprüfende Ansätze (CFA, nur bei Testmodellen mit latenten Variablen (?), Multitrait-Multimethod-Analysen)

Konvergente und diskriminante Validität: 

- Formulierung von theoriegeleiteten Hypothesen über Zusammenhänge des vorliegenden mit konstruktverwandten oder -fremden Tests

- Vorliegender Test wird empirisch (Berechnung Korrelationen) mit den anderen Tests auf Un/Ähnlichkeit verglichen 

- Entstehung eines nomologischen Netzwerkes

Definition: Wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium (Verhalten außerhalb der Testsituation) geschlossen werden kann. Enge dieser Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).

Z.B.: Kind ist im Schulreifetest gut und ist auch in der Schule leistungsfähig

Übereinstimmungsvalidität/konkurrente Validität: Zusammenhang Testwert und zeitgleich existierendes Kriterium

Vorhersagevalidität: Zusammenhang Testwert und zukünftige Ausprägung eines Merkmals 

Definition: Wenn die laut Verrechnungsregel resultierenden Testwerte die empirische Merkmalsrelationen adäquat abbilden

Forderung: dass leistungsfähigere Personen einen besseren Testwert als weniger leistungsfähige erhalten (inter/intraindividuelle Differenzen)

Skalenniveau: Test braucht mindestens Ordinalskalenniveau, Intervallskalenniveau erlaubt beurteilung der Größe inter/intraindividueller Differenzen 

KTT: Beurteilung Skalierung anhand des errechneten Testwerts

IRT: Skalierung daran prüfbar, ob Verhalten aller Testpersonen einem bestimmten mathematischen Modell folgt

Definition: Das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im VGL zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können 

Eichstichprobe:

- Untersuchung möglichst großer, für GG repräsentativer Stichprobe

- Um möglichst aussagekräftige Vergleichswerte von solchen Personen zu erhalten, die der Testperson hinsichtlich relevanter Merkmale (Alter, Geschelcht) ähnlich sind 

Normtabellen: Dokumentation der Ergebnisse der Testeichung, an denen dann die Ergebnisse untersuchter Testpersonen normorientiert beurteilt werden

Normwerte: Prozentränge der Testwerte der Eichstichprobe

- Beurteilung des aktuellen Testergebnisses dann durch Prozentsatz der Personen, die in der Eichstichprobe unter bzw über dem Wert lagen

- Standardwerte (nur bei Normalverteilung):  Differenz des individuellen Testwertes xi vom Mittel x der Eichstichprobe, in Standardabweichungen (z=xi-x/SD) (oder T-/IQ-/Centil-Werte usw.)

Definition: Test ist ökonomisch, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht

Z.B. durch adaptives Testen

Definition: Test ist nützlich, wenn für das von ihm gemessene Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen/Maßnahmen mehr Nutzen als Schaden erwarten lassen 

Praktische Relevanz: Wenn Test ein Merkmal misst, das im Sinne der Kriteriumsvalidität nützliche Anwendungsmöglichkeiten aufweist 

Definition: Test ist zumutbar, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Peron in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet 

- betrifft Testperson und nicht Testleiter (Ökonomie)

- unterschiedlich in Hinisicht auf Zweck des Tests (VGL Einstellungstest Pilot oder Sekretär)