Testtheorie und Fragebogenkonstruktion

• Skalierung
• Normierung
• Testökonomie
• Nützlichkeit
• Zumutbarkeit
• Unverfälschbarkeit
• Fairness

Definition: Spezifische Objektivität liegt vor, wenn alle IC-Funktionen die gleiche Form aufweisen, d.h. lediglich entlang der \(ξ-Achse\) parallel verschoben sind. Ist dies der Fall, kann der Schwierigkeitsunterschied zweier Items \((σj - σi)\)unabhängig davon festgestellt werden, ob Personen mit niedrigen oder hohen Merkmalsausprägungen \(ξ\) untersucht wurden. In Umkehrung kann auch der Fähigkeitsunterschied zweier Personen \((ξw-ξv)\) unabhängig von den verwendeten Items festgestellt werden.

Unabhängigkeit der Personenfähigkeit von der Auswahl der Testitems aus dem Itemuniversum
(egal welche Items die Peron bearbeitet, erhält man immer die gleiche Personenfähigkeit)

Cohen's Kappa wird verwendet, um das Hauptgütekriterium Objektivität zu bestimmen.
Cohen's Kappa ist ein statistisches Maß für den Grad der Übereinstimmung zweier Beurteiler oder der Beurteilungen eines Raters zu verschiedenen Zeitpunkten, das auf „Ja-Nein-Urteilen“ beruht.

Beispiel: Angenommen, 20 Studenten bewerben sich für ein Stipendium. Die Entscheidung über Vergabe oder Nicht-Vergabe des Stipendiums erfolgt aufgrund der Beurteilungen zweier Professoren X und Y, die beide mit jedem Studenten ein Interview führen und sich anschließend für oder gegen den Studenten aussprechen.

Die Validität ist der Grad der Gültigkeit oder Aussagefähigkeit hinsichtlich des Merkmals, das der Test messen oder vorhersagen soll.
Ein Test ist valide, wenn er das Merkmal, dass er messen soll, auch tatsächlich misst und nicht etwas anderes.

Wichtig: Es gibt unterschiedliches Validitätsaspekte z.B. Inhaltsvalidität Konstruktvalidität, Kriteriumsvalidität und je nach Ziel des Testverfahrens, können die Aspekte unterschiedlich wichtig sein.

Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das zu messende Merkmal repräsentativ erfasst, d. h. dass die Testitems eine repräsentative Stichprobe aus dem Itemuniversum darstellen, mit dem das interessierende Merkmal erfasst werden kann. (z.B. Klausur deckt repräsentativ die gesamten Lerninhalte ab => Itemuniversum ist dabei der gesamte Stoff)

Ein Test weist Konstruktvalidität auf, wenn der Schluss vom Verhalten der Testperson innerhalb der Testsituation auf zugrunde liegende psychologische Persönlichkeitsmerkmale ("Konstrukte", "latente Variablen", "Traits") wie Fähigkeiten, Dispositionen, Charakterzüge, Einstellungen aufgezeigt werden.

Die Enge der Beziehungen wird aufgrund von testtheoretischen Annahmen und Modellen überprüft.Theoretische Einbettung und empirische Prüfung des Testverhaltens anhand eines nomologischen Netztwerks (MTMM)
Empirische Belege für die angenommenen Zusammenhänge (Konstruktion und beobachtbaren Testverhalten)

Ein nomologisches Netz stellt ein Beziehungsgeflecht zwischen (latenten) Konstrukten und beobachtbaren Testvariablen dar. Die beiden Ebenen werden mit Axiomen bzw. empirischen Gesetzen beschrieben und durch Korrespondenzregeln miteinander verbunden.

Korrespondenzregel (auch Zuordnungsregel): Da die wissenschaftlichen Theorien zu einem größeren Teil aus der theoretischen Sprache und zu einem anderen Teil aus der Beobachtungssprache (d.i. Aussagen über empirische Sachverhalte) bestehen, ist es erforderlich, beide Teilsprachen durch spezielle Regeln miteinander zu verknüpfen. Durch die  Korrespondenzregel oder Zuordnungsregelne werden Beobachtungsterme und theoretische Terme einander zugeordnet. 

Aus dem Verhalten einer Testperson innerhalb der Testsituation kann erfolgreich auf ein Kriterium außerhalb der Testsituation geschlossen werden.

Beispiel: Berufsauswahl - Kristerien: Indikatoren für Berufserfolg. Test misst die Fähigkeiten,die den Berufserfolg beeinflussen.

Objektivität ist eine notwendige aber keine hinreichend Bedingung für Reliabilität - Reliabilität ist eine notwendige aber keine hinreichend Bedingung für die Validität.

Merke: Nur wenn etwas objektiv ist, dann ist es noch längst nicht reliabel. Und wenn etwas reliabel ist, dann ist es längst nicht valide.
Wenn ein Test allerdings valide ist, dann ist er in der Regel auch reliabel. Wenn ein Test valide und reliabel ist, dann ist er auch objektiv.

Ein State ist ein zeitlich begrenzter biologischer, emotionaler und kognitiver Zustand, in dem sich eine Person befindet. Er kennzeichnet sich durch personenbedingte (d.h trait-bedingte), situativ bedingte und durch die Interaktion zwischen Personen und Situation bedingte Einflüsse.

Ein Test erfüllt das Gütekriterium Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbildet, d. h. dass eine leistungsfähige Testperson in einem Leistungstest einen besseren Testwert erhält als eine weniger leistungsfähigere Testperson.

Die Reliabilität ist der Anteil der wahren Varianz an der Gesamtvarianz der Testwerte und wird ausgedrückt mit dem Reliabilitätskoeffizienten: 0 < gleicht Rel. < gleich 1

Rel. = 1 => keine Messfehler
Rel. = 0 => Testergebnisse sind nur durch Messfehler zustande gekommen

Merke: Die Reliabilität eines Testes sollte größer als 0.7 sein!

Augenscheinvalidität gibt an, inwieweit der Validätsanspruch eines Tests einem Laien, vom bloßen Augenschein her gerechtfertigt erscheint, d. h. auf Seiten der Testperson der Test Akzeptanz genießt.

1. Struktursuchendes deskriptives Vorgehen
a. Exploratorische Faktorenanalsen: Gewinnung von Hypothesen über ein- bzw. mehrdimensionale Merkmalsstruktur des Testitems, während innerhalb eines Merkmals die Faktorladungen Auskunft über die Homogenität des Testitems geben. Die so gewonnenen Merkamlsdimensionen erlauben eine erste deskriptive Einordnung in ein theoretisches Gefüge theoretischer Konstrukte.
b. Nomologische Netzwerke: Dienen dem Vergleich und der Betrachtung der Zusammenhänge anderer Tests (siehe Konvergente Validität und Diskriminante bzw. divergente Validität)

2. Strukturprüfendes Vorgehen
Dieser Ansatz erlaubt inferenzstatische Schlüsse bzgl. der Konstruktvalidität zu ziehen, was jedoch nur auf Basis von Testmodellen mit latenten Variablen möglich ist (IRT-Modellen und latente Strukturgleichungsmodellen)
Diese Verfahren stellein eine explizite und inferenzstatistisch überprüfbare Beziehungen zwischen zuvor genau definierten, latenten Merkmalen (z.B Intelligenz) und den manifesten Itemvariablen (z.B. Testitems) her.

Konvergente Validität: Überprüfung der Überinstimmung mit Tests, die gleiche oder ähnliche Merkamle messen.

Diskriminante bzw. divergente Validität: Überprüfung, ob der Test von Tests für andere Merkamla klar abgrenzbar ist.

Unter der Normierung (Eichung) eines Tests versteht man das Erstellen eines Bezugssystem mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkamlsausprägungen anderer Personen (der Eichstichprobe) eindeutig eingeordnet und interpretiert werden können.

Der Zweck der Normierung eines Verfahrens besteht darin, möglichst aussagekrägtige Vergleichswerte von solchen Peronen zu erhalten, die der Testperson hinsichtlich relevanter Merkmale (z.B. Alter, Geschlecht, Schulbildung) ähnlich sind (Eichstichproben).

Ergebnisse der Testeichung dokumentiert man in Normtabellen und die Testergebnisse einer Person werden dann in Relation zu Testergebnissen von Personen aus der möglichst repräsentativen Eichstichprobe interpretiert.
Hierfür werden die individuellen Testwerte in Normwerte transfornmert, anhand dessen sich die getestete Peron hinsichlich der erfassten Merkmalsausprägung innerhalb der Bezugsgruppe positionieren lässt.

1. Bildung von Prozentrangnormen durch nicht lineare Transformantion auf Basis der Häufigkeitsverteilung

2. Bildung von Standardnormen durch Standardisierung an Mittelwert und Standardabweichung der Testwertverteiung z.B IQ-Werte, T-Werte, PISA-Skala, Stanine-Skala

Ein Przentrang gibt an, wie viel Prozent der Bezugsgruppe einen Teswtert erzielen, der niedriger oder maximal ebenso hoch ist, wie der Testwert x_i der Testperson v.

Der Prozentrang kumuliert die in der Eichstichprobe erzielten prozentualen Häufigkeiten der Testwerte, beginnend am unteren Skalenende bis einschließlich zu jenem Testwert x_i, den die gerade interessierende Testperson erzielte.

Der z_i - Normwert gibt an, wie stark der individuelle Testwert x_i einer Testperson vom Mittelwert ¯x der Verteilung der Bezugsgruppe in Einheiten der Standardabweichungen SD der Verteilung abweicht.

Berechnugn z_i - Normwertes (Standardwertes):

z_i = (x_i - x) / SD(x)

Bei der Interpretation der Normwerte ist zu berücksichtigen, ob das Merkmal in der Population normalverteil ist, ansonsten müssen Prozentragwerte herangezogen werden, die diese nicht verteilungsgebunden sind.
Jedoch können nichtnormalverteilte Merkmale auch durch eine Flächentransformation normalisiert werden.

Des Weiteren ist die Verwendung von z-Normen eher unüblich, da mit ihrer Bildung negative Vorzeichen und Dezimalstellen einhergehen.
Stattdessen werden z-Normwerte weiteren Lineartransformationen unterzogen, um Normwerte mit positiven Vorzeichen sowie möglichst ganzzahligen Abstufungen zu erhalten, z.B. IQ-Werte, T-Werte, PISA-Skala, Stanine-Skala

Normierung -> Bildung von Normwerten -> Zusätzliche Transformation der Standardnormen:

Der Normwert ergibt sich forgendermaßen: z_v = (27-31) / 12 = -0,33

Aus dem z_v - Normwrt kann der Intelligenzquotient wie folgt bestimmt werden:
IQ_v = 100 + 15 * z_v => 100 + 15 (-0,33) = 95
 

Der Geltungsbereich einer Normtabelle muss klar definiert sein, d.h. die für die Normierung erhobene Eichstichprobe muss repräsentativ für die Grundgesamtheit von Personen sein, die für die der Test prinzipiell anwendbar sein sollte.

Die Gültigkeit der Normwerte muss nach einer gewissen Zeit (etwa alle 8 Jahre) überprüft und ggf. eine Neunormierungen vorgenommen werden z.B. aufgrund von Lerneffekten in der Population (z.B. IQ - Flynn-Effekt)

Adaptives Testen ist ein spezielles Vorgehen bei der Messung individueller Ausprägungen von Personmerkmalen, bei dem sich die Auswahl der zur Bearbeitung vorgelegten Items an der Leistungsfähigkeit des untersuchten Probanden orientiert.

Alpha-Fehler: Wahrscheinlichkeit, bei der statistischen Hypothesenprüfung eine zutreffende Nullhypothese zu verwerfen. Der Fehler tritt auf, wenn ein Effekt zwischen Variablen behauptet wird, aber faktisch (im Sinne der Nullhypothese) nicht vorliegt. Dieser Fehler 1. Art wird mit Festlegung des Signifikanzniveaus bei einem statistischen Test kontrolliert. Je kleiner das Signifikanzniveau gewählt wird, umso geringer die Wahrscheinlichkeit, dass ein Ergebnis per Zufall zustande gekommen ist. 

Alternativhypothese ist die (eigentlich interessierende) Forschungshypothese, in der der erwartete Effekt behauptet wird. Bei Gültigkeit der Alternativhypothese resultiert ein statistisch signifikantes Ergebnis, das zur Zurückweisung der Nullhypothese (H0) und Annahme der Alternativhypothese (H1) führt.

Alternativmerkmal ist eine Variable mit zwei (dichotomen) Merkmalsausprägungen.

Bei den Aufgaben sind keine Antwortalternativen vorgegeben. Die Antwort wird von der Person selbst formuliert bzw. produziert.

Ein Axiom ist eine theoretische Grundannahme, die ohne weitere Überprüfung als gegeben angesehen wird.

Beta-Fehler: Fehlerrisiko bei der statistischen Hypothesenprüfung, eine Nullhypothese zu akzeptieren, obwohl tatsächlich ein Effekt besteht. Der Fehler tritt auf, wenn die (nicht zutreffende) Nullhypothese nicht zurückgewiesen wird, obwohl die  Alternativhypothese gilt

Bias (bias): Einflüsse in einer Untersuchung, die eine systematische Verzerrung der Untersuchungsergebnisse bewirken können. Unterschieden werden Selektionsfehler (selection bias) durch nicht zufällige Stichproben, Informationsfehler durch fehlerhafte Angaben oder invalide Indikatoren sowie die Konfundierung (confounding bias) durch ungenügende Kontrollen von Störvariablen. Schließlich fällt unter diesen Begriff auch der Beurteilungsfehler, wenn Verzerrungseffekte bei der Beurteilung auftreten.

bivariat: zwei Variabeln betreffend

Blindversuch: ein Experiment, bei dem der Versuchsperson verborgen bleibt, welches Treatment (z.B. ein Medikament oder ein  Placebo) verabreicht wird. Im DoppelBlindversuch bleibt das Treatment zusätzlich auch dem Versuchsleiter verborgen.

Bootstrap: Unter der Annahme, dass eine gezogene Zufallsstichprobe die gleiche Verteilung wie die Population besitzt, wird eine Approximation an die Population dadurch erreicht, indem zahlreiche Kopien der Zufallsstichprobe erzeugt werden, aus denen die gewünschte Verteilungsstatistik ermittelt wird.