M6a - 3421 - Testkonstruktion

Tests ohne Zeitbeschränkung, sog. Niveautests

in der Regel der Schwierigkeitsgrad von Item zu Item an. Während jedoch bei zeitbegrenzten Speedtests alle Items bei unbegrenzter Lösungszeit für die meisten Probanden lösbar wären, erreichen Aufgaben in Powertests ein Niveau, an dem eine im Verlauf zunehmende Anzahl von Teilnehmern scheitert.

Beim Test wird die Schwierigkeit der Aufgaben dynamisch dem individuellen Leistungsniveau angepasst.

--> Computergestützt

Von jedem Item wird angenommen, dass es ein beobachtbarer Indikator (manifeste Variable) für ein zugrunde liegendes nicht beobachtbares Konstrukt (latente Variable) sei.

Die KTT geht von einer Varianz von Messwerten aus (zwischen Teilen eines Tests, intraindividuell, interindividuell)

Bei beliebig häufiger Testung würden sich die Testergebnisse einer Normalverteilung annähern.

Der Mittelwert dieser (hypothetischen) Nor-malverteilung ist in der KTT als der wahre Wert Ti (von Englisch: true score) de-finiert. Diese Aussage wird auch als Existenzaxiom bezeichnet.

Jeder beobachtete Wert setzt sich aus wahrem Wert und einer Fehlerkomponente zusammen (X = T + E). (setzt Intervallskalenniveau voraus!)

Daraus folgt:

Der Mittelwert des Messfehlers ist =0.
Wahrer Wert und Fehler sind unkorreliert.
Fehler verschiedener Tests sind unkorrliert.
Kreuzweise unkorreliertheit von Fehlern und wahrern Werten verschiedener Tests.

Reliabilität: definiert als Anteil der wahren Varianz an der gesamten Varianz.

Zur Schätzung existieren unterschiedliche Schätzverfahren.

R. ist Grundlage für Bestimmung von Standardschätz- und Standardmessfehler.

Systematische Fehler (=Bias) werden der wahren Varianz zugeschlagen!

Vaidität = Anteil Zielkonstruktvalidität an Gesamtvarianz

r_tc = S2c/(S²_c + S²_B + S²_E)

Die PTT geht davon aus, dass die Lösungswahrscheinlichkeit eines Items von Parametern der Person (Fähigkeit / Eigenschaft) und des Item (Schwierigkeit) abhängen.

Personenparameter und Itemparameter --> die Beziehung zwischen diesen ist probabilistisch

In der PTT wird ein Modelltest durchgeführt, der die Erfüllung der Voraussetzungen prüft (Zulässigkeit Summation, Eindimensionalität).

Wenn das Modell gültig ist, dann ist der Summenwert der Itemantworten eine "erschöpfende Statistik" der Fähigkeit der Person.

Rationale Testkonstruktion

Externale Testkonstruktion

Internale Testkonstruktion

Typologisierender Ansatz

Prototypenansatz

Berliner Intelligenzstruktur-Test

Beispiel eines rational konstruierten Tests, mehrdimensional aufgebaut

Retrospective Behavioral Self-Control Scale

Test zur Selbstkontrolle

rational konstruierter Test

California Psychological Inventory

Five Factor Personality Inventory

Myers-Briggs-Type Indicator

in typologisierender Strategie erstellter Test

Beschreibung von Reaktionen

Eigenschaftszuschreibungen

Wünsche und Interessen

Biografische Daten

Einstellungen und Überzeugungen

Reaktionen anderer auf die eigene Person

Bizarre Items

Minnesota Multiphasic Personality Inventory

International Personality Item Pool

Ansatz der Verhaltenshäufigkeiten = act frequency approach

Vorgehensweise: Vorgabe einer Eigenschaft an Laien, dieser soll sich (bekannte) Person mit diesen Eigenschaften vorstellen und konkrete Verhaltensweisen aufschreiben; generierter Itempool wird dann von Anderen hinsichtlich Prototypizität für Eigenschaft eingeschätzt, beste Items werden „behalten“Bewertung: meist gute empirische Bestätigung der Prototypizität; Generierung von Items unabhängig von Intuition des Autors; allerdings Problem bei der Umsetzug in Selbstberichte (Aktivitätsfaktoren), daher teilweise höhere Korrelationen als in anderen Tests

Methode der kritischen Ereignisse = critical incident technique 

Aus Organisationspsychologie (Leistungsbeurteilung) Grundidee: Leistung (gut oder schlecht) schlägt sich in konkreten (erfolgskritischen) Ereignissen nieder, diese kritischen Ereignisse werden durch Einschätzung von Experten identifiziert/benannt; Umsetzung in Erhebungsinstrument durch unabhängige einschätzung zur Erfolgswirksamkeit

Verständlichkeit

(doppelte Verneinungen meiden; Ausdrücke meiden, die nicht jeder versteht; so kurz wie möglich, so lang wie nötig)

Eindeutigkeit

(pro Item nur ein sachlicher Gedanke; Vermeiden von Verallgemeinerungen; Verwenden von eindeutigen zeitlichen und situativen Bezügen)

Meidung von Antworttendenzen

(Vermeiden von [unnötigen] suggestiven und [unnötigen] wertenden Formulierungen; Vermeidung von Gemeinplätzen)

Aufgaben mit freiem Antwortformat (eher bei Fähigkeits- und Leistungstests, auch: projektive Verfahren; Nachteil: fehlende Standardisierung der Antwortformate)

o    Kurzaufsatzaufgaben

o    Ergänzungsaufgaben

Aufgaben mit gebundenen Antwortformat (Items sind hier auswertungsobjektiv)

o    Ordnungsaufgaben

§  Zuordnungsaufgaben

§  Umordnungsaufgaben

o    Auswahlaufgaben

§  Dichotome Aufgaben (Richtig/Falsch; Ja/Nein)

§  Mehrfachwahlaufgaben (Mehrere Antwortalternativen)

o    Beurteilungsaufgaben

§  Analogskalenaufgaben

§  Ratingskalenaufgaben (häufigste Form; Frage des Skalenniveaus [metrisch?, Intervallskala wird meist unterstellt)

-          Aufgaben mit atypischen Antwortformat

generelle Tendenz zur Zustimmung bei Befragung

falsche Antwortalternativen (bei Mehrfachwahlaufgaben)

aus vorgegebener Menge muss eine Variante gewählt werden

Antwortalternativen bei Forced-Choice-Item werden verschiedenen Merkmalen inmehrdimensionalen Test zugeordnet

Hamburg-Wechsler-Intelligenztest für Kinder

können bei Itemsortierung (im Fragebogen) auftreten, z.B. Assimilationseffekt oder Kontrasteffekt, Kontexteffekte

=deduktive, = theoriegeleitete Konstruktion)Ableitung von spezifischen Indikatoren (deduktiv) aus allgemeiner Definition (diese muss operational sein);

Definition sollte auch alle Subkonstrukte und Facetten einschließend.h. die Testkonstruktion erfolgt aufgrund einer vorher definierten Theorie

BIS

RBS

Zu Beginn der Testkonstruktion liegt keine Theorie vor sondern unterscheidbare Ausprägungen bei Personengruppen (Vorliegen / Nicht-Vorliegen einer bestimmten Eigenschaft)

Externale Testkonstruktion ist kriterienorientiert

MMPI = Minnesota Multiphasic Personality Inventory

CPI = California Psychological Inventory