M6a - 3421 - Testkonstruktion

International Personality Item Pool

Ansatz der Verhaltenshäufigkeiten = act frequency approach

Vorgehensweise: Vorgabe einer Eigenschaft an Laien, dieser soll sich (bekannte) Person mit diesen Eigenschaften vorstellen und konkrete Verhaltensweisen aufschreiben; generierter Itempool wird dann von Anderen hinsichtlich Prototypizität für Eigenschaft eingeschätzt, beste Items werden „behalten“Bewertung: meist gute empirische Bestätigung der Prototypizität; Generierung von Items unabhängig von Intuition des Autors; allerdings Problem bei der Umsetzug in Selbstberichte (Aktivitätsfaktoren), daher teilweise höhere Korrelationen als in anderen Tests

Methode der kritischen Ereignisse = critical incident technique 

Aus Organisationspsychologie (Leistungsbeurteilung) Grundidee: Leistung (gut oder schlecht) schlägt sich in konkreten (erfolgskritischen) Ereignissen nieder, diese kritischen Ereignisse werden durch Einschätzung von Experten identifiziert/benannt; Umsetzung in Erhebungsinstrument durch unabhängige einschätzung zur Erfolgswirksamkeit

Verständlichkeit

(doppelte Verneinungen meiden; Ausdrücke meiden, die nicht jeder versteht; so kurz wie möglich, so lang wie nötig)

Eindeutigkeit

(pro Item nur ein sachlicher Gedanke; Vermeiden von Verallgemeinerungen; Verwenden von eindeutigen zeitlichen und situativen Bezügen)

Meidung von Antworttendenzen

(Vermeiden von [unnötigen] suggestiven und [unnötigen] wertenden Formulierungen; Vermeidung von Gemeinplätzen)

Aufgaben mit freiem Antwortformat (eher bei Fähigkeits- und Leistungstests, auch: projektive Verfahren; Nachteil: fehlende Standardisierung der Antwortformate)

o    Kurzaufsatzaufgaben

o    Ergänzungsaufgaben

Aufgaben mit gebundenen Antwortformat (Items sind hier auswertungsobjektiv)

o    Ordnungsaufgaben

§  Zuordnungsaufgaben

§  Umordnungsaufgaben

o    Auswahlaufgaben

§  Dichotome Aufgaben (Richtig/Falsch; Ja/Nein)

§  Mehrfachwahlaufgaben (Mehrere Antwortalternativen)

o    Beurteilungsaufgaben

§  Analogskalenaufgaben

§  Ratingskalenaufgaben (häufigste Form; Frage des Skalenniveaus [metrisch?, Intervallskala wird meist unterstellt)

-          Aufgaben mit atypischen Antwortformat

generelle Tendenz zur Zustimmung bei Befragung

falsche Antwortalternativen (bei Mehrfachwahlaufgaben)

aus vorgegebener Menge muss eine Variante gewählt werden

Antwortalternativen bei Forced-Choice-Item werden verschiedenen Merkmalen inmehrdimensionalen Test zugeordnet

Hamburg-Wechsler-Intelligenztest für Kinder

können bei Itemsortierung (im Fragebogen) auftreten, z.B. Assimilationseffekt oder Kontrasteffekt, Kontexteffekte

=deduktive, = theoriegeleitete Konstruktion)Ableitung von spezifischen Indikatoren (deduktiv) aus allgemeiner Definition (diese muss operational sein);

Definition sollte auch alle Subkonstrukte und Facetten einschließend.h. die Testkonstruktion erfolgt aufgrund einer vorher definierten Theorie

BIS

RBS

Zu Beginn der Testkonstruktion liegt keine Theorie vor sondern unterscheidbare Ausprägungen bei Personengruppen (Vorliegen / Nicht-Vorliegen einer bestimmten Eigenschaft)

Externale Testkonstruktion ist kriterienorientiert

MMPI = Minnesota Multiphasic Personality Inventory

CPI = California Psychological Inventory

Leistungstests (Entwicklungstests, Intelligenztests, Allgemeine Leistungstests, Schultests, spezielle Funktionsprüfungs- und Eignungstests) geben Aufschluss über Fähigkeiten und Fertigkeiten eines Individuums. Sie bestehen in der Regel aus einer Vielzahl von Problemlöseaufgaben, deren Beantwortung als richtig oder als falsch eingestuft wird.

Persönlichkeits-Entfaltungsverfahren (Formdeuteverfahren, Verbal-thematische Verfahren, Zeichnerische und Gestaltungsverfahren) sind sog. projektive Tests. Sie bestehen aus weitgehend unstrukturiertem Ma-terial (z. B. Farbkleckse, Satzanfänge, Spielmaterial) oder mehrdeutigen Bildern, die vom Probanden vollendet bzw. gedeutet werden müssen. Dabei wird davon ausgegangen, dass die Testpersonen bei der Struktu-rierung des Materials ihre unbewussten Motive, Gefühle oder Einstellun-gen in die Geschichte oder das Bild projizieren. Allerdings sind solche Verfahren häufig nicht nach testtheoretischen Prinzipien konstruiert und überprüft; die Auswertung erfolgt nach Regeln mit weiten subjektiven In-terpretationsspielräumen, so dass sie streng genommen nicht den Tests zuzurechnen sind. Anders zu beurteilen sind semi-projektive Tests, bei denen das Prinzip der Projektion mit dem der Standardisierung verbun-den wird.

Konstrukttests erlauben einen wis-senschaftlich begründbaren Rückschluss vom Testverhalten auf dahinter liegende Eigenschaften und Fähigkeiten (Konstrukte). Diese Tests sind normorientiert, da das Testergebnis einer Person relativ zur durchschnittlichen Ausprägung (= Norm) einer Bezugsgruppe gesehen wird.

Bei kriterienorientierten Tests (lehrzielorientierte Leistungsmessung) wird die individuelle Testleistung nicht mit einer Bezugsgruppe verglichen, sondern mit einer Idealnorm, dem Lehrziel.

Diese Tests gestatten keine Aussagen über die Fähigkeiten und Eigenschaften eines Schülers, sondern informieren darüber, ob das Unterrichtsziel erreicht wurde.

Sind seltener als Konstrukttests.

zeitgebundene Schnelligkeitstests

Tests ohne Zeitbeschränkung, sog. Niveautests

in der Regel der Schwierigkeitsgrad von Item zu Item an. Während jedoch bei zeitbegrenzten Speedtests alle Items bei unbegrenzter Lösungszeit für die meisten Probanden lösbar wären, erreichen Aufgaben in Powertests ein Niveau, an dem eine im Verlauf zunehmende Anzahl von Teilnehmern scheitert.

Beim Test wird die Schwierigkeit der Aufgaben dynamisch dem individuellen Leistungsniveau angepasst.

--> Computergestützt

Von jedem Item wird angenommen, dass es ein beobachtbarer Indikator (manifeste Variable) für ein zugrunde liegendes nicht beobachtbares Konstrukt (latente Variable) sei.

Die KTT geht von einer Varianz von Messwerten aus (zwischen Teilen eines Tests, intraindividuell, interindividuell)

Bei beliebig häufiger Testung würden sich die Testergebnisse einer Normalverteilung annähern.

Der Mittelwert dieser (hypothetischen) Nor-malverteilung ist in der KTT als der wahre Wert Ti (von Englisch: true score) de-finiert. Diese Aussage wird auch als Existenzaxiom bezeichnet.

Jeder beobachtete Wert setzt sich aus wahrem Wert und einer Fehlerkomponente zusammen (X = T + E). (setzt Intervallskalenniveau voraus!)

Daraus folgt:

Der Mittelwert des Messfehlers ist =0.
Wahrer Wert und Fehler sind unkorreliert.
Fehler verschiedener Tests sind unkorrliert.
Kreuzweise unkorreliertheit von Fehlern und wahrern Werten verschiedener Tests.

Reliabilität: definiert als Anteil der wahren Varianz an der gesamten Varianz.

Zur Schätzung existieren unterschiedliche Schätzverfahren.

R. ist Grundlage für Bestimmung von Standardschätz- und Standardmessfehler.

Systematische Fehler (=Bias) werden der wahren Varianz zugeschlagen!

Vaidität = Anteil Zielkonstruktvalidität an Gesamtvarianz

r_tc = S2c/(S²_c + S²_B + S²_E)

Die PTT geht davon aus, dass die Lösungswahrscheinlichkeit eines Items von Parametern der Person (Fähigkeit / Eigenschaft) und des Item (Schwierigkeit) abhängen.

Personenparameter und Itemparameter --> die Beziehung zwischen diesen ist probabilistisch

In der PTT wird ein Modelltest durchgeführt, der die Erfüllung der Voraussetzungen prüft (Zulässigkeit Summation, Eindimensionalität).

Wenn das Modell gültig ist, dann ist der Summenwert der Itemantworten eine "erschöpfende Statistik" der Fähigkeit der Person.

Rationale Testkonstruktion

Externale Testkonstruktion

Internale Testkonstruktion

Typologisierender Ansatz

Prototypenansatz