M6 - Grundlagen der Testkonstruktion

- eine operationale Definition des Zielkonstrukts, aus der der Testautor spezifische Indikatoren (deduktiv) ableitet, die sich direkt beobachten lassen

- es kann auch eine theoretische Auswahl aus einem Itempool getroffen werden

- der Schritt der Umsetzung von der theoretischen Definition in eine Messvorschrift bzw. konkrete Items ist oft nicht ohne ein hohes Maß an Intuition bzw. subjektiver Bewertung seitens des Testautors zu leisten

- Berliner Intelligenzstruktur-Test (BIS-Test)

- von einer hierarchischen Struktur der Intelligenz - d.h. es existieren unterscheidbare spezielle Fähigkeiten, deren gemeinsames Element auf einer höheren Ebene generelle Intelligenz ist

- wenn es um eindimensionale Tests geht (im Gegensatz zum z.B. BIS-Test)

Restrospective Behavioral Self-Control Scale (RBS)

die Erhebung empirischer Daten wird wird spätestens bei der Validierung rational konstruierter Skalen notwendig

- empirische Daten

- das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden (in einem technischen Sinn diskriminiert) werden

Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen - dazu wird die Existenz von Gruppen nicht vorausgesetzt!

Tests, deren Items nach ihrer maximalen Korrelation mit dem kontinuierlichen verteilten Kriterium z.B.: Berufsleistung ausgewählt werden, sind external konstruiert

--> dafür kommt es allein auf die Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit einem Kriterium an, wobei im Extremfall auf inhaltliche Erwägungen ganz verzichtet wird

- atheoretische Anpassung an die Stichprobe, wie auch bei der Multiplen Regression

Folge:

- inhaltlich oft schwer interpretierbare Skalen

- Erfordernis großer und repräsentativer Stichproben bei der Entwicklung

- setzt sachgemäße Anwendung voraus

- setzt acuh bei geringem theoretischem Vorwissen eine gewisse kriterienbezogene Validität voraus --> damit ist der praktische Nutzen gewährleistet

- Minnesota Multiphasic Personality Inventory

- California Psychological Inventory (CPI)

es wird auf empirische Informationen zurückgegriffen, die sich nicht auf ein Außenkriterium, sondern auf die Binnenstruktur des Tests beziehen

- dazu Generierung eines Itempools, der einen sehr breiten Merkmalsbereich abdeckt

- dann werden die Itmes einer Stichprobe zur Bearbeitung vorgelegt und die Daten hinsichtlich der Korrelationsmuster zwischen den Items untersucht --> mittels explorativer Varianten der Faktorenanalyse

- Ergebnis: mehrdimensionale Inventare, deren Subskalen jeweils homogene Konstrukte messen, insgesamt aber einen breiten und heterogenen Merkmalsbereich abdecken

- für spätere Modelle, i dem aus den spezifischen Daten induktiv auf ein allgemeines Modell geschlossen wird

- Primärfaktorenmodell der Intelligenz (Thurstone & Turstone)

- Inventare im Bereich der Persönlichkeitseigenschaften: klassische Modelle von Guilford, Eysenck sowie die unterschiedlichen Varianten des Fünf-Faktoren-Modells

hier werden Elemente der externalen und der internalen Strategie verbunden

- es geht um die Identifikation von Gruppen von Personen oder Objekten auf der Grundlage empirischer Informationen

die Klassifikation von Personen aufgrund mehrerer, simultan erfasster Merkmale mittels der Clusteranalyse --> dabei werden Personen zu Gruppen zusammengefasst, die sich durch eine ähnliche Konfiguration von Ausprägungen auf mehreren Merkmalen auszeichnen

hier wird die Ähnlichkeit mit einem als idealtypisch eingeschätzten Vertreter eines Typus oder auch einer Verhaltensweise als kognitiver Ankerreiz für die Einschätzung anderer Objekte vorgegeben wird

- inhaltliche Aspekte (Was frage ich?)

- formale Aspekte (Wie frage ich?)

--> also die sprachlichen Aspekte der Itemformulierung und die Festlegung des Antwortformats

- ob objektive (Leistungstests) oder subjektive Informationen erhoben werden

- bei subjektiven Infos wird noch zwischen Selbst- und Fremdeinschätzungen unterschieden

- an formalen Aspekten und sie sind häufig auf Aufgaben in Fähigkeits- und Leistungstests zugeschnitten

1. Beschreibung von Reaktionen, darunter

a) offene, beobachtbare Handlungen (Bsp: Ich gehe oft auf Parties)

b) verborgene, interne Reaktionen (Bsp: Ich denke viel über mich selbst nach)

c) Symptome, physische Reaktionen (Bsp: ich schwitze viel)

2. Eigenschaftszuschreibungen (Bsp: ich habe gute schauspielerische Fähigkeiten)

3. Wünsche und Interessen (Bsp: Manchmal würde ich am liebsten laut fluchen)

4. Biografische Fakten (Bsp: ich hatte in meiner Jugend schon mal Ärger mit dem Gesetz)

5. Einstellungen und Überzeugungen (Bsp: Ich glaube Gesetzt sollten mit aller Härte druchgesetzt werden)

6. Reaktionen anderer auf die eigene Person (Bsp: Ich stehe auf Parties selten im Mittelpunkt)

7. Bizarre Items (Bsp: Jemand versucht mich zu vergiften)

- die Qualität der Arbeitsdefinition des Merkmalsbereichs

--> jedes einzelne Item sollte innerhalb des definierten Bereichs liegen und die Itemmenge sollte insgesamt diesen Bereich repräsentativ abdecken

- außerdem empfiehlt es sich ein Regelsystem für die spezifische Testentwicklung aufzustellen

- auf inhaltliche als auch auf formale Aspekte

- AFA (act frequency approach)

- CIT (critical incident technique)

- Dispositionen werden als kognitive Kategorien aufgefasst, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärungswert zusammengefasst werden

- es gibt Handlungen, die für die Eigenschaft besonders zentral oder prototypisch sind und solche mit eher peripherer Zugehörigkeit zur Kategorie

- der AFA stellt eine Methodologie zur Verfügung, um solche Unterschiede aufzudecken und in ein Messinstrument umzusetzen

siehe Seite 41

erlaubt die Generierung und Zuordnung von Items zur Skalen bzw. von Verhalten zu Eigenschaften unabhängig von der Intuition des Autors

Problem bei der Umsetzung in Selbstberichte im Befund sog. Aktivitätsfaktoren:

- manche Vpn neigen häufiger als andere dazu anzugeben, dass sie Verhalten jeglicher Art gezeigt haben, weshalb unterschiedl. Eigenschaften in nach AFA konstruierten Tests tendenziell höher miteinander korrelieren als bei konventionell konstruierten Persönlichkeitsinventaren

- der anforderungsanalytischen Fundierung zahlreicher Intsrumente der Arbeits- und Organisationspsychologie

gute oder unbefriedigende Leistungen schlagen sich in konkreten erfolgskritischen Ereignissen nieder

- Itemstamm: eigentliche Frage oder Aufgabe

- Vorgabe des Antwortformats bzw. den möglichen Reaktionen

die Richtlinien beziehen sich im Allgemeinen auf:

- die Förderung der Verständlichkeit

- die Eindeutigkeit der Formulierung

- die Vermeidung der Bevorzugung bestimmter Antwortalternativen