M6 - Grundlagen der Testkonstruktion

hier werden Elemente der externalen und der internalen Strategie verbunden

- es geht um die Identifikation von Gruppen von Personen oder Objekten auf der Grundlage empirischer Informationen

die Klassifikation von Personen aufgrund mehrerer, simultan erfasster Merkmale mittels der Clusteranalyse --> dabei werden Personen zu Gruppen zusammengefasst, die sich durch eine ähnliche Konfiguration von Ausprägungen auf mehreren Merkmalen auszeichnen

hier wird die Ähnlichkeit mit einem als idealtypisch eingeschätzten Vertreter eines Typus oder auch einer Verhaltensweise als kognitiver Ankerreiz für die Einschätzung anderer Objekte vorgegeben wird

- inhaltliche Aspekte (Was frage ich?)

- formale Aspekte (Wie frage ich?)

--> also die sprachlichen Aspekte der Itemformulierung und die Festlegung des Antwortformats

- ob objektive (Leistungstests) oder subjektive Informationen erhoben werden

- bei subjektiven Infos wird noch zwischen Selbst- und Fremdeinschätzungen unterschieden

- an formalen Aspekten und sie sind häufig auf Aufgaben in Fähigkeits- und Leistungstests zugeschnitten

1. Beschreibung von Reaktionen, darunter

a) offene, beobachtbare Handlungen (Bsp: Ich gehe oft auf Parties)

b) verborgene, interne Reaktionen (Bsp: Ich denke viel über mich selbst nach)

c) Symptome, physische Reaktionen (Bsp: ich schwitze viel)

2. Eigenschaftszuschreibungen (Bsp: ich habe gute schauspielerische Fähigkeiten)

3. Wünsche und Interessen (Bsp: Manchmal würde ich am liebsten laut fluchen)

4. Biografische Fakten (Bsp: ich hatte in meiner Jugend schon mal Ärger mit dem Gesetz)

5. Einstellungen und Überzeugungen (Bsp: Ich glaube Gesetzt sollten mit aller Härte druchgesetzt werden)

6. Reaktionen anderer auf die eigene Person (Bsp: Ich stehe auf Parties selten im Mittelpunkt)

7. Bizarre Items (Bsp: Jemand versucht mich zu vergiften)

- die Qualität der Arbeitsdefinition des Merkmalsbereichs

--> jedes einzelne Item sollte innerhalb des definierten Bereichs liegen und die Itemmenge sollte insgesamt diesen Bereich repräsentativ abdecken

- außerdem empfiehlt es sich ein Regelsystem für die spezifische Testentwicklung aufzustellen

- auf inhaltliche als auch auf formale Aspekte

- AFA (act frequency approach)

- CIT (critical incident technique)

- Dispositionen werden als kognitive Kategorien aufgefasst, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärungswert zusammengefasst werden

- es gibt Handlungen, die für die Eigenschaft besonders zentral oder prototypisch sind und solche mit eher peripherer Zugehörigkeit zur Kategorie

- der AFA stellt eine Methodologie zur Verfügung, um solche Unterschiede aufzudecken und in ein Messinstrument umzusetzen

siehe Seite 41

erlaubt die Generierung und Zuordnung von Items zur Skalen bzw. von Verhalten zu Eigenschaften unabhängig von der Intuition des Autors

Problem bei der Umsetzung in Selbstberichte im Befund sog. Aktivitätsfaktoren:

- manche Vpn neigen häufiger als andere dazu anzugeben, dass sie Verhalten jeglicher Art gezeigt haben, weshalb unterschiedl. Eigenschaften in nach AFA konstruierten Tests tendenziell höher miteinander korrelieren als bei konventionell konstruierten Persönlichkeitsinventaren

- der anforderungsanalytischen Fundierung zahlreicher Intsrumente der Arbeits- und Organisationspsychologie

gute oder unbefriedigende Leistungen schlagen sich in konkreten erfolgskritischen Ereignissen nieder

- Itemstamm: eigentliche Frage oder Aufgabe

- Vorgabe des Antwortformats bzw. den möglichen Reaktionen

die Richtlinien beziehen sich im Allgemeinen auf:

- die Förderung der Verständlichkeit

- die Eindeutigkeit der Formulierung

- die Vermeidung der Bevorzugung bestimmter Antwortalternativen

- gebundene Beantwortung: es sind konkrete Lösungsmöglichkeiten oder Antwortalternativen vorgegeben

- offene Beantwortung: gar nicht oder nur wenig durch Antwortvorgaben eingeschränkt

Aufgaben mit freiem Antwortformat:

- Kurzaufsatzaufgaben

- Ergänzungsaufgaben

Aufgaben mit gebundenem Antwortformat:

- Ordnungsaufgaben

-- Zuordnungsaufgaben

-- Umordnungsaufgaben

- Auswahlaufgaben

-- dichotome Aufgaben

-- Mehrfachwahlaufgaben

- Beurteilungsaufgaben

-- Analogskalaaufgaben

-- Ratingskalaaufgaben

- theoretische Ableitung

- Literaturrecherche

- explorative Verfahren zur Datenerhebung (z.B. Befragung von Experten mittels qualitativer Interviews

- strukturierte Varianten der Merkmalsabgrenzung: z.B. Facettentheorie, act frequnecy approach oder die Methode der kritischen Ereignisse

- eine Methode zur Systematisierung wissenschaftlicher Fragestellungen

- stellt Werkzeuge zur Verfügung, um einen Merkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facetten) und deren Ausprägungen zu zergliedern und die Beziehungen zwischen den Facetten darzustellen und anschließend auch empirisch zu skalieren

- bildet die Grundlage der Formulierung

- kann aus einer Liste konkurrierender Definitionen bestehen

- oft schon durch die Vorgabe des Auftraggebers für den Test

- aber auch durch den Testentwickler selbst, denn er muss sich an ethische Richtlinien halten, etc.

- rationale, deduktive oder theoriegeleitete Konstruktion

- externale, empirische oder kriteriumsorientierte Strategie

- internale, induktive oder faktorenanalytische Strategie

- typologisierende Strategie (selten)

- Prototypenansatz (selten)

- eine operationale Definition des Zielkonstrukts, aus der der Testautor spezifische Indikatoren (deduktiv) ableitet, die sich direkt beobachten lassen

- es kann auch eine theoretische Auswahl aus einem Itempool getroffen werden

- der Schritt der Umsetzung von der theoretischen Definition in eine Messvorschrift bzw. konkrete Items ist oft nicht ohne ein hohes Maß an Intuition bzw. subjektiver Bewertung seitens des Testautors zu leisten

- Berliner Intelligenzstruktur-Test (BIS-Test)

- von einer hierarchischen Struktur der Intelligenz - d.h. es existieren unterscheidbare spezielle Fähigkeiten, deren gemeinsames Element auf einer höheren Ebene generelle Intelligenz ist

- wenn es um eindimensionale Tests geht (im Gegensatz zum z.B. BIS-Test)

Restrospective Behavioral Self-Control Scale (RBS)

die Erhebung empirischer Daten wird wird spätestens bei der Validierung rational konstruierter Skalen notwendig

- empirische Daten

- das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden (in einem technischen Sinn diskriminiert) werden

Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen - dazu wird die Existenz von Gruppen nicht vorausgesetzt!

Tests, deren Items nach ihrer maximalen Korrelation mit dem kontinuierlichen verteilten Kriterium z.B.: Berufsleistung ausgewählt werden, sind external konstruiert

--> dafür kommt es allein auf die Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit einem Kriterium an, wobei im Extremfall auf inhaltliche Erwägungen ganz verzichtet wird

- atheoretische Anpassung an die Stichprobe, wie auch bei der Multiplen Regression

Folge:

- inhaltlich oft schwer interpretierbare Skalen

- Erfordernis großer und repräsentativer Stichproben bei der Entwicklung

- setzt sachgemäße Anwendung voraus

- setzt acuh bei geringem theoretischem Vorwissen eine gewisse kriterienbezogene Validität voraus --> damit ist der praktische Nutzen gewährleistet

- Minnesota Multiphasic Personality Inventory

- California Psychological Inventory (CPI)

es wird auf empirische Informationen zurückgegriffen, die sich nicht auf ein Außenkriterium, sondern auf die Binnenstruktur des Tests beziehen

- dazu Generierung eines Itempools, der einen sehr breiten Merkmalsbereich abdeckt

- dann werden die Itmes einer Stichprobe zur Bearbeitung vorgelegt und die Daten hinsichtlich der Korrelationsmuster zwischen den Items untersucht --> mittels explorativer Varianten der Faktorenanalyse

- Ergebnis: mehrdimensionale Inventare, deren Subskalen jeweils homogene Konstrukte messen, insgesamt aber einen breiten und heterogenen Merkmalsbereich abdecken