M6 Grundlagen der Testkonstruktion

Es geht um die Identifikation von Gruppen von Personen oder Objekten auf der Grundlage empirischer Informationen.

Es ist die Klassifikation von Personen aufgrund mehrerer, simultan erfasster Merkmale mittels der Clusteranalyse.

Dabei werden Personen zusammengefasst, die sich durch eine ähnliche Konfiguration von Ausprägungen auf mehreren Merkmalen auszeichnen. (häufig werden keine neuen Tests konstruiert sondern vorhandenes Inventar reanalysiert)

- bei psychologischen Laien

- in der Personalberaterszene : Myers-Briggs-Type Indicator MBTI (1998)

-> auf empirische Prüfung und Fundierung wird gern weitgehend verzichtet.

die Ähnlichkeit mit einem als idealtypisch eingeschätzten Vertreter eines Typus oder auch einer Verhaltensweise als kognitiver Ankerreiz für die Einschätzung anderer Objekte

es kann zu Stereotypisierung kommen

Sie hängt von den Vorkenntnissen über den Mekmalsbereich ( so rational wie möglich) und dem angestrebten Geltungsbereich ab.

inhaltliche Aspekte - Was frage ich

Formale Aspekte - Wie frage ich

- sprachliche Aspekte der Itemfrmulierung

- Festlegung des Antwortformulars

Es muss geklärt werden:

- ob, objektive (Leistungstests) oder

- subjektive Informationen erhoben werden sollen

-Selbsteinschätzung

- Fremdeinschätzung

Auf Aufgaben in Fähigkeits- und Leistungstests

1. Beschreibung von Reaktionen (offene, beobachtbare Handlungen/verborgene, interne Handlungen/ Symptome, physische Reaktionen)

2. Eigenschaftszuschreibungen

3. Wünsche und Interessen

4. Biografische Fakten

5. Einstellungen und Überzeugungen

6. Reaktionen anderer auf die Person

7. Bizarre Items

- gerade external konstruierte Skalen schöpfen oft aus einem öffentlichen oder mit Zustimmung der Originalautoren zugänglichem Itempool.

- Für die rationale oder internale Entwicklung von Persönlichkeitsskalen steht mit dem International Personality Item Pool (IPIP), der unter Einhaltung bestimmter Standards frei zugänglich ist, ein umfangreicher Itempool zur Verfügung.

- Items verschiedener Fragebögen können einander ohne plagiatorishe Absichten ähneln.

- die Itemgenerierung erfolgt weitgehend unsystematisch

- geleitet im Wesentlichen von der Intuition und dem Geschick des Testautors (zb Einfühlungsvermögen in die Testperson)

- wesentlich ist die Qualität der Arbeitsdefinition des Merkmalsbereichs. ( Item soll innerhalb des Bereichs sein und ihn repräsentativ abdecken)

- Abgesehen von der Einhaltung genereller Empfehlungen zur Formulierung wird ein Regelsystem für die spezifische Testentwicklung aufzustellen.

- Die Regeln können sich auf inhaltliche und/oder formale Aspekte beziehen.

Beispiel: FFPI ( schließt beide Aspekte und deren Begründung ein )

Der Ansatz der Verhaltenshäufigkeiten, Act Frequency Approach, ( Buss & Craik 1983)

Metatheorie der Persönlichkeit

sie werden als kognitive Kategorien aufgefasst, in denen Verhaltensweisen nach der Häufigkeit ihres Auftretens ohne eigentlichen Erklärenswert zusammengefasst werden.

Die Grenzen sind nicht klar umrissen. Es gibt Handlungen, die für die Eigenschaft besonders zentral oder prototypisch sind und solche mit eher peripherer Zugehörigkeit zur Kategorie. Der AFA stellt nun auch eine Methodologie zur Verfügung, um solche Unterschiede aufzudecken und in ein Messinstrument umzusetzen.

VPn (Psy. Laien) sollen Eigenschaften und Verhaltensweisen aufzählen, die besonders typisch für eine Eigenschaft sind= Itemsammlung, diese wird von unabhängigen Teilnehmer auf Prototypizierung eingeschätzt. Die besonders prototypischen Items werden beibehalten, in Ich-Form übertragungen und zu einem Test zur Selbsteinschäzung der Persönlichkeit verwendet.

Beurteilungen der Prototypizität stimmen nach empirischen Befunden zumeist gut überein ( Buss & Craik 1983)

Die AFA erlaubt die Generierung und Zuordnung von Item zu Skalen bzw. von Verhalten zu Eigenschaften unabhängig von der Intuition des Testautors.

Ein psychometrisches Problem bei der Umsetzung in Selbstberichte im Befund sog. Aktivitätsfaktoren: manche Versuchspersonen neigen generell häufiger als andere dazu anzugeben, dass sie Verhalten jeglicher Art gezeigt aben ( oder sie sind tatsächlich generell aktiver), weshalb unterschiedliche Eigenschaften in nach AFA konstruierten Tests tendenziell höher miteinander korrelieren als bei konventionell konstruierten Persönlichkeitsinventaren.

-entstammt der AO-Psychologie (als Verfahren der beruflichen Leistungsbeurteilung konzipiert)

- dient vorwiegend der anforderungsanalytischen Fundierung zahlreicher Instrumente der AO-Psy.

Dass sich gute oder unbefriedigende Leistungen in konkreten erfolgskritischen Ereignisse niederschlagen.

-Stelleninhaber/ andere Experten sind instruiert konkret und verhaltensnah kritische Ereignisse einzuschätzen (wie beim AFA)

- kritische Ereignisse sind umfangreicher als beim AFA

- kritische Ereignisse schließen dn situativen Kontext mit Vor- und Nachgeschichte mit ein.

- Mittels unabhängiger Einschätzungen der Erfolgswirksamkeit erfolgt die Umsetzng in ein Erhebungsinstrument ( Einstellungsinterview)

kurze Zusammenfassungen der kritischen Ereignisse am Ende

- Eignungsdiagnostische Instrumente, die mittels CIT fundiert sind, haben sichbesonders hinsichtlich ihrer Validität zur Vorhersage beruflicher Leistung vielfach empirisch bewährt.

- sie ist ein Hilfsmittel vor allem zur anforderungsanalytischen Unterstützung der Entwicklung von Verfahren zur Maximierung der kriterienbezogenen Validität.

- sie erlaubt es auch dann den relevanten Merkmalsbereich abzugrenzen, wenn dies mangels Daten mit den empirischen Mitteln der externalen Testkonstruktion nicht möglich ist.

- Der Entwicklungsaufwand ist erheblich

- Verhaltensbeispiele für mittlere Leistung sind schwer zu finden

- Die sammlung kritischer Ereignisse ergibt nicht notwendig ein homogenes und interpretierbares Konstrukt.

-Itemstamm ( Die eigentliche Frage/Aufgabe, Reiz)

- die Vorgabe des Antwortformats/ mögliche Reaktionen

Es werrden unterschiedlich differenzierte Hinweise gegeben, die zum Teil auch auf Aufgaben bestimmter Testtypen zugeschnitten sind.

- Förderung der Verständlichkeit

- Endeutigkeit der Formulierung

- Vermeidung der Bevorzugung bestimmter Antwortalternativen

-

- Vermeidung von ( auch versteckten) doppelten Verneinungen

- Vermeidung von Ausdrücken, die der Testteilnehmer nnicht versteht

- Den Sachverhalt so kurz wie möglich und so lang wie nötig ausdrücken

- Jedem Item soll nur EIN sachlicher Gedanke zugrunde liegen

- Vermeidung starker Verallgemeinerungen

- Verwendung von ausschließlich zeitlichen und situativen Bezügen

- Vermeidung unnötiger suggestiver und unnötiger wertender Formulierungen

- Verrmeidung von Gemeinplätzen