Quelle neuer Items
- nicht seltene Quelle: Auswahl aus vorhandenem Itempool
- sonst: Generierung Pool neuer Aufgaben
o weitgehend unsystematisch – geleitet von Intuition und Geschick des Tes-tautors
sehr wesentlich: Qualität der Definition des Merkmalsbereichs
jedes Item sollte innerhalb des Merkmalsbereichs liegen
Itemmenge sollte insgesamt diesen Bereich repräsentativ ab-decken
Empfehlung: Aufstellung Regelsystem für spezifische Testentwicklung
Regeln für inhaltliche Aspekte
Regeln für formale Aspekte
Techniken zur systematischen Unterstützung der Generierung von Items
act frequency approach (AFA)
Techniken zur systematischen Unterstützung der Generierung von Items
helfen gleichzeitig bei der Abgrenzung des Merkmalsbereichs
art frequency approach (AFA) (Buss & Craik, 1983) = Ansatz der Verhaltenshäufigkeiten
Metatheorie der Persönlichkeit
Dispositionen werden als kognitive Theorien aufgefasst, in de-nen Verhaltensweisen nach der Häufigkeit ihres Auftretens oh-ne eigentlichen Erklärungswert zusammengefasst werden
Handlungen sind für bestimmte Eigenschaft besonders zentral = prototypisch oder eher peripher
AFA stellt Methodologie zur Aufdeckung der Unterschiede und zur Umsetzung in ein Messinstrument zur Verfügung
Vorgehensweise
o Vpn (Laien) erhalten Eigenschaft als Vorgabe
o sollen sich bekannte Personen mit hoher Ausprägung dieser Eigenschaft vorstellen
o dazu Aufschreiben konkreter passender Eigenschaften
o entstandene Itemsammlung wird von weiterer Teilneh-mergruppe auf Prototypizität für Eigenschaft einge-schätzt
o besonders passende Items werden beibehalten und in Ich-Form übertragen Test zur Selbsteinschätzung möglich
Bewertung
o empirisch gute Beurteilungen
o AFA erlaubt Generierung / Zuordnung von Items zu Skalen bzw. Verhalten zu Eigenschaften unabhängig von Intuition des Testautors
o psychometrisches Problem bei Umsetzung in Selbstbe-richte im Befund von sog. Aktivitätsfaktoren
CIT
critical incident technique (CIT) (Flanagan, 1954) = Methode der kritischen Ereignisse
stammt aus Organisationspsychologie als Verfahren der beruf-lichen Leistungsbeurteilung
Ansatzpunkt: gute oder unbefriedigende Leistungen schlagen sich in konkreten erfolgskritischen Ereignissen nieder
kritische Ereignisse werden durch unabhängige Befragungen generiert
Teilnehmer in der Regel Stelleninhaber oder andere Experten
umfangreicher als „cts" schließen Vor- und Nachgeschichte des kritischen Ereignisses ein
Umsetzung in Erhebungsinstrument erfolgt wieder mittels un-abhängiger Einschätzung der Erfolgswirksamkeit
kurze Zusammenfassungen der kritischen Ereignisse dienen als Anker für unterschiedliche Performanz
Bewertung
o in Bezug auf Validität zur Vorhersage beruflicher Leis-tung vielfach empirisch bewährt
o Hilfsmittel zu anforderungsanalytischen Unterstützung von Verfahren mit Ziel der Maximierung der kriterienbe-zogenen Validität
o Abgrenzung des relevanten Merkmalsbereichs auch dann möglich, wenn dies mangels Daten mit empiri-schen Mitteln der externalen Testkonstruktion nicht möglich ist
o Entwicklungsaufwand erheblich
o Verhaltensbeispiele für mittlere Leistung schwer zu fin-den
o Sammlung kritischer Ereignisse z. T. nicht homogenes und interpretierbares Konstrukt