Lernkarten

 Merkmalsbereich: Was soll der Test messen?

- richtet sich auf Konstrukt(e), die erfasst werden sollen

 Geltungsbereich: Wo, bei wem und wofür soll der Test eingesetzt werden?

- richtet sich auf Zielgruppe, Kontext und Zweck der Anwendung

- zwischen Merkmalsbereich und Geltungsbereich treten Wechselwirkungen und Implikationen auf

o Literaturrecherche

o ggf. Umdefinieren / Einschränkung Merkmalsbereich

o. qualitative Interviews mit Experten

o Facettentheorie:  Methode zur Systematisierung wissenschaftlicher Fra-gestellungen z.B. mittels  Darstellung der Beziehungen zwischen den Facetten

o act frequency approach (AFA)

o critical incident technique (CIT)

o bei Messung psychologischer Konstrukte: Arbeitsdefinition erstellen

o bei kriterienorientierten Tests

Merkmalsbereich ist durch Inhalt und Umfang der Lernziele definiert

o Tests zur Vorhersage bestimmter Verhaltensbereiche

Eingrenzung des Geltungsbereiches

o häufig eingeschränkt durch Auftraggeber

o Einhaltung ethischer Richtlinien

o Ansprüche an empirische Prüfung und Normierung steigen, je breiter Anwen-dungsbereich und Zielgruppe definiert sind

o empirische Fundierung sollte in Entwicklungsphase angestrebtem Geltungs-bereich entsprechen -> Entscheidung über Geltungsbereich hat Einfluss auf Planung der späteren Entwicklungsschritte

o rationale = deduktive = theoriegeleitete Konstruktion

o externale = empirische = kriteriumsorientierte Strategie

o internales = induktives = faktorenanalytisches Vorgehen

o typologisierender Ansatz (selten)

o Prototypenansatz (selten)

- jeweils viele Varianten, können auch prinzipienübergreifend kombiniert werden

• Ausgangspunkt: eine operationale, zur Umsetzung in Messung geeignete theore-tische Definition des Zielkonstrukts
• Aus allgemeiner Definition werden spezifische Indikatoren (deduktiv) abgeleitet, die sich direkt beobachten bzw. erfragen lassen
• sofern vorhanden, kann eine theoretische Auswahl aus Itempool getroffen werden
• sofern nicht auf aufwändige Techniken wie AFA oder CIT zurückgegriffen wird, be-nötigen konkrete Items oft ein hohes Maß an Intuition bzw. subjektive Bewertung
• => daher sind Übergänge zwischen rationaler + intuitiver oder erfahrungsgeleiteter Testkonstruktion in Praxis oft fließend

• Rationale Konstruktion von mehrdimensionalen Tests:
  → sofern hierarchisch strukturiertes Konstrukt, sollte Definition auch alle Subkon-
       strukte bzw. Facetten einschließen
  → Bsp. für rational konstruierten Test: Berliner Intelligenzstruktur-Test (BIS-Test,     Jäger, Süß & Beauducel, 1997), der auf BIS-Test von Jäger (1984) beruht; Mo-
       dell geht von hierarchischer Struktur der Intelligenz aus mit 7 speziellen Fähigkei- ten zu denen sich die 2 Modi Inhalte + Operationen zuordnen lassen => Intelli-
       genzleistungen entstehen bimodal, also immer Kombination mind. einer inhalts-     gebundenen + einer operationalen Komponente => entsprechend erfassen Sub-   tests des BIS-Test jeweils Kombinationen einer inhaltlichen mit einer operationa-  len Fähigkeit
• Rationale Konstruktion von eindimensionalen Tests:
  → hier gestaltet sich Konstruktion einfacher wenn nur 1 homogenes Konstrukt ge-     messen werden soll

• Erhebung empirischer Daten im Rahmen der rationalen Konstruktion:
  → theoriegeleitete Entwicklung heisst, dass Itemformulierung + - auswahl sowie         Zuordnung zu Subtests aufgrund inhaltlicher Erwägungen + nicht primär auf            Grundlage empirischer Daten erfolgt
  → üblich: zunächst theoriegeleitet konstruierte Skala mittels empirischer Itemanaly-
       se verkürzen =>  notwendig wird Erhebung empirischer Daten spätestens bei          Validierung
  → keinesfalls enthebt rationale Strategie der Notwendigkeit der empirischen Prü-       fung der psychometrischen Gütekriterien

Prinzip der externalen Testkonstruktion:

• hier stehen empirische Daten im Vordergrund (Amelang & Schmidt-Atzert nennen 2006 dafür kennzeichnend: Vorliegen verschiedener Personengruppen, die mit Hilfe des Tests unterschieden werden)
• typische Anwendungsfälle:
  → Unterscheidung des Vorliegens von Persönlichkeitsstörungen von Nichtvorliegen
       (in Test werden solche Items aufgenommen, die empirisch zwischen Gruppen
       unterscheiden)
  → zur Vorhersage von kontinuierlich verteilten Merkmalen wie berufliche Leistung
       (hier werden oft künstlich Gruppen gebildet, die sich maximal unterscheiden)
• grundsätzlich setzt sie nicht die Existenz von Gruppen voraus => auch in klinischer Psychologie zunehmend Diskussion hinsichtlich fließendem Übergang zwischen normalem + pathologischem Bereich der Persönlichkeit
• auch Test, dessen Items nach max. Korrelation mit kontinuierlich verteiltem Krite-rium Berufsleistung ausgewählt werden, ist external konstruiert
• es kommt allein auf die Auswahl der Items nach Prinzip der Maximierung des empi-rischen Zusammenhangs mit einem Kriterium an, wobei im Extremfall auf inhaltliche Erwägungen ganz verzichtet wird (Mischformen mit rationalem Anteil)
  => somit ist externale Testkonstruktion kriterienorientiert (nicht mir kriteriumsorientierten Tests verwechseln, bei denen Kriterium eine Norm z.B. Lernziel bezeichnet + Items inhaltslogisch aus definiertem „Universum“ abgeleitet werden!      D.h. kriteriums- bzw. kriterienorientierte Konstruktionsstrategie im Sinne externaler Testkonstruktion + kriteriums- bzw. kriterienorientierte Testform in Abgrenzung zu normorientierten Tests)

• Bewertung der externalen Strategie:
  → Vorgehen analog zum regressionsanalytischen Ansatz => Grundproblem wie bei   Multipler Regression liegt in atheoretischer Anpassung an Stichprobe => Folge:   a.) inhaltlich oft schwer interpretierbare Skalen
       b.) bei Entwicklung große repräsentative Stichproben erforderlich
       c.) zusätzlich unabhängige Replikation (Kreuzvalidierung) der Befunde aus 1.
              Datenerhebung
  → Vorzug der Methode: sie setzt (auch bei geringem theoretischen Vorwissen)       sachgemäße Anwendung voraus, was gewisse kriterienbezogene Validität + damit praktischen Nutzen gewährleistet

Beispiele external konstruierter Tests:
a.) Minnesota Multiphasic Personality Inventory
b.) California Psychological Inventory (CPI)

• Prinzip der internalen Testkonstruktion (oder induktiven Methode):

• wie bei externaler auch Rückgriff auf empirische Daten, jedoch nicht auf Außenkri-terium (z.B. Gruppenunterscheidung) sondern auf Binnenstruktur des Tests bezo-gen
• zunächst wird Itempool generiert, der meist sehr breit definierten Merkmalsbereich abdeckt => dann werden Items einer Stichprobe zur Bearbeitung vorgelegt + Daten hinsichtlich Korrelationsmuster, typischerweise mit explorativen Varianten der Fak-torenanalyse, zwischen Items untersucht
• Ergebnis i.d.R. mehrdimensionale Inventare, deren Subskalen homogene Konstruk-te messen, insg. aber breiten heterogenen Merkmalsbereich abdecken => oft dann Grundlage späterer theoretischer Modelle i.d. aus Daten induktiv auf Modell ge-schlossen wird (so sind einige prominente Theorien u.a. der Intelligenz + der Per-sönlichkeitseigenschaften entstanden)
• induktives Vorgehen insofern empirisch als über Binnenstruktur üblicherweise keine theoretischen Vorannahmen getroffen werden, sondern aus Daten abgeleitet wer-den; Über Abgrenzung des Merkmalsbereichs nach außen sollten aber theoretische Vorstellungen existieren, bevor mit Itemsammlung begonnen wird
• Beispiele internal konstruierter Tests + Modelle:
  → Primärfaktorenmodell der Intelligenz (Thurstone & Thurstone, 1941): ein Klassi-      ker auf dem viele Intelligenztests beruhen
  → faktorenanalytische Modelle + Inventare im Bereich der Persönlichkeitseigen-
       schaften, darunter die klassischen Modelle von Guilford, Eysenck + die div. Vari-
       anten des 5-Faktoren-Modells (FFPI, Five Factor Personality Inventory von Hen-     driks, Hofsteee & DeRaad, 1999 ist kein lupenreiner Vertreter der induktiven Me-        thode, sondern ein Beispiel für die häufig vorkommende Kombination verschie-          dener Konstruktionsprinzipien

Prinzip der typologisierenden Testkonstruktion

• Verbindung Elemente der externalen + internalen Strategie (sehr seltener Ansatz)
• Identifikation von Gruppen, Personen od. Objekten auf Grundlage empirischer Infos
• dominierendes statistisches Verfahren: Klassifikation von Personen aufgrund mehr-erer, simultan erfasster Merkmale mittels Clusteranalyse => dabei Zusammenfas-sung von Personengruppen, die sich durch ähnliche Ausprägungen auf einem Merkmal ähneln (dafür werden meist vorhandene Daten reanalysiert was meist mit Informations- + Validitätsverlust verbunden ist)

Persönlichkeitstypologien v.a. bei psychologischen Laien populär → gerade Tests, die von Anfang an typologische konstruiert sind, wird weitgehend auf empirische Fundierung + Prüfung verzichtet (z.B. MBTI, Myers-Briggs-Type Indicator in Perso-nalberaterszene stark verbreitet)

o Ähnlichkeit zu einem idealtypisch eingeschätzten Vertreter eines Typus oder einer Verhaltensweise als kognitiver Ankerreiz für Einschätzung anderer Ob-jekte vorgegeben

o Gefahr durch Stereotypisierung

• Vergleichende Bewertung der 3 Hauptprinzipien

• in Vergleichsstudien kaum systematische Validierungsvorteile einer der 3 Haupt-strategien, aber z.T. leichte Vorteile der rationalen + Nachteile der internalen Strate-gie bei kriterienbezogenen Validität
• wesentlicher Vorzug der rationalen Methode: theoretische Fundierung + Interpre-tierbarkeit der Testergebnisse; Ist inbes. bei externaler Strategie oft nicht gegeben, die aber dafür geringsten theoretischen Kenntnis-Voraussetzungen unterliegt
• Wahl der am besten geeigneten Strategie hängt ab von:
  a.) Vorkenntnissen über Merkmalsbereich (Faustregel: so rational wie möglich)
  b.) Geltungsbereich

siehe Bild

Generierung eines Itempools

- Unterscheidungen

o inhaltliche und formale Aspekte

inhaltliche Aspekte = Was frage ich

objektive Informationen = Leistungstests

subjektive Informationen

o Selbsteinschätzung

o Fremdeinschätzung

formale Aspekte = Wie frage ich

sprachliche Aspekte der Itemformulierung

Festlegung des Antwortformats

Kategorien von Persönlichkeitsitems (nach Angleitner et al., 1986)

1. Beschreibung von Reaktionen

a. offene, beobachtbare Handlungen

b. verborgene, interne Handlungen

c. Symptome, physische Reaktionen

2. Eigenschaftszuschreibungen

3. Wünsche und Interessen

4. Biografische Fakten

5. Einstellungen und Überzeugungen

6. Reaktionen anderer auf die eigene Person

7. Bizarre Items

- nicht seltene Quelle: Auswahl aus vorhandenem Itempool

- sonst: Generierung Pool neuer Aufgaben

o weitgehend unsystematisch – geleitet von Intuition und Geschick des Tes-tautors

sehr wesentlich: Qualität der Definition des Merkmalsbereichs

jedes Item sollte innerhalb des Merkmalsbereichs liegen

Itemmenge sollte insgesamt diesen Bereich repräsentativ ab-decken

Empfehlung: Aufstellung Regelsystem für spezifische Testentwicklung

Regeln für inhaltliche Aspekte

Regeln für formale Aspekte

Techniken zur systematischen Unterstützung der Generierung von Items

helfen gleichzeitig bei der Abgrenzung des Merkmalsbereichs

art frequency approach (AFA) (Buss & Craik, 1983) = Ansatz der Verhaltenshäufigkeiten

Metatheorie der Persönlichkeit

Dispositionen werden als kognitive Theorien aufgefasst, in de-nen Verhaltensweisen nach der Häufigkeit ihres Auftretens oh-ne eigentlichen Erklärungswert zusammengefasst werden

Handlungen sind für bestimmte Eigenschaft besonders zentral = prototypisch oder eher peripher

AFA stellt Methodologie zur Aufdeckung der Unterschiede und zur Umsetzung in ein Messinstrument zur Verfügung

Vorgehensweise

o Vpn (Laien) erhalten Eigenschaft als Vorgabe

o sollen sich bekannte Personen mit hoher Ausprägung dieser Eigenschaft vorstellen

o dazu Aufschreiben konkreter passender Eigenschaften

o entstandene Itemsammlung wird von weiterer Teilneh-mergruppe auf Prototypizität für Eigenschaft einge-schätzt

o besonders passende Items werden beibehalten und in Ich-Form übertragen Test zur Selbsteinschätzung möglich

Bewertung

o empirisch gute Beurteilungen

o AFA erlaubt Generierung / Zuordnung von Items zu Skalen bzw. Verhalten zu Eigenschaften unabhängig von Intuition des Testautors

o psychometrisches Problem bei Umsetzung in Selbstbe-richte im Befund von sog. Aktivitätsfaktoren

critical incident technique (CIT) (Flanagan, 1954) = Methode der kritischen Ereignisse

stammt aus Organisationspsychologie als Verfahren der beruf-lichen Leistungsbeurteilung

Ansatzpunkt: gute oder unbefriedigende Leistungen schlagen sich in konkreten erfolgskritischen Ereignissen nieder

kritische Ereignisse werden durch unabhängige Befragungen generiert

Teilnehmer in der Regel Stelleninhaber oder andere Experten

umfangreicher als „cts" schließen Vor- und Nachgeschichte des kritischen Ereignisses ein

Umsetzung in Erhebungsinstrument erfolgt wieder mittels un-abhängiger Einschätzung der Erfolgswirksamkeit

kurze Zusammenfassungen der kritischen Ereignisse dienen als Anker für unterschiedliche Performanz

Bewertung

o in Bezug auf Validität zur Vorhersage beruflicher Leis-tung vielfach empirisch bewährt

o Hilfsmittel zu anforderungsanalytischen Unterstützung von Verfahren mit Ziel der Maximierung der kriterienbe-zogenen Validität

o Abgrenzung des relevanten Merkmalsbereichs auch dann möglich, wenn dies mangels Daten mit empiri-schen Mitteln der externalen Testkonstruktion nicht möglich ist

o Entwicklungsaufwand erheblich

o Verhaltensbeispiele für mittlere Leistung schwer zu fin-den

o Sammlung kritischer Ereignisse z. T. nicht homogenes und interpretierbares Konstrukt