Welche Entwicklungsschritte zur Konstruktion von Tests werden vor der Datenerhebung durchgeführt?
Abrenzung von Merkmals- und Geltungsbereich
Auswahl der grundsätzlichen Vorgehensweise
Genierung eines Itempools (mit Festlegungen zur Formulierung der Fragen und zum Anwortformat)
Was beeinhaltet der Merkmalsbereich?
Das zu messende Konstrukt
Was beeinhaltet der Geltungsbereich?
Zielgruppe, Kontext, Zweck der Anwendung
Probleme bei der Abgrenzung des Merkmalsbereichs
Erfassung des zu messenden Konstrukts: vielfältige Merkmale zur Prognose von Verhaltensweisen
theoretische Abgrenzung von Zielkonstrukten (Präzision der Definition), oft heterogene Konstrukte zu einem Begriff, Widersprüche
Hilfsmittel zur Abgrenzung des Merkmalsbereichs
strukturierte Merkmalsabgrenzung: Facettentheorie, AFA, CIT
Facettentheorie
Systematisierung wissenschaftlicher Fragestellungen
Werkzeuge zur vollständigen Eingrenzung des Merkmalsbereichs, Zergliederung in einzelne Teilmerkmale (Facetten) und Ausprägungen bzw. Typen, Darstellung und empirische Skalierung der Beziehungen zwischen Facetten
AFA
act frequency approach
Definition und Itemformulierung in einem Schritt
CIT
critical incident technique
mit Einschränkungen: Definition und Itemformulierung in einem Schritt
Arbeitsdefinition
bildet bei Messung von psychologischen Konstrukten wie Fähigkeiten, Eigenschaften oder Einstellungen, die Grundlage der Formulierung bei den meisten Verfahren (außer AFA und CIT)
auch möglich: bestehend aus Liste konkurierender Definitionen
Wodurch wird der Merkmalsbereich bei kriterienorientierten Tests definiert?
Durch Inhalt und Umfang der Lernziele
Wie wird der Merkmalsbereich für Tests zur Vorhersage bestimmten Verhaltens festgelegt?
Das zu prognostizierende Verhalten muss definitorisch eingegrenzt werden (z.B. mit Hilfe arbeits- und anforderungsanalytischer Verfahren) – prognostische Validität
Eingrenzung des Geltungsbereichs
häufig durch Spezifikationen des Auftraggebers eingeschränkt
Einhaltung ethischer Richtlinien
je breiter Anwendungsbereich und Zielgruppe, desto höher die Ansprüche an die empirische Prüfung und Normierung
Grundlegende Konstruktionsprinzipien für Tests
rational / deduktiv / theoriegeleitet
external / empirisch / kriteriumsorientiert
internal / induktiv / faktorenanalytisch
Was ist der Ausgangspunkt einer (reinen) rationalen Testkonstruktion?
Operationale (geeingnet zur Umsetzung in Messung / Beobachtung) theoretische Definition des Zielzustandes
spezifische, direkt beobachtbare Indikatoren werden daraus deduktiv abgeleitet oder theoretische Auswahl aus Itempool
Was ist zur Objektivität bei Testkonstruktion durch Umsetzung theoretischer Definitionen zu sagen?
Oft hohes Maß an Intuition / subjektiver Bewertung (Grenzen zwischen rational und intuitiv / erfahrungsgeleitet oft fließend)
weniger subjektiv durch Einsatz von Techniken wie AFA oder CIT
Berliner Intelligenzstruktur-Test (BIS-Test)
beruht auf Berliner Intelligenzstruktur-Modell von Jäger (1984)
hierarchische Struktur der Intelligenz: sieben unterscheidbare spezielle Fähigkeiten, gemeinsames Element auf höherer Ebene generelle Intelligenz)
zwei Modi, jede Fähigkeit einem zuordenbar: Inhalte und Operationen
bimodale Intelligenzleistungen, Subtests: Kombination inhaltlich + operationale Fähigkeit
→ rationale Konstruktion eines mehrdimensionalen Tests
Retrospective Behavioral Self-Control Scale (RBS, Marcus, 2003)
beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie (Gottfredson 1990): Meidung von selbts-schädlichen Handlungen
Items, die konkrete Handlungsbeispiele beschreiben, nicht Generalisierungen
Stabilität über die Lebensspanne – Items nach Lebensabschnitten geordnet
Postulat: homogenes Konstrukt = empirisch eindimensional
Wann werden im Zuge der rationalen Testkonstruktion empirische Daten erhoben?
Verkürzung der Skala mittels empirischer Itemanalyse
Spätestens bei der Validierung
Externale Strategie nach Amelang und Schmidt-Atzert (2006), NICHT nach Marcus
Vorliegen verschiedener Gruppen von Personen, die mit hlfe des Tests unterschieden werden
Typische Anwendungsfälle der externalen Strategie der Testkonstruktion
Vorliegen / Nichtvorliegen von Persönlichkeitsstörungen
Vorhersage grundsätzlich kontinuierlicher verteilter Merkmale, z.B. berufliche Leistung; oft (Extrem)Gruppenbildung wie „Niedrigleister“ und „Höchstleister“
Welche Methode der externalen Testkonstruktion setzt die Aufteilung in Gruppen technisch voraus?
(traditionell:) vertikale Prozentmethode nach England (1971)
Prinzip der externalen Testkonstruktion
kriterienorientiert: Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit einem Kriterium (Extremfall: „blinder Empirizismus“ / „dust bowl empiricism“: ohne inhaltliche Erwägungen)
abzugrenzen: Kriterumsorientierte Tests
Was sind kriteriumsorientierte Tests?
Kriterium als eine gesetzte Norm (z.B. Lernziel)
Items werden inhaltslogisch abgeleitet