M6 Grundlagen der Testkonstruktion
Kurs 03421, Kapitel 2 – Testkonstruktion: Von der Planung zum ersten Entwurf
Kurs 03421, Kapitel 2 – Testkonstruktion: Von der Planung zum ersten Entwurf
-
- 1 / 23
-
Cartes-fiches
Welche Entwicklungsschritte zur Konstruktion von Tests werden vor der Datenerhebung durchgeführt?
-
Abrenzung von Merkmals- und Geltungsbereich
-
Auswahl der grundsätzlichen Vorgehensweise
-
Genierung eines Itempools (mit Festlegungen zur Formulierung der Fragen und zum Anwortformat)
Was beeinhaltet der Merkmalsbereich?
-
Das zu messende Konstrukt
Was beeinhaltet der Geltungsbereich?
-
Zielgruppe, Kontext, Zweck der Anwendung
Probleme bei der Abgrenzung des Merkmalsbereichs
-
Erfassung des zu messenden Konstrukts: vielfältige Merkmale zur Prognose von Verhaltensweisen
-
theoretische Abgrenzung von Zielkonstrukten (Präzision der Definition), oft heterogene Konstrukte zu einem Begriff, Widersprüche
Hilfsmittel zur Abgrenzung des Merkmalsbereichs
- explorative Verfahren der Datenerhebung, z.B. Befragung von Experten oder anderer Personen – qualitative Interviews
-
strukturierte Merkmalsabgrenzung: Facettentheorie, AFA, CIT
Facettentheorie
-
Systematisierung wissenschaftlicher Fragestellungen
-
Werkzeuge zur vollständigen Eingrenzung des Merkmalsbereichs, Zergliederung in einzelne Teilmerkmale (Facetten) und Ausprägungen bzw. Typen, Darstellung und empirische Skalierung der Beziehungen zwischen Facetten
AFA
-
act frequency approach
-
Definition und Itemformulierung in einem Schritt
CIT
-
critical incident technique
-
mit Einschränkungen: Definition und Itemformulierung in einem Schritt
Arbeitsdefinition
-
bildet bei Messung von psychologischen Konstrukten wie Fähigkeiten, Eigenschaften oder Einstellungen, die Grundlage der Formulierung bei den meisten Verfahren (außer AFA und CIT)
-
auch möglich: bestehend aus Liste konkurierender Definitionen
Wodurch wird der Merkmalsbereich bei kriterienorientierten Tests definiert?
-
Durch Inhalt und Umfang der Lernziele
Wie wird der Merkmalsbereich für Tests zur Vorhersage bestimmten Verhaltens festgelegt?
-
Das zu prognostizierende Verhalten muss definitorisch eingegrenzt werden (z.B. mit Hilfe arbeits- und anforderungsanalytischer Verfahren) – prognostische Validität
Eingrenzung des Geltungsbereichs
-
häufig durch Spezifikationen des Auftraggebers eingeschränkt
-
Einhaltung ethischer Richtlinien
-
je breiter Anwendungsbereich und Zielgruppe, desto höher die Ansprüche an die empirische Prüfung und Normierung
Grundlegende Konstruktionsprinzipien für Tests
-
rational / deduktiv / theoriegeleitet
-
external / empirisch / kriteriumsorientiert
-
internal / induktiv / faktorenanalytisch
Was ist der Ausgangspunkt einer (reinen) rationalen Testkonstruktion?
-
Operationale (geeingnet zur Umsetzung in Messung / Beobachtung) theoretische Definition des Zielzustandes
-
spezifische, direkt beobachtbare Indikatoren werden daraus deduktiv abgeleitet oder theoretische Auswahl aus Itempool
Was ist zur Objektivität bei Testkonstruktion durch Umsetzung theoretischer Definitionen zu sagen?
-
Oft hohes Maß an Intuition / subjektiver Bewertung (Grenzen zwischen rational und intuitiv / erfahrungsgeleitet oft fließend)
-
weniger subjektiv durch Einsatz von Techniken wie AFA oder CIT
Berliner Intelligenzstruktur-Test (BIS-Test)
-
beruht auf Berliner Intelligenzstruktur-Modell von Jäger (1984)
-
hierarchische Struktur der Intelligenz: sieben unterscheidbare spezielle Fähigkeiten, gemeinsames Element auf höherer Ebene generelle Intelligenz)
-
zwei Modi, jede Fähigkeit einem zuordenbar: Inhalte und Operationen
-
bimodale Intelligenzleistungen, Subtests: Kombination inhaltlich + operationale Fähigkeit
→ rationale Konstruktion eines mehrdimensionalen Tests
Retrospective Behavioral Self-Control Scale (RBS, Marcus, 2003)
-
beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie (Gottfredson 1990): Meidung von selbts-schädlichen Handlungen
-
Items, die konkrete Handlungsbeispiele beschreiben, nicht Generalisierungen
-
Stabilität über die Lebensspanne – Items nach Lebensabschnitten geordnet
-
Postulat: homogenes Konstrukt = empirisch eindimensional
Wann werden im Zuge der rationalen Testkonstruktion empirische Daten erhoben?
-
Verkürzung der Skala mittels empirischer Itemanalyse
-
Spätestens bei der Validierung
Externale Strategie nach Amelang und Schmidt-Atzert (2006), NICHT nach Marcus
-
Vorliegen verschiedener Gruppen von Personen, die mit hlfe des Tests unterschieden werden
Typische Anwendungsfälle der externalen Strategie der Testkonstruktion
-
Vorliegen / Nichtvorliegen von Persönlichkeitsstörungen
-
Vorhersage grundsätzlich kontinuierlicher verteilter Merkmale, z.B. berufliche Leistung; oft (Extrem)Gruppenbildung wie „Niedrigleister“ und „Höchstleister“
Welche Methode der externalen Testkonstruktion setzt die Aufteilung in Gruppen technisch voraus?
-
(traditionell:) vertikale Prozentmethode nach England (1971)
Prinzip der externalen Testkonstruktion
-
kriterienorientiert: Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit einem Kriterium (Extremfall: „blinder Empirizismus“ / „dust bowl empiricism“: ohne inhaltliche Erwägungen)
-
abzugrenzen: Kriterumsorientierte Tests
Was sind kriteriumsorientierte Tests?
-
Kriterium als eine gesetzte Norm (z.B. Lernziel)
-
Items werden inhaltslogisch abgeleitet
