M6 Grundlagen der Testkonstruktion
Kapitel 2, Testkonstruktion: Von der Planung zum ersten Entwurf
Kapitel 2, Testkonstruktion: Von der Planung zum ersten Entwurf
Kartei Details
| Karten | 134 |
|---|---|
| Lernende | 13 |
| Sprache | Deutsch |
| Kategorie | Psychologie |
| Stufe | Universität |
| Erstellt / Aktualisiert | 13.11.2011 / 10.09.2017 |
| Weblink |
https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion1
|
| Einbinden |
<iframe src="https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion1/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Welche zwei Fragen sollte man sich zu Beginn der Tetkostruktion stellen?
- Was soll der Test messen? ( Merkmalsbereich)
- wo, bei wem und wofür soll der Test eingesetzt werden?(Geltungsbereich)
Zu welchen Wechselwirkungen und Implikationen von Merkmalsbereich und Geltungsbereich kann es kommen?
-Zielkonstrukt = Persönlichkeitsstörung - Anwendung im klinischen Bereich ggf. in der Forschung, aber nicht in der Personalauswahl/- Entwicklung
-Ein Verfahren, dass für junge Erwachsenen entwickelt wurde ist für andere Altersgruppen ungeeignet
- auch vermuteter Bildungsstand der Zielgruppe, Anwendungskontext spielen eine Rolle
Was gilt als Grundlage zur Abgrenzung des Merkalsbereichs bzw des Konstrukts ?
Die Literaturrecherche.
Welche Hilfsmittel zur Abgrenzung des Merkmalsbereichs gibt es noch?
- als Grundlage gilt die Literaturrecherche
- explorative Verfahren der Datenerhebung (Befragung von Experten/ anderer relevanter Personen mittels qualitativer Interviews)
- strukturierte Varianten der Merkmalsabgrenzung ( Facettentheorie, AFA- Act Frequency Approach, Methode der kritischen Ereignisse/ CIT critical Incident Technique)
Was ist die Facettentheorie ( Guttman 1959) ?
- Eine Methode zur Systematisierung wissenschaftlicher Fragestellungen
- Ein Werkzeug um einen Erkmasbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facetten) und deren Ausprägungen / Typen zu zergliedern und die Beziehung zwischen den Facetten darzustellen und anschließend auch empirisch zu skalieren.
Wodurch ist der Merkmalsbereich bei kriterienorientierten Tests definiert?
Durch Inhalt und Umfang der Lernziele.
Was zählt zum Geltungsbereich ?
Zweck, Zielgruppe und Kontext des Testeinsatzes
Wodurch ist der Entscheidungsspielraum der Testautorin bei der Eingrenzung des Geltungsbereichs häufig eingeschränkt?
Durch Spezifikationen des Auftragsgebers
Welche Aufgaben obliegen aber auch bei Auftragsarbeiten generell der Autorin?
- Für die Einhaltung ethischer Richtlinien zu sorgen
- die Erfassung gesetzwidriger Inhalte ( diskriminierende Mekmalsbereiche) ablehnen/ ausschließen
- Die nicht altersgemäße Anwendung oder die Verknüpfung unvereinbarer Zwecke ablehnen/ausschließen
Was ist ein in der Praxis sehr häufig vorkommendes Beipiel für konfligierende Zwecke bei der Eingrenzung des Geltungsbereichs?
Die Verwendung derselben betrieblichen Leistungsbeurteilung sowohl für die Festlegung von Gehaltsbestandteilen als auch als Informationsgrundlage der Personalentwicklung.
Wann steigen die Ansprüche an die empirische Prüfung und Normierung generell an?
Je breiter Anwendungsbereich und Zielgruppe definiert sind.
Welche verschiedenen Prinzipien /Strategien der Tedtkonstruktion gibt es?
1. rationale / deduktive / theoriegeleitete Konstruktion
2. externale / empirische / kriteriumsorientierte Strategie ( das Gegenteil von 1)
3. Internale / induktive / faktorenanalytisches Vorgehen. ( zwischen 1 und 2)
Seltene Sonderfälle :
4. Typologisierender Ansatz
5. Prototypenansatz
Womit ist die Abgrenzung des Merkmalsbereichs und die nachfolgende Itemgenerierung eng verknüpft?
Mit der Entscheidung über das grundsätzliche Vorgehen bei der Konstruktion des Tests.
Was ist der Ausgangspunkt der rationalen Testkonstruktion in reiner Form?
Eine operationale, also zur Umsetzung in eine Messung oder Beobachtung geeignete theoretische Definition des Zielkonstrukts.
Was leitet die Autorin aus der allgemeinen Definition der rationalen Testkonstruktion ab?
Sie leitet spezifische (deduktiv) Indikatoren ab, die sich direkt beobachten bzw, erfragen lassen. Sofern vorhanden, kann auch eine theoretische Auswahl aus einem Itempool getroffen werden.
Wie kann die Definition von Merkfähigkeit als "Einprägung und späteres Wiedererkennen und Reproduzieren von Lernmaterial" umgesetzt werden?
(Prinzip der rationalen Testkonstruktion)
Probanden bekommen in einem Merkfähigkeitstest eine Liste mit ihnen unbekannten Gegenständen vorgelegt und man bittet sie nach einem festgelegten zeitlichen Abstand, eine möglichst groß Zahl dieser Gegenstände aktiv zu benennen ( Reproduktion) bzw. aus einer Liste, die auch zuvor nicht gezeigte Dinge enthält, auszuwählen (Rekognition).
Was erfordert der Schritt der Umsetzung von der theoretischen Definition in eine Messvorschrift bzw konkrete Items in der rationalen Testkonstruktion von der Autorin?
Es erfordert ein hohes Maß an Intuition bzw. subjektivere Bewertung seitens der Testautorin, sofern nicht auf aufwändigere Techniken wie die schon erwähnten AFA oder CIT zurückgegriffen wird.
Die Übergänge zwischen rationaler und -welcher anderen Testkonstruktion?- sind in der Praxis oft fließend?
zwischen rationaler und intuitiver oder erfahrungsgeleiteter Testkonstruktion
Was sollte die Definition einschließen, wenn es sich um ein hierarchisches strukturiertes Konstukt handelt, das in seiner ganzen Breite gemessen werden soll?
Die Definition muss alle Subkonstrukte / Facetten mit einschließen.
Welcher Test ist ein Beispiel für einen rational konstruierten Test mit einer komplexen theoretischen Grundlage?
der Berliner- Intelligenzstruktur- Test, BIS -Test, Jäger, Süß & Beauducel 1997
Welcher Test ist ein Beispiel für einen rational konstruierten eindimensionalen Test?
Die Retrospective Behavioral Self-Control Scale, RBS, Marcus 2003a, 2004
Was ist die Retrospectiv Behavioral Self-Control Scale?
- beruht auf der Definition von Selbstkontrolle in der kriminologischen Theorie von Gottfredson und Hirschi (1990)
- Selbstkontrolle wird vhaltensnah und utilitarisch definiert
- Es wird nachnkonkreten Handlungen gefragt, nicht nach Generalisierungen oder Einstellungen
- weil Selbstkontrolle über die Lebensspanne stabil sei, sind die Items nach Lebensabschnitten geordnet ( Kindheit, Jugend, Erwachsenenalter)
Was bedeutet theoriegeleitete Entwicklung?
die Formulierung und Auswahl von Items und deren Zuordnung zu Subtests erfolgt aufgrund von inhaltlichen Erwägungen und nicht hauptsächlich auf der Grundlage empirischer Daten.
Wie erfolgt die Erhebung empirischer Daten im Rahmen der rationalen Konstruktion?
Es ist üblich, eine zunächst theoriegeleitet konstruierte Skala mittels empirischer Itemanalyse zu verkürzen, also Items aus der Skala zu eliminieren. Notwendig wird die Erhebung empirischer Daten spätestens bei der Validierung rational konstruierten Skalen.
Was steht bei der externalen Testkonstruktion im Gegensatz zur rationalen Konstruktion bereits im frühen Stadium im Vordergrund?
Die empirischen Daten
Was bezeichnen Amelang und Schmidt- Atzert (2006) als kennzeichnend für die externale Strategie?
Das Vorliegen verschiedener Gruppen von Personen, die mit Hilfe des Tests unterschieden ( diskriminiert) werden.
Beispiel: Angehörige bestimmter Berufsgruppen oder Schüler verschiedener Schultypen.
Was ist eine typische Anwendung der externalen Skalenkonstruktion?
Die Unterscheidung von Vorliegen von Persönlichkeitsstörungen und dem Nichtvorliegen.
In den Test werden solche Items aufgenommen, die empirisch zwischen den Gruppen unterscheiden / diskriminieren.
Wie werden kontinuierlich verteilte Merkmale ( z.b. Berufliche Leistung ) mittels external konstruierter Test vorhergesagt?
Es werden künstliche Gruppen gebildet, die sich maximal voneinander unterscheiden.
Extremgruppen: niedrigleister und höchstleister
Was ist die vertikale Prozentmethode nach England (1971)?
eine traditionelle Methode der externalen Skalenkonstruktion die die Aufteilung in Gruppen technisch voraussetzt.
Werden bei der externalen Strategie Gruppen grundsätzlich vorausgesetzt?
nein
Was ist blinder Empirizismus / dust Bowl empiricism?
Das ist der Extremfall bei dem (wenn es allein auf die Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit einem Kriterium ankommt ) ganz auf inhaltliche Erwägungen ganz verzichtet wird.
Welche Orientierung hat die externale Testkonstruktion?
Kriterienorientiert - OHNE ein kriterienorientierter Test zu sein!!!
Welcher Ansatz ist analog zum Vorgehen der externalen Testkonstruktion?
Der regressionsanalytische Ansatz
Worin besteht das Grundproblem der externalen Testkonstruktion?
Das Grundproblem besteht wie auch bei der Multiplen Regression in der:
- atheoretischen Anpassung an die Stichprobe.
Die Folge sind:
- inhaltlich oft schwer interpretierbare Skalen,
- das Erfordernis große und repräsentativer Stichproben bei der Entwicklung
-zusätzlich die unabhängige Replikation (Kreuzvalidierung) der Befunde aus der ersten Datenerhebung.
Was ist der Vorzug der externalen Testkonstruktion?
Er liegt vor allem darin, dass sie, sachgemäße Anwendung vorausgesetzt, auch bei geringem theoretischem Vorwissen eine gewisse kriterienbezogene Validität und damit praktischen Nutzen gewährleistet.
Welcher Test aus dem klinischen Bereich ist ein prominentes Beispiel für external konstruierte Tests?
Das mehr als 50 Jahre alte Minnesota Multiphasic Personality Inventory
Was ist das Minnesota Multiphasic Personality Inventory?
hier wurden bei der Konstruktion nach der Kontrastgruppenmethode aus einem großen Pool Items auswählt, die signifikant zwischen psychisch unauffälligen und z.B. als schizophren, manisch usw eingestuften Gruppen unterschieden.
Welche Skalen sind nach dem selben Prinzip aufgebaut wie der Minnesota Multiphasic Personality Inventory?
die meisten Skalen des California Psychological Inventory CPI
er bezieht sich jedoch auf den Normalbereich der Persönlichkeit
Wie wird die internale Testkonstruktur noch genannt?
induktive Methode
Warum heisst die internale Testkonstruktion "internal"?
Weil zwar wie bei der externalen Strategie auf empirische Informationen zurückgegriffen wird, die sich aber nicht wie bei dieser auf ein Außenkriterium (z.B. die Unterscheidung von Gruppen), sondern auf die Binnenstruktur des Tests beziehen.
