Modul 6a FernUni-Hagen

• Nicht intendierte systematische Varianzanteil (bias) werden dem wahren Wert zugerechnet

• Die KTT stellt keine Verbindung zwischen einer Fähigkeit, einem Merkmal oder einer Eigenschaft und der Itembeantwortung her.

• Übungs- und Transfereffekte können sich systematisch auf die Testleistung auswirkens und verändern die wahre Leistungsfähigkeit einer Person

  unter Verletzung der Annahme von Eindimensionalität (Test oder Skala misst nur ein Konstrukt) werden sowohl der wahre Wert einer Person als auch die Messgenauigkeit eines Tests über- oder in manchen Fällen auch unterschätzt werden.

   

bei extrem hohen und niedrigen Fähigkeitsausprägungen

können Leistungen ungenauer als im mittleren Bereich gemessen werden (Fischer )

nein.

Treten keine korrelierten Fehler zwischen Messwerten auf, liegt Eindimensionalität vor - Annahme der KTT!

je nach Referenzgruppe können sich völlig andere Bedeutungen der individuellen Leistung ergeben

Bei Testverfahren, die nach der KTT konzipiert sind, behilft man sich damit, dass man Gütekriterien für verschiedene Teilstichproben zur Verfügung stellt.

Vorzug der PTT:

 im Rahmen einzelner probabilistischer Modelle ist es möglich, stichprobenunabhängige Item- und Personenkennwerte zu ermitteln.

es geht um den Zusammenhang zwischen der Fähigkeit (oder Eigenschaft) einer Person und der Wahrscheinlichkeit, mit der diese Person eine Aufgabe löst (oder z.B. einer Aussage zustimmt), die besagte Fähigkeit bzw. Eigenschaft messen soll.

In der PTT werden nicht wie in der KTT Rohwertvarianzen und Kovarianzen untersucht,

sondern Antwortmuster, die einem bestimmten Modell folgen müssen.

(1) von der Fähigkeit oder Eigenschaftsausprägung einer Person sowie

(2) der Schwierigkeit eines Items ab.

• Person-Parameter
• Itemparameter

Beides wird im Rahmen von PTTAnalysen empirisch geschätzt.

Die Beziehung zwischen Personenfähigkeit und Itemlösungswahrscheinlichkeit ist dabei probabilistisch.

Das heißt, auch eine Person mit geringer Fähigkeit im Vergleich zur Schwierigkeit eines Items hat eine, wenn auch relativ geringe, Wahrscheinlichkeit, ein solches Item zu lösen.

Das Modell sagt also voraus,

dass mit steigender Personenfähigkeit die Wahrscheinlichkeit einer Itemlösung, einer bestimmbaren mathematischen Funktion folgend, zunimmt.

PTT erlaubt Modelltests der Voraussetzungen.

So wird in der KTT für den Summenwert einer Person in einem Test Intervallskalenniveau unterstellt, während in der PTT die Zulässigkeit der Summation (und damit das Skalenniveau) geprüft wird.

Ebenso prüft man im Rasch-Modell durch den Modelltest zumindest indirekt die in der KTT einfach vorausgesetzte Eindimensionalität.

Die Modelltests der PTT lassen sich im Prinzip auch auf Tests anwenden, die ursprünglich nach der KTT konstruiert wurden.

Wird das Modell durch den Modelltest nicht abgelehnt, sagt der Summenwert der Itemantworten auch wirklich etwas über den Ausprägungsgrad einer Person auf der latenten Variable (Fähigkeit) aus.

Dann ist der Summenwert auch eine erschöpfende Statistik der Personenfähigkeit.

Ein Item ist dann ein guter Indikator für eine latente Variable, wenn die Leistung in diesem Item komplett auf die Fähigkeitsausprägung auf der latenten Variable zurückzuführen ist und nicht auf andere Fähigkeiten.

= höchst wünschenswert - Homogenität

besagt,

dass man die Lösungswahrscheinlichkeiten der Items für alle Personen multiplizieren darf.

Wenn das Rasch-Modell durch den Modelltest nicht verworfen wird, liegt auch diese Eigenschaft vor.

Rasch-Modell implementiert damit eine echte Messtheorie in die Psychologie.

Was soll der Test messen?

Wo, bei wem und wofür soll der Test eingesetzt werden?

• Literaturrecherche
• explorative Verfahren der Datenerhebung wie die Befragung von Experten oder anderen relevanten Personen mittels qualitativer Interviews
• act frequency approach (AFA; Buss & Craik, 1983)

• Methode der kritischen Ereignisse bzw. critical incidenttechnique (CIT, Flanagan,1954)               

• Facettentheorie (Guttman, 1959)

Methode zur Systematisierung wissenschaftlicher Fragestellungen. Sie stellt Werkzeuge zur Verfügung, um einenMerkmalsbereich vollständig einzugrenzen, in einzelne Teilmerkmale (Facetten) und deren Ausprägungen bzw. Typen zu zergliedern und die Beziehungen zwischen den Facetten darzustellen und anschließend auch empirisch zu skalieren.

in einem Schritt

eine Arbeitsdefinition.

diese kann durchaus auch aus einer (überschaubaren!) Liste konkurrierender Definitionen bestehen. Dies setzt voraus, dass mit dem Test überhaupt eines oder mehrere definierte psychologische Konstrukte wie Fähigkeiten, Eigenschaften oder Einstellungen gemessen werden sollen.

• Einschränkung durch Auftraggeber 
• ethische Richtlinien
• frühe Erfassung gesetzwidriger Inhalte  (Diskriminierung)
• nicht altersgemäße Anwendung
• Verknüpfung unvereinbarer Zwecke

Generell steigen die Ansprüche an die empirische Prüfung und Normierung, je breiter Anwendungsbereich und Zielgruppe definiert sind.   Grundsätzlich sollte die empirische Fundierung in der Entwicklungsphase dem angestrebten Geltungsbereich entsprechen, weshalb Entscheidungen über den Geltungsbereich Einfluss auf die Planung der späteren Entwicklungsschritte haben

• raional
• external
• internal

seltene Sonderfälle:

• der typologisierende und
• der Prototypenansatz

eine operationale, also zur Umsetzung in eine Messung oder Beobachtung geeignete theoretische Definition des Zielkonstrukts.

deduktiv aus der allgemeinen Definition

möglich: es kann eine theoretische Auswahl aus einem Itempool getroffen werden.

Übergänge zwischen rationaler und intuitiver oder erfahrungsgeleiteter Testkonstruktion (Jonkisz & Moosbrugger, 2007, sprechen von intuitiver Konstruktion bei relativ geringem theoretischem Kenntnisstand) in der Praxis der Testkonstruktion fließend.

• Berliner Intelligenzstruktur-Test (BIS-Test, Jäger, Süß & Beauducel, 1997)
• • hier: hierarchische Struktur der Intelligenz
  • Intelligenzleistungen entstehen bimodal, es ist also stets eine Kombination mindestens einer inhaltsgebundenen und einer operationalen Komponente beteiligt
• Retrospective Behavioral Self-Control Scale (RBS, Marcus, 2003a, 2004)
•          beruht auf der Definition von Selbstkontrolle in der          kriminologischen Theorie von Gottfredson und                Hirschi (1990).
•         Selbstkontrolle = verhaltensnah und utilitaristisch,            als die Meidung von Handlungen, die dem                        Handelnden selbst langfristig mehr schaden als            nutzen.

Theoriegeleitete Entwicklung bedeutet, dass die Formulierung und Auswahl von Items und deren Zuordnung zu Subtests aufgrund von inhaltlichen Erwägungen und nicht hauptsächlich auf der Grundlage empirischer Daten erfolgt.

es ist üblich, eine zunächst theoriegeleitet konstruierte Skala mittels empirischer Itemanalysen zu verkürzen

Notwendig wird die Erhebung empirischer Daten spätestens bei der Validierung rational konstruierter Skalen.

empirisch

• Unterscheidung des Vorliegens von Persönlichkeitsstörungen von deren Nichtvorliegen
• Gruppenbildung Nichtvorliegen und Vorliegen von P.

es werden Gruppen untersucht (Vorliegen, nicht Vorliegen einer P-Störung)

es werden Gruppen untersucht (Vorliegen, nicht Vorliegen einer P-Störung)

dem regressionsanalytischen

• atheoretische Anpassung an die Stichprobe, schwer interpretierbare Skalen
• Erfordernis großer und repräsentativer Stichproben bei der Entwicklung
• Erfordernis der unabhängigen Replikation (Kreuzvalidierung) der Befunde aus der ersten Datenerhebung