Diagnostik

Beobachtbares Verhalten als Funktion eines latenten Personenmerkmals und Itemmerkmals 

Funktion beschreibt nicht deterministischen Zusammenhang 

Konstrukte als latente Variablen definiert 

Messmodelle zur Messung von Konstrukten, Basis auf testbaren Annahmrn 

Können zur testlonstruktion herangezogen werden 

V (Verhalten) = P (Pwrson) x U (Umwelt) 

Personenmerkmal beeinflusst testverhalten 

Testverhalten lässt über testauswertung auf personenmerkmal schließen 

Bild 

Bild 

Verbinden von Itemresponses zu dem, was wir messen wollen 

Score focused approach: high score -> high on construct 

Item focused approach: hard item -> high score on construct 

Edgeworth and spearman: some sets of items give more consistent results 

Observed score on instrument X, Aus Summe Truescore T und Fehler E 

X = T+E 

Scores können auch Norm-referenced sein 

-> schaffts nicht Subtests von Items oder individuelle Items zu verwenden 

Langfristiger Durchschnittswert, den die Person über viele Wiedererhebunhen des Testinstruments beibehält 

Was übrig bleibt, wenn man true Score rausnimmt 

Klassische Testtheorie

True Score Theorie 

Messfehöertheorie 

Gutmann Items: jeder Optionsansatz hat Aussagen, die Kontext geben 

Ermöglicht Distinktion 

Ziel: Bzhg zwischen allen Items interpretierbar 

-> SCALOGRAM approach (guttman scaling) 

Wenn extremes Item zutrifft, treffen alle weniger Extremen automatisch auch zu 

Annahme: Individuum wird auf einem Punkt im kontinuum platziert, der die exakten erlernten skills abtrennt von denen die es nie performen konnte 

-> besserer Ansatz: 

Individuelles Wachstum zu beschreiben -> wahrscheinlichkeitsaussagen über likelihood ob skill fähig, wenn anderes erfüllt ist 

Sowohl item- Level als auch Instrument (Score) Level 

Stellt Wahrscheinlichkeit einer Antwort dar (anstatt direkten Score) 

Kombiniert θ und δ

Beziehung zwischen respondent location θ und Wahrscheinlichkeit einer Antwort von 1 für ein item mit 1.0 Schwierigkeit -> qualitativ

Manifeste variablen links werden auf den Einfluss einer latenten variable rechts zurückgeführt 

Annahmen zum Zusammenhang manifested und latenter variablen: guttman-Skala, Rasch- Modell, linear 

Skalenniveau der manifesten und latenten variablen: metrisch oder kategorial

Tabelle 

Klassische Testtheorie 

Item-response- Theorie 

Generalisierte lineare item- response-Theorie 

Probabilistische Testtheorie 

Modell annahmen 

Item fit 

Relativer Modell fit 

Respondent fit 

Siehe Abbildung 

Festlegung des zu erfassenden Konstrukts 

Erstellung itempool 

Auswahl Antwort Format 

Itemanalyse und Auswahl 

Textanalyse 

Skalierung und normierung 

Test Dokumentation 

Weitere Untersuchungen zur Güte des Verfahrens und Test Revision 

Objektivität 

Reliabilität 

Validität 

Skalierung 

Normierung 

Testökonomie 

Nützlichkeit 

Zumutbarkeit 

Unverfälschbarkeit 

Fairness

Konstrukt: im Sinne des Konstrukts interpretierbar, konvergent -> ähnliche Werte wie bei anderen Tests die dasselbe messen 

Diskriminant: geringe Zshg mit Testwerten anderer tests, die anderes messen 

Inhalt: repräsentative SP Items

Kriteriums: Merkmale vorhersagbar, mit Konstrukt zshg 

Augenschein: für Laien offensichtlich welches Konstrukt 

Dimensionalität (eindimensional, mehrdimensional einfach vs komplexe Struktur) 

Zwei Sichtweisen auf validität 

-> misst es was es messen soll

-> sind Schlussfolgerungen gerechtfertigt 

Konstruktvaliditat als Ziel der Testentwicklung 

-> Gruppe Analyse; zshganalyse mit anderen Tests; Analyse der Stabilität/ Veränderung Testwerte; Prozessanalyse 

Nomologisches Netzwerk 

Inhaltsvalidität 

Inhalts Relevanz und Repräsentativität 

Strategien: 

->rationale Test Konstruktion 

Kriteriumsorientierte Tests und induktive Konstruktionsstrategie 

Kriteriumsvalidität 

Rational V: erstellen Konstrukt Karte (Konstruktion items; Kodierung Antworten: Qual/quant; Auswahl eines Messmodels) 

Inhalts V: zu messendes Merkmal repräsentativ erfassen; kriteriumsorientiert, wenn Inhalts valide, Erfassung: Fähigkeit einer Person; Zuordnung zu Klasse anhand fähigkeitsausprägung 

Induktiv TK: lexikalische Methode, Faktorenanalyse "vieler" items, Prototypenansatz 

External TK: Konkurrente V, Prädiktive V/ prognostische V/ Vorhersage, retrograde V; items auswählen die eng mit Kriterium zshg und optimale Vorhersage Gruppenzugehörigkeit 

Objektivität

Päzision 

Offen/ halb offen/ geschlossenes Format; Anzahl Antwortkategorien (Genauigkeit, Stil,...) 

Experten Urteil 

Prozessanalyse 

Itemanalyse (Passung zum Modell; schätz Genauigkeit; Ökonomie; Zumutbarkeit; Test Fairness; unverfälschbarkeit) 

Erhebung an neuer Stichprobe 

Passung zum Testmodell 

Testeigenschaften und Passung zur intendierten Population 

Güte Kriterien 

Wahl der skala der Testwerte  ist willkürlich 

Norm orientierte Transformation (z standardisiert; IQ Werte) 

Kriteriumsorientierte Transformation (sinnvolle cut scores)

Vergleichbarkeit von Testwerten 

Power tests 

Speed tests 

Fragebögen 

Erheben woran, wie und zu welchen Gelegenheiten sich Konstrukt manifestiert 

Ob erhobene Vhtnsweisen repräsentativ für Konstrukt sind 

Verhaltensweise zwischen Personen mit unterschiedlichen Ausprägungen des Konstrukts differenzieren 

Qualitätsmaxime: nichts wofür nicht ausreichend Belege 

Quantitätsmaxime: nur so informativ wie erforderlich 

Relevanz Maxime: sachbezogen und sachlich äußern 

Klarheitsmaxime: kurz und bündig, nicht mehrdeutig 

formal und syntaktische Merkmale 

Poling def items 

Verneinungen und doppelte Verneinung 

Anker Effekte 

Konsistenz- oder assimilations Effekte 

Kontrast Effekte 

Salienzeffekte 

Primingeffekte 

Subtraktionseffekte 

Frei/ offen 

Gebunden/ geschlossen 

Atypisch