Testtheorie

+ die Reliabilität (Messgenauigkeit eines Tests beschreibt, wie exakt der Test das Merkmal misst, das er misst.

+ über den Reliabilitätskoeffizienten

+ er ist definiert als Anteil der wahren Varianz an der gesamten Varianz der Testwerte

+ angestrebt werden große Werte nahe 1; Werte ab 0.7 werden üblicherweise als akzeptabel, ab 0.8 als gut betrachtet

+ die Validität (Gültigkeit) eines Tests beschreibt, wie gut das tatsächlich gemessene Merkmal mit dem zu messenden Merkmal übereinstimmt

+ sie ist das zentrale Gütekriterium!!!

+Inhaltsvalidität

- wie weit entsprechen die Items, dem, was gemessen werden soll (Repräsentattivitätsschluss)

+ Konkurrente Validität

+ Prädiktive Validität

+ Konstruktvalidität

+ Skalierung

+ Normierung (Eichung)

+ Testökonomie (Aufwand vs. Nutzen

+ Nützlichkeit

+ Zumutbarkeit

+ Unverfälschbarkeit

(der Getestete soll nicht in der Lage sein, Ergebnis zu verändern)

+ Fairness (Nicht- Benachteiligung ethnischer Gruppen)

+ Quantifizieren oder Klassifizieren der Merkmalsausprägung eines Individuums

+ Feststellung von Unterschieden zwischen Individuuen oder Gruppen

+ Ermittlung, ob ein bestimmtes KRiterium erfüllt ist (Selektion)

+ Erstellen von Profilen unterschiedlicher Merkmalsausprägungen (Berufsinteressenprofil)

+ Erfassung von Merkmalsveränderungen

(etwa durch natürliche Entwicklungen, Umweltfaktoren, gezielte Interventionen etc.)

+ nach dem Testmedium ( mündlich, Paper - Pencil, Bildtests, PC- gestützte

Tests

+ verbal vs. nonverbal

+ kulturfair vs. kulturgebunden

+ Individual vs. Gruppentests

+ ein vs. mehrdimensional

+ maximales vs. typisches Verhalten (Leistungs-/ Persönlichkeitstests)

+ Speed vs. Power - Tests

+ offene vs. gebundene Items

+ normativ vs. ipsativ (Rating Items vs. Forced - Choice -Items)

+ normorientiert vs. kriterienorientiert

(Merkmal hinsichtlich einer Bezugsgruppe vs. Testwert hinsichtlich inhaltl.

Kriterium)

+ klassisch vs. probabilistisch

Leistungstests; Efassung maximalen Verhaltens:

+ Intelligenztests (IST 2000R, BIS-4)

+ Konzentrationstests ( d2; Speed - Test)

+ Wissenstests (START - C; Power - Test)

+ Komplexe Szenarios (FSYS; Powertest, PC - gestützt)

Persönlichkeitstests, Erfassung typischen Verhaltens

+ Persönlichkeitsinventare (NEOFFI, 16 PF)

+ Spezielle Fragebögen (LOCI/DE, SSS-V)

+ Interessenstests (BIT2, wahlweise ipsativ oder normativ)

+ ein Test erfüllt das Kriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden

(eine leistungsfähigere Person soll auch besser in einem Leistungstest abschneiden, als eine weniger leistungsfähigere Person!)

+ unter Nromierung versteht das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können

+ der Test erfüllt das Gütekriterium Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht

+ ein Test ist dann nützlich, wenn für das von ihm gemessene MErkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen

+ ein Test erfüllt das Gütekriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende PErson in zeitlicher, psychische sowie körperlich Hinsicht nicht über Gebühr belastet

+ wenn das Testverfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkreten Ausprägungen ihrer Testwerte nicht steuern kann

Bei der Konstruktion der Testitems kann (im 1. Schritt) zwischen

+ intuitiver und rationaler

sowie (im 2. Schritt) zwischen

+ externaler (kriteriumsorientierter) und internaler (faktorenanalytischer)

Konstruktionsstrategie unterschieden werden.

• Intuition und Erfahrung des Testkonstrukteurs leiten die Itemgenerierung

• sinnvoll, wenn der theoretische Kenntnisstand bzgl. des Merkmals gering ist

• deduktive Herleitung der Items aus elaborierten Theorien über Merkmalsunterschiede zwischen Personen

• zunächst Definition und Spezifikation des zu messenden Konstrukts

• z.B. Umwandlung konstruktdefinierender Verhaltensweisen in Statements

• empirische Auswahl von Items, die zwischen Gruppen mit unterschiedlicher Merkmalsausprägung möglichst gut differenzieren können

• Verwendung unterschiedlicher Testandenstichproben zur Vermeidung systematischer Fehler

• empirische Auswahl der Items anhand von Faktorenanalysen

• Items, die auf einem Faktor laden, also statistisch eindimensional sind, werden zu Skalen zusammengefasst

Der Aufgabenstamm enthält die Frage oder die Problemstellung, für die der

Testand die Lösung angeben soll.

grafik hierher kopieren!

Bei der Konstruktion von Auswahlaufgaben für Leistungstests ist auf geeignete

Distraktoren zuachten. Diese sollten attraktiv und disjunkt sein.

Bei Persönlichkeitstests sollten die Antwortalternativen exhaustiv und disjunkt sein

• unipolare vs. bipolare Skalen

• numerische, verbale oder optische/symbolische Skalen

• asymmetrische Beurteilungsskalen

Es sind auch Kombinationen gebräuchlich.

Soziale Erwünschtheit

• Fremdtäuschung (Impression Management)

• Selbsttäuschung (Self-deceptive Enhancement)

Antworttendenzen

• Tendenz zur Mitte

• Tendenz zum extremen Urteil

• Akquieszenz (Zustimmungstendenz)

• Konsistenz

+ Kategorisierung von Itemarten nach Angleitner, John und Löhr (1986)

+ Kategorisierung nach Jankisz und Moosbrugger (2007)

• Fragen zur Selbstbeschreibung („ich lache oft“)

• Fragen zur Fremdbeschreibung („meine Freunde halten mich für eine

tüchtige Person“)

• Fragen zu biografischen Fakten („in meiner Jugend habeich gerne

Modellflugzeuge gebaut“)

• Trait- / Eigenschaftszuschreibungen („ich halte mich für spontan“)

• Motivationale Fragen („Ich habe eine besondere Vorliebe für schwierige

Aufgaben“)

• Fragen zu Wünschen und Interessen („ich gehe gerne ins Theater“)

• Fragen zu Einstellungen und Meinungen („Es gibt im Leben wichtigeres als

beruflichen Erfolg“)

• direkte vs. indirekte Items

• hypothetische vs. biografische Itemformulierung

• konkrete ("Wie verhalten Sie sich, wenn..") vs. abstrakte Items

• personalisierte ("Benutzen Sie Kondome?") vs. depersonalisierte Items

• emotionale Neutralität ("Sind Sie ängstlich?" vs. Intensität des Stimulus (Herzklopfen?)

• positive Formulierung, Verneinungen meiden, auf keinen Fall doppelte

Verneinungen

• einfache Satzkonstruktionen ohne Verschachtelungen

• keine umständlichen Fragen

• keine Abkürzungen

• Begriffe an Zielpopulation anpassen, keine Fachbegriffe

• Angaben zur Intensität oder Häufigkeit im Itemstamm vermeiden

• Universalausrücke (zB „immer“, „alle“, „nie“) meiden

• notwendige Definitionen vor der Frage geben

• Iteminhalt darf nur auf eine Weise interpretierbar sein

• nur eine Aussage pro Item (kein „double-bind“)

• Unabhängigkeit der Antwort von Vorwissen

• eindeutige Definition von Zeitspannen (schlecht z.B. „in letzter Zeit“)

• i.d.R. Items mit extremer Zustimmungs- oder Lösungswahrscheinlichkeit

vermeiden

• auf unterschiedliche Itemschwierigkeiten achten

• Vermeidung von Items, die schnell veralten könnten

• Vermeidung von Items, deren Antwort auch von Wertorientierungen

abhängen könnte

• Vermeidung von Items, die konstruktfremde Emotionen evozieren

könnten

• Vermeidung suggestiver Formulierungen

Die Items werden zur empirischen Erprobung zu einer vorläufigen Testversion

zusammengestellt.

bei Leistungstests:

• i.d.R. in aufsteigender Schwierigkeit

• evtl. Eisbrecheritem

bei Persönlichkeitstests:

• möglichst zu verschiedenen Skalen vermischt

• Vermeidung von Kontexteffekten