M6 Grundlagen der Testkonstruktion 03421
Fragen zum Skript: Grundlagen psychologischer Testverfahren, Testkonstruktion von der Planung zum Entwurf, Itemanalyse, Skalenbildung (EFA, CFA), Evaluation psychologischer Testverfahren
Fragen zum Skript: Grundlagen psychologischer Testverfahren, Testkonstruktion von der Planung zum Entwurf, Itemanalyse, Skalenbildung (EFA, CFA), Evaluation psychologischer Testverfahren
Fichier Détails
| Cartes-fiches | 85 |
|---|---|
| Utilisateurs | 24 |
| Langue | Deutsch |
| Catégorie | Psychologie |
| Niveau | Université |
| Crée / Actualisé | 10.09.2013 / 26.08.2018 |
| Lien de web |
https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion_03421
|
| Intégrer |
<iframe src="https://card2brain.ch/box/m6_grundlagen_der_testkonstruktion_03421/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>
|
Bestimmungsstücke der Definition eines psychologischen Tessts
- wissenschaftliches Routineverfahren (Standardisierung)
- abgegrenzte Persönlichkeitsmerkmale (alle Arten interindividueller Differenzen)
- quantitative Aussage (Score)
- relativer Grad (Vergleichsgruppe)
Definition Testtheorie
Beurteilung des Gesamtwerts im Test als auch von dessen Bestandteile hinsichtlich des Zusammenhangs zwischen Testverhalten und psychologischen Merkmalen.
Klassifikationsmöglichkeiten von Tests
- Inhalt (Leistungstests, psychometrische Persönlichkeitstests, projektive Tests)
- Testungsstrategie (normorientierte Konstrukttests vs. kriterienorientierte Tests)
- Formale Kriterien (speed vs. power, ein- vs. mehrdimensional, Gruppe vs. Einzel, mediale Unterstützung, verbal vs. non-verbal)
Vorteile der KTT
+ Grundlage der meisten psychologischen Testverfahren (95%)
+ einfache Anwendbarkeit
Grundaxiome der KTT
1) Grundaxiom: X= T+E
- E= X-T
- M (E)i= 0/ M(E)p= 0
2) r (E, T)= 0
3) r(Ea, Eb)= 0
4) r (Ea, Tb)= 0
Kritik an der KTT
- Übungs- und Transfereffekte
- nicht intendierte systematische Varianzanteile (bias) werden dem wahren Wert zugerechnet
- stellt keine Verbindung zwischen Fähigkeit, Merkmal/ Eigenschaft und Itembeantwortung her
- fehlender Zusammenhang zwischen wahrem Wert und Messfehler
- prüft Eindimensionalität nicht
- ungenaue Messung in den Extrembereichen
- Stichprobenabhängigkeit der Testwerte
Aufgabe der PTT
- Zusammenhang zwischen der Fähigkeit einer Person und der Wahrscheinlichkeit, mit der diese Person eine Aufgabe löst.
- Frage: Wie kommen Antworten auf Items zustande?
Wenn das Modell durch Modelltests nicht abgelehnt wird, ist Summenwert eine erschöpfende Statistik der Persönlichkeit. Was bedeutet das?
Summenwert einer Person liefert alle Informationen über die Fähigkeitsausprägung der Person.
Was bedeutet lokale stochastische Unabhängigkeit?
Man darf die Lösungswahrscheinlichkeiten der Items für alle Personen multiplizieren.
Wie ist die Validität (rtc) formal definiert?
Messung des Zielkonstrukts C:
rtc= S²c/ (S²c + S²b + S²e)
Mittel zur Abgrenzung des Merkmalsbereichs
- Literaturrecherche als Grundlage
- explorative Verfahren qualitative Interviews, Facettentheorie, AFA, CIT)
Wie grenzt die Facettentheorie den Merkmalsbereich vollständig ein?
1. Teilmerkmale (Facetten) & 2. deren Ausprägungen zergliedern
3. Beziehung darstellen und empirisch skalieren
Eingrenzung des Geltungsbereichs
- durch Auftragsgeber
- ethische Richtlinien
- Vermeidung von diskriminierenden Merkmalsbereichen
Rationale Testkonstruktion (Konzept, Methode, Schwerpunkt, Vor- und Nachteile, Beispiele)
- deduktiv/ theoriegeleitete Itemgenerierung
- bei Skalenbildung keine, später Überprüfung auf Gütekriterien
- Inhalts- und Konstruktvalidität
+ intuitiv zugängliche Ergebnisse
+ geriner Validitätsverlust bei Übertragung auf andere Situation
- subjektive Vorentscheidungen
- ungeeignet bei schlecht erforschten Situationen
- großer konzeptioneller Aufwand
-> BIS, RBS, WIE, HAWIK
Externale Testkonstruktion (Konzept, Methode, Schwerpunkt, Vor- und Nachteile, Beispiele)
- empirisch/ kriterienorientiert, Items oft sehr heterogen
- Regressionsanalyse
- Kriteriumsvalidität
+ gute Kriteriumsvalidität
+ geeignet zur Exploration
- situativ instabil
- schlecht interpretierbare Skalen
- große Stichproben
- Kreuzvalidierung zwingend
-> MMPI, CPI
Internale Testkonstruktion (Konzept, Methode, Schwerpunkt, Vor- und Nachteile, Beispiele)
induktiv/ faktoranalytisch, Bildung homogener Subskalen auf Grundlage der IIC
- Faktoranalyse
- Konstruktvalidität, Homogenität der Subskalen
+ erleichtert Interpretation bei Exploration
+ abgrenzbare Konstrukte, Homogenität
- große Stichproben
- subjektive Interpretation
- kriterienbezogene V. kann eingeschränkt sein
Act Frequency Approach (AFA)
- Metatheorie der Persönlichkeit
- Itemsammlung hinsichtlich Prototypizität
- Unabhängigkeit von Testautor
- Verhaltensnähe
- Problem der Aktivitätsfaktoren (tendenziell überhöhte Korrelationen)
Critical Incident Technique (CIT)
- aus Organisationspsychologie
- Unabhängigkeit von Testautoren
- Verhaltennähe
- gute oder unbefriedigende Leistungen können sich in konkreten erfolgskritischen Ereignissen niederschlagen -> Stelleninhaber/ Experten
- gute Validität zur Vorhersage beruflicher Leistung
Richtlinien zur Formulierung von Itemstämmen
- Verständlichkeit (doppelte Verneinungen, Fachbegriffe, Satzlänge)
- Eindeutigkeit (ein Gedanke, Verallgemeinerungen)
- Meidung von Antworttendenzen (suggestiv, Geminplätze)
Reihenfolgeeffekte
- Assimilationseffekte -> pos. Verzerrung durch Verbindung mit Vorabinfo
- Kontrasteffekte -> negativer Effekt, fehlende Verbindung
- Kontexteffekte -> beeinflussender Zusammenhang der Antwortalternativen
Itemschwierigkeitsindex (mit & ohne Korrektur, Inangriffnahme)
- P (ohne ZK) -> Itemschwierigkeit als prozentualer Anteil der richtigen Lösungen, Ja/ Nein Antwortformat (NR, N)
- Pzk -> bei Leistungstests mit Mehrfachwahlformat, dichotomen Aufgaben (NR, NF, m- Anzahl der Wahlmöglichkeiten, N)
- P (Inangriffnahme) -> zeitbegrenzte Leistungstests (NR, NB)
Höchster Informationsgehalt der Itemschwierigkeit
- bei mittlerer Schwierigkeit, umgekehrt u-förmig
Was setzt die Trennschärfe voraus?
Validität- Summe der übrigens Items/ gesamte Skala misst dieses Merkmal valide.
Berechnung der Trennschärfe
- Produkt-Moment-Korrelation (Ratingskala)
- Punktbiseriale Korrelation (Dichotome Items)
Wozu berechnet man den Selektionskennwert?
- Trennschärfe dichotomer Items
- Korrektur um Varianzeinschränkung
SPSS-Ausgabe: Was zeigt Trennschärfe an?
Korrigierte Item-Skala-Korrelation
Indikatoren für Itemselektion?
- Itemschwierigkeit
- Trennschärfe
- Varianz/ deskriptive Statistiken
- Korrelation mit Außenkriterien
Ablauf Schätzung der Modellparameter?
1) Schätzung der Itemparameter mit Hilfe von conditional Maximum-Likelihood-Methode (cML)
2) Schätzung der Personenparameter
3) Logit-Transformation der Modellparameter (Theta/Sigma)
-> Logistische Funktion ICC: Lösewahrscheinlichkeit und Modellparameter
Wird Rasch-Modell durch Modelltest nicht abgelehnt, gilt...
- Lösungswahrscheinlichkeit wird durch logistische Funktion beschrieben
- Summenwerte sind suffiziente oder erschöpfende Statistiken der Personenfähigkeit
- Vergleiche zwischen Items und Personen sind spezifisch objektiv
- Items sind eindimensional (Ausnahmen)
Rasch-Modelle und Parameter für dichotome Daten und Ratingskalen
Dichotom:
1) Rasch-Modell (Itemparameter)
2) Birnbaum-Modell/ 2-PM-Modell (Trennschärfeparameter beta)
3) 3-PM-Modell (Rateparameter)
Ratingskala:
1) Ordinales Rasch-Modell (Schwellenkonzept)
2) Mixed-Rasch-Modelle (Personengruppe mit maximaler Unterscheidung)
Drei Varianzquellen nach Cattell
- Variablen
- Versuchspersonen
- Situation
Effektindikator/ Faktorenanalyse
simultaner Einfluss jedes Faktors auf mehrere beobachtbare Variablen
Möglichkeiten zur Prüfung substanzieller Korrelationen
- Bartlett-Test auf Sphärizität (signifikant, möglichst 0)
- Kaiser-Meyer-Olkin-Koeffizient (gemeinsamer Varianzanteil der Items relativ zu deren spezifischen Varianzanteilen)
- Kommunalitäten (mind. .20)
- MSA-Koeffizient (bezieht sich auf einzelne Items)
Methoden zum Umgang mit ungünstigen Verteilungseigenschaften?
- Items transformieren
- Parcels
- EFA: Faktorenanalyse höherer Ordnung
- tetra-/ polychorische Korrelation bei dichotomen Items bzw. Ratingskala
- alternative faktorenanalytische Methoden der PTT
Fehlerterm in PAF und PCA
- PAF: Modell mehrerer gemeinsamer Faktoren -> latente Variablen plus Fehlerterm
- PCA: Komponentenmodell -> kein Fehlerterm, es interessieren nur empirische Daten keine dahinter liegende wahren Konstrukte
Wie setzt sich der z-Wert einer Person i auf einem Item m zusammen?
Summe aller Produkte des Faktorwerts einer Person auf einen Faktor (f) und die Ladung des Items auf diesem Faktor (a) plus Fehlerkomponente
-> z= fi1*am1 + (...) + fiq*amq + ei
Was ist die Kommunalität?
Anteil der Varianz eines Items, der durch alle extrahierte Faktoren gemeinsam aufgeklärt werden kann.
3 Vorgehensweise zur Bestimmung der zu extrahierenden Faktoren
1) Kaiser-Guttman-Kriterium -> Faktorenzahl nach Eigenwert > 1
2) Faktorenzahl nach Scree-Plot -> Eigenwertdiagramm auffälliger Knick
3) Faktorenzahl nach statistischen Kriterien -> Bartlett-Test nach Extraktion jedes Faktors
4) Parallelanalyse -> Werte mit Zufallskorrelationen vergleichen
5) MAP-Test -> Minimum-Average-Partial-Test
Verfahren orthogonaler Rotation (nicht korreliert)
- Quartimax-Rotation: erhöht Zuordnung, nicht Interpretierbarkeit
- Varimax-Rotation: Unterschiede der Ladungen innerhalb eines Faktors maximieren -> erhöht Interpretierbarkeit, nicht Eindeutigkeit der Zuordnung
- Equamax-Rotation: verbindet beide Verfahren
Verfahren obliquer Rotation
Promax-Rotation: hohe Ladungen verkleinern, kleine verschwinden
direkte Oblimin-Rotation: Delta-Werte
