Methodik
Methodik
Methodik
-
- 1 / 99
-
Cartes-fiches
Was ist die Intuitive Strategie?
Wenn Items aufgrund ihrer vermuteten Inhaltsvalidität zu einem theoretisch wenig explizierten Konstrukt zusammengestellt werden. --> Erfahrungsgeleitete Strategie
Was ist die Rationale Strategie und wie wird dabei vorgegangen?
Items werden aufgrund eines theoretisch fundierten und explizierten Konstrukt abgeleitet. --> Theoriegeleitete Auswahl
- Definition & Spezifikation des zu erfassenden Konstrukts
- Generieung eines Itempools
- Auswahl durch Expertenratings
- Empirische Überprüfung
Was ist die externale / kriteriumsorientierte Strategie und wie wird dabei vorgegangen?
Wenn Items aufgrund ihrer Diskriminationsfähigkeit zwischen Mitgliedern verschiedener Gruppen zusammengestellt werden, Nutzen ist entscheidend, nicht Theorie. --> Empiriegeleitete Auswahl
- Gruppenbestimmung nach Kriterium
- Generierung eines breiten Itempools
- Itembearbeitung durch die Gruppen
- Auswahl der "trennenden" Items
- Kreuzvalidierung (cross-validation)
Was ist die Internale / Faktoranalytische Strategie und wie wird dabei vorgegangen?
Wenn Items (blind-analytisch) mittels einer Faktorenanalyse zu Skalen gruppiert werden, die (empirisch) hoch miteinander korrelieren und damit gemeinsam eine Dimension konstituieren. --> Empiriegeleitete Auswahl
- Generierung eines grossen Itempools mit prinzipell relevanten Items
- Auswertung mittels Faktorenanalyse
- Elimination von Items mit zu geringer oder Mehrfachladungen
- Bildung von Subskalen und inhaltliche Deutung (post-hoc)
- Itemselektion anhand der Itemanalyse
Welche 4 Schritte gib es im Testkonstruktionsablauf?
- Testplanung
- Testentwurf
- Erprobung Entwurf
- Revision des Tests - Endfassung
Welche Vorteile haben Items mit freiem Antwortformat?
- Reproduktion von Wissen, nicht zufällig richtige Antwort
- Detaillierte Information
- Gut zur Erfassung von Kreativität oder Motiven
- Gut in frühen Phasen (Theorieentwicklung / Merkmalsdefinition)
Welche Nachteile haben Items mit freiem Antwortformat?
- Zeitaufwändig in Erhebung / Auswertung
- Eingeschränkte Auswertungsobjektivität
- sprachliche Fertigkeiten beeinflussen die Leistung
- Ergänzungsaufgaben testen vor allem Faktenwissen
Vorteile von Ordnungsaufgaben
- Objektiv und einfach
- zufällige Beantwortung weniger problematisch als bei Auswahlaufgaben
- eignet sich auch zur Überprüfung von Wissen, Schlussfolgerungen, sowe Ursache-Wirkung
- ökonomisch
Nachteile von Ordnungsaufgaben
- Statt freie Reproduktion: nur Wiedererkennen
- Nach jeder richtigen Antwort nehmen Freiheitsgrade ab
- Materialverbrauch ist bei Umordnungsaufgaben hoch
Auf welchem Skalenniveau sollten die folgenden Variablen gemessen werden?
a) Distanz zwischen zwei Städten
b) Intelligenz mit einem IQ Test gemessen
c) Aufstellung der Klassenmitglieder nach Grösse
d) Augenfarbe der Personen einer Gruppe
a) Verhältnisskala
b) Intervallskala
c) Ordinalskala
d) Nominalskala
Was ist ein psychometrischer Test?
Bei einem psychometrischen Test handelt es sich um ein Prüfverfahren, bei dem in standardisierten Situationen, Merkmale von Personen erfasst werden, die als Indikatoren für bestimmte Personeneigenschaften dienen.
Test ist valide, relabiabel und objektiv und ermöglich eine metrisch vergleichende Diagnostik.
Welche Schritte umfasst die Testplanungsphase? (4)
- Anforderungsanalyse & Problemstellung
- Planung & Literatursuche
- Eingrenzung des Merkmals & Arbeitsdefinition
- Suche nach bereits existierenden Tests
Welche Aussagen zu Testarten sind richtig?
Vorteile dichotomer Aufgaben
- kurze Bearbeitungs-, Auswertungs- & Lösungszeit
- Testinstruktion ist in der Regel leicht zu verstehen
Nachteile dichotomer Aufgaben
- wenig differenzierte Information
- Zufallslösungen 50%
- Ja-Nein-Items müssen so formuliert werden, dass sie eindeutig beantwortet werden können
- erhöhte Ja-sage-Tendenz bei Ja-Nein-Items
Vorteile von Mehrfachwahl-Aufgaben
- Durchführung und Auswertung sind ökonomisch & objektiv
- je mehr Antwortalternativen, umso weniger problematisch eine zufällige Beantwortung
Nachteile von Mehrfachwahlaufgaben?
- geeignete Antwortalternativen zu finden oft schwierig
- Aufgabenstellung könnte schon Hinweise auf richtige Lösung enthalten
- Wiedererkennen verlangt, keine Reproduktion
- nicht für alle Konstrukte sinnvoll
Was bedeutet Exhaustivität?
Vollständigkeit der Antwortalternativen --> wichtig bei Persönlichkeitstests
Was ist eine diskret gestufte Ratingskala?
mehrstufige Ratingskala: Es handelt sich um mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen.
Was sagt der Grad der Differenziertheit aus?
Anzahl der Skalenstufen --> in der Regel 3-7 Stufen
Was sind unipolare / bipolare Fragebogenitems?
unipolar: gehen von einem Nullpunkt aus in nur eine Richtung
bipolar: gehen von einem negativen Pol über einen Nullpunkt (Indifferenz) bis zu einem positiven Pol
Wie können Skalenstufen bezeichnet werden?
- Verbale Etikettierung
- Benennung mit Zahlen
- Kombination aus beidem
Was sind reverse kodierte (invertierte) Items?
Items mit einer negativen Valenz, d.h. sie gehen in die umgekehrte Richtung in der Erfassung des Merkmals
Vorteile von Beurteilungsaufgaben mit mehrstufigen Ratingskalen
- ökonomisch bei Durchführung & Auswertung
- kürzere Bearbeitungszeit
- (relativ) differenzierte Information
Nachteile von Beurteilungsaufgabe mit mehrstufigen Ratingskalen
- Konstruktion kann aufwendig sein
- subjektiv unterschiedliche Auffassung der Abstufung
- mittlere oder neutrale Antwortkategorie kann problematisch sein
- Verfälschungen
Welche allgemeinen Probleme gibt es bei der Itembeantwortung?
- Systematische Fehler --> vermindern Validität
- absichtliches Fälschen
- Verfälschungen durch Optimizing (positiver Grund als Motivation für Teilnahme) / Satisficing Motivation (zur Teilnahme verpflichtet)
- Soziale Erwünschtheit (Selbst- vs. Fremdtäuschung)
Welche Schwierigkeiten bergen neutrale Mittelkategorie und Weiss-nicht Kategorie?
- nicht immer eindeutig interpretierbar
- Unentschiedenheit; versteht Item nicht, hält Item für unpassend, verweigert Antwort, typische Antwort, Unmotiviertheit / Gleichgültigkeit
Welche Aussagen zu Antwortalternativen sind korrekt?
Was kann gegen soziale Erwünschtheit gemacht werden?
- Anonymität sicherstellen
- Vetraulichkeit kommunizieren
- Befragungen insbesondere bei Tabu Themen eher schriftlich als mündlich
- VP über Untersuchungsgegenstand aufklären
- Verwendung von Kontrollskalen
- Anwendung objektiver Persönlichkeitstests
Was kann gegen Optimizing & Satificing gemacht werden?
- Optimizing: VL sollte sich möglichst neutral verhalten
- Satisficing: Motivation sicherstellen, nicht zwingen / überreden, sicherstellen das Studie ernst genommen wird
Was kann gegen Tendenz zur Mitte / Akquieszenz gemacht werden?
Tendenz zur Mitte: keine extremen Bezeichnungen für Pole nutzen, keine neutrale Mitte verwenden, zusätzliche weiss nicht kategorie anbieten
Akquieszenz: Verwendung von invertierten / umgepolten Items
Welche der folgenden Aussagen zur Disjunktheit / Exhaustivität sind korrekt?
Welche Aussagen zu diesem Beispiel sind korrekt?
Welche Aussagen zu diesem Beispiel sind korrekt?
Welche Kriterien der Itemformulierung gibt es?
- Sprachliche Formulierung: Art von Item
- Sprachliche Verständlichkeit
- Schwierigkeit der Items
- Eindeutigkeit des Inhalts
- Eindeutigkeit hinsichtlich des Konstrukts
Was umfasst eine Itemanalyse?
- Schwierigkeitsanalyse / Schwierigkeitsindex
- Itemvarianz
- Trennschärfe
- Homogenität
- Analyse der Testwertverteilung
--> daraus resultieren Itemselektion und Testrevision
Wodurch definiert sich der Schwierigkeitsindex einer Aufgabe?
Durch die prozentuale Häufigkeit, mit der sie von einer repräsentativen Stichprobe von Pbn richtig beantwortet wird. Je höher desto einfacher, je tiefer desto schwieriger.
Was muss beim Schwierigkeitsindex von Speedtests verändert werden?
Problem fehlender Antworten, daher maximal mögliche Punktzahl nicht im Nenner, sondern die Anzahl beantworteter Fragen.
Bei welchen Tests ist eine Ratekorrektur unnötig?
- Persönlichkeitstests
- MC Fragen mit mehr als 4 Antwortmöglichkeiten
Was drückt der Schwierigkeitsindex bei Persönlichkeitstests aus?
Grad der symptomatischen Antwort, welcher für eine hohe Ausprägung des untersuchten Merkmals spricht.
