Bodeneffekte

Prüfung mit vielen Bodeneffekten...

Prüfung mit vielen Bodeneffekten...


Kartei Details

Karten 323
Sprache Deutsch
Kategorie Berufskunde
Stufe Universität
Erstellt / Aktualisiert 26.05.2013 / 18.08.2013
Weblink
https://card2brain.ch/box/bodeneffekte
Einbinden
<iframe src="https://card2brain.ch/box/bodeneffekte/embed" width="780" height="150" scrolling="no" frameborder="0"></iframe>

Aufgaben mit gebundenem Antwortformat – Beurteilungsaufgaben

Analogskala-Aufgaben

Ratingskala-Aufgaben

Aufgaben mit gebundenem Antwortformat – Beurteilungsaufgaben bei Persönlichkeitstests:

  • Zustimmungs- oder Ablehnungsgrad zu einer im Aufgabenstamm vorgelegten Aussage
  • Antwortkategorien sind item-unspezifisch formuliert, sie gelten einheitlich für alle Items des Tests
  • kontinuierliche Analogskala: keine Abstufungen, differenziertere Antworten, Auswertung mit Meßskala („nie ----------------------X----- immer“)

Diskret gestufte Ratingskala

Mehr als zwei abgestufte Antwortkategorien, die eine Rangordnung darstellen sollen

Bsp.: 1 – fast nie / 2 – manchmal / 3 – oft / 4 – immer

Was ist bei der Anzahl Skalenstufen (Differenziertheit) zu beachten?

In der Regel werden 3 bis 7 Stufen verwendet, je nach dem vermuteten Grad der kognitiven Differenziertheit des zu testenden Konstruktes

Spezialfall: visuelle Stufen, z. B. Smileys :-( :-| :-)

Ratingskalen bei Beurteilungsaufgaben: Bipolar vs. unipolar

  • Unipolares Item geht von einem Nullpunkt aus und nur in eine Richtung
    Bsp.: „Wie oft fahren Sie Auto?“ nie – selten – manchmal – oft – sehr oft
  • Bipolares Item verläuft von einem negativen Pol über einen Nullpunkt (Indifferenz, z. B. „weder noch“) bis zu einem positiven Pol
    Bsp.: „Ich fühle mich oft angespannt und nervös“ starke Ablehnung – Ablehnung – weder Ablehnung noch Zustimmung – Zustimmung – starke Zustimmung
  • Bipolare Adjektive: Extraversion bipolar, Ängstlichkeit unipolar
    Bsp.: ruhig – laut, glücklich – traurig, ehrgeizig – faul usw.

Bezeichnung der Skalenstufen (Labels)

numerisch (-5 bis +5 bipolar, 0 bis 10 unipolar), verbal (wenig, mittel, ziemlich), optisch oder gemischt

verbale Etikettierungen: Vorteil, daß die Bedeutung der Antwortstufen durch eine sprachliche Umschreibung vereinheitlicht wird

Benennung mit Zahlen soll bewirken, daß die Ratingskala wie eine Intervallskala benutzt wird (ist aber nicht wirklich intervallskaliert)

bei einer Kombination von beiden erhofft man sich die Vorteile von beiden Varianten

Was ist bei einer neutralen Mittelkategorie zu beachten?

nicht immer eindeutig interpretierbar

mögliche Interpretationen: Unentschiedenheit, Item nicht verstanden, für unpassend gehalten, Antwortverweigerung, „typische“ Antwort, mangelnde Motivation / Gleichgültigkeit

Bsp.: stimme gar nicht zu – stimme mäßig zu – stimme völlig zu

Was ist bei einer Weiß-nicht-Kategorie zu beachten?

Bsp.: „Essen Sie gerne japanisches Essen?“ ja – nein – weiß nicht
Interpretation schwierig
besser: [ ] kenne kein japanisches Essen

Was ist bei revers kodierten / invertierten Items zu beachten?

negative Valenz, umgepolt

Vorteil: demotiviertes Antwortverhalten wird offensichtlich, wenn immer dieselbe Position „ja“ angekreuzt wird

Nachteile: Formulierungen werden unterschiedlich wahrgenommen, lassen sich mitunter nicht exakt invertieren; revers kodierte Items müssen vor der Auswertung umgepolt werden

Was ist bei Intensitäts- vs. Häufigkeitsskalen zu beachten?

Bsp. Intensitätsskala: „Ich war im letzten Monat oft aufgebracht“ stimme nicht – wenig – mäßig – ziemlich – sehr zu

Bsp. Häufigkeitsskala: „Wie oft waren Sie im letzten Monat aufgebracht?“ nie – selten – manchmal – oft – immer

Häufigkeitsskala differenzierter, asymmetrische Skala noch differenzierter

Was ist bei asymmetrischen Beurteilungsskalen zu beachten?

asymmetrisch, weil Häufigkeitsabstufungen ungleich groß (Abgrenzung zu Unipolarität!)

Bsp.: „Telefon, SMS, E-Mail“ nie / 1-2mal pro Woche / 3-4mal pro Woche / täglich / mehrmals täglich

Was sind Vor- und Nachteile von Beurteilungsaufgaben mit mehrstufigen Ratingskalen? (3/3)

+ ökonomisch in Durchführung und Auswertung
+ kürzere Bearbeitungszeit
+ relativ differenzierte Informationen

- subjektiv unterschiedliche Auffassung der Abstufungen (eigentlich ordinalskaliert, nicht int.)
- Antworttendenzen
- mittlere oder neutrale Antwortkategorie kann problematisch sein

Allgemeine Probleme bei der Itembeantwortung

  • systematische Fehler vermindern Validität
  • absichtliches Fälschen, Simulation
  • Verfälschungen durch Motivation: Optimizing-Satisficing-Modell
  • soziale Erwünschtheit
  • Antworttendenzen (Response sets)

Was beinhaltet das Optimizing-Satisficing-Modell?

Optimizing: positiver Grund als Teilnahmemotivation (Selbstbild, Altruismus, Belohnung), Folge: gründliche Bearbeitung der Items

Satisficing: Verpflichtung zur Teilnahme, beiläufige Teilnahme, Folge: oberflächliche Bearbeitung der Items

Was beinhaltet soziale Erwünschtheit?

  • Selbsttäuschung: nicht absichtlich
  • Fremdtäuschung: absichtlich
  • Verringerung durch Aufklärung über Untersuchungsgegenstand, Gewahrung der Anonymität, objektive Persönlichkeitstests oder Kontrollskala

Was bedeuten Antworttendenzen (Response sets)?

von der zu messenden Personeneigenschaft unabhängige Neigung einer Person, die Ratingskala in einer bestimmten Art und Weise zu gebrauchen

Tendenz zur Mitte: Verringerung der Varianz; Gegenmittel: keine neutrale Mittelkategorie, Pole ohne extreme sprachlichen Bezeichnungen, Weiß-nicht-Kategorie)
Akquieszenz: Zustimmungstendenz, Ja-sage-Tendenz
Kontrollskala: Überprüfung der Ehrlichkeit am Ende des Fragebogens („Manchmal lüge ich, wenn ich muß“, „Ich habe schon mal zuviel Wechselgeld bekommen und der Verkäuferin nichts gesagt“)

Was sind Kriterien der Itemformulierung?

  • Sprachliche Formulierung: Art des Items
  • Sprachliche Verständlichkeit
  • Eindeutigkeit des Inhalts
  • Schwierigkeit der Items
  • Eindeutigkeit hinsichtlich des Konstruktes

Was beinhaltet das Kriterum der Itemformulierung: Sprachliche Formulierung: Art des Items?

direkt/indirekt:

  • Bsp.: „Halten Sie sich für rücksichtsvoll?“ (direkt)
  • Indikator (indirekte Frage nach konkreter Situation) meist besser: „Halten Sie an, wenn jemand am Fußgängerüberweg steht?“

hypothetischer/tatsächlicher Sachverhalt

  • Bsp.: „Würden Sie helfen, wenn Sie beobachten, wie jemand belästigt wird?“
  • eher Fehleinschätzung bei hypothetischem Sachverhalt
  • besser nach konkretem Sachverhalt fragen: „Als Sie das letzte Mal beobachtet haben...“

konkret/abstrakt

  • Bsp.: „Sammeln Sie gerne Briefmarken?“
  • konkrete Fragen sind situationsabhängig, abstrakte Fragen führen aber zu Fehleinschätzungen

personalisiert/depersonalisiert

  • Bsp.: „Sollten möglichst viele gegen ein Ausländergesetz demonstrieren?“ (depersonalisiert)
  • zuverlässigere Information bei personalisierten Fragen: „Würden Sie gegen ein...“

Was beinhaltet das Kriterum der Itemformulierung: Sprachliche Verständlichkeit

  • Zu komplizierte oder umständliche Satzkonstruktionen vermeiden
  • Möglichst kurz, aber präzise
  • Verneinungen, erst recht doppelte, vermeiden
  • Intensitäts- und Häufigkeitsangaben vermeiden („Sporttreiben erhöht manchmal den Selbstwert“)
  • Wichtiges hervorheben
  • Fachausdrücke vermeiden

Was beinhaltet das Kriterum der Itemformulierung: Eindeutigkeit des Inhalts

  • Zu allgemeine oder vage Aussagen unterlassen („Ich habe verschiedene Ziele im Leben“)
  • Mehrdeutige Begriffe vermeiden („Ich bin in Gesprächen angriffslustig“)
  • Nur eine Aussage pro Item (keine „double barrel“, „Ich habe Ziele im Leben und arbeite auf sie hin“)
  • Zeitpunkt/Zeitspanne eingrenzen (nicht: „In letzter Zeit fühlte ich mich öfters niedergeschlagen“)
  • Verallgemeinerungen vermeiden („Alle Kinder machen Lärm“)

Was beinhaltet das Kriterum der Itemformulierung: Schwierigkeit der Items

Um Unterschiede in Ausprägungen eines Merkmals messen zu können, ist Varianz im
Antwortverhalten notwendig.

  • Extrem formulierte Items sind ungeeignet („Frauen, die abtreiben, sollten zu langen Gefängnisstrafen verurteilt werden“)
  • Items, die praktisch von allen Vpn bejaht oder verneint werden, sind ungeeignet („Meine Gesundheit ist mir wichtig“)

Was beinhaltet das Kriterum der Itemformulierung: Eindeutigkeit hinsichtlich des Konstruktes

Es muß eindeutig sein, ob eine Zustimmung zu einem einzelnen Item im Sinne einer höheren oder niedrigeren Ausprägung des im Gesamttest erfaßten Konstruktes zu interpretieren ist.

Was ist bei der Zusammenstellung des Test zu beachten?

  • Reihenfolge von Skalen
  • Reihenfolge von Items
  • Hinweise in Instruktionen

Zusammenstellung des Tests: Reihenfolge von Skalen

  • Skalen für ein Konstrukt nicht auseinandernehmen
  • Allgemeine vor spezifischen Konstrukten testen, thematisch gruppieren
  • „Counterbalancing“ bei Stimmungsfragebögen: Kontext beeinflußt oft das Antwortverhalten
  • Antwortskalen klar bezeichnen
  • Demographische Daten am Anfang oder Ende erfassen

Zusammenstellung des Tests: Reihenfolge von Items

  • Bei Leistungsaufgaben mit leichten Items beginnen
  • Bei psychologischen Untersuchungen mit neutralen Items beginnen
  • Konsistenz- und Aktualisierungseffekte vermeiden: ähnliche Items innerhalb einer Skala trennen, Pufferaufgaben, Instruktionen

Zusammenstellung des Tests: Hinweise in Instruktionen

  • Spontan und wahrheitsgetreu antworten, nichts überspringen
  • Antwortmodus erklären
  • Anonymität/Vertraulichkeit betonen

Was ist beim Übersetzen von Skalen zu beachten?

Erst versuchen, übersetzte Skala auf deutsch zu finden und prüfen, ob sie psychometrisch überprüft wurde

Wenn keine Übersetzung vorhanden: Verschiedene Vorgehensweise.

Übersetzung muß psychometrisch geprüft und an neuer Stichprobe getestet werden

Welche Vorgehensweisen gibt es, wenn keine Übersetzung von Skalen vorhanden ist?

  1. Übersetzen und anschließend rückübersetzen (durch verschiedene Übersetzer), Nichtübereinstimmungen korrigieren
  2. Zusammenfügen („Merging“): zwei Übersetzer übersetzen gleichzeitig, Resultate werden verglichen
  3. In Gruppe Übersetzen, anschließend mit Fachexperten diskutieren und sich einigen

Itemanalyse im Rahmen der Klassischen Testtheorie: Evaluation der Items

  • Evaluation eines Tests erst auf Itemebene, dann auf Testebene
  • Itemanalyse: Selektion der Testitems mittels Evaluation auf deskriptiv-statistischer Ebene
  • Psychometrische Item-Eigenschaften als Kennwerte bestimmen und anhand vorgegebener Qualitätsstandards beurteilen

Ziel: Items mit den besten psychometrischen Eigenschaften auswählen

Was ist das Ziel der Itemanalyse?

Items mit den besten psychometrischen Eigenschaften auswählen

Was umfasst die Itemanalyse?

  • Schwierigkeitsindex
  • Itemvarianz
  • Trennschärfe
  • Homogenität
  • Itemselektion und Testwertrevision
  • Analyse der Testwertverteilung

Was ist der Schwierigkeitsindex?

Der Schwierigkeitsindex einer Aufgabe ist definiert durch die prozentuale Häufigkeit, mit der sie von einer repräsentativen Stichprobe von Pbn richtig bzw. in
Schlüsselrichtung beantwortet wird.

Wertebereich des Schwierigkeitsindex: 0 - 100.

Eigentlich handelt es sich um einen „Leichtigkeitsindex“, da ein hoher Wert bedeutet, daß ein Item leicht ist (es viele Pbn gelöst haben)

Formel des Schwierigkeitsintex

Formel

Was ist der Differentialpsychologischer Ansatz?

Ein Test soll Pbn mit hoher Merkmalsausprägung von Pbn mit niedriger Merkmalsausprägung
trennen

Items, die von allen Pbn gelöst (bzw. zugestimmt) werden oder von niemandem gelöst werden, tragen zu dieser Anforderung nichts bei

Daraus folgt: Items von mittlerer Schwierigkeit kreieren (optimal: Pi = 50)

Schwierigkeitsindex bei Speedtests

Problem der fehlenden Antworten
maximal mögliche Punktzahl sollte nicht im Nenner stehen, da sonst die Schwierigkeit überschätzt wird (der Schwierigkeitsindex unterschätzt wird (!))
Korrektur ist nötig.

Schwierigkeitsindex bei Speedtests: Formel für Ingriffnahme-Korrektur

Bemerkung:
nB: nur bearbeitete Aufgaben werden berücksichtigt
nicht nTotal

Schwierigkeitsindex bei Niveau-(Power-)Tests

Keine Zeitbegrenzung wie bei Speedtests

Man geht davon aus, daß alle Items bearbeitet werden können, daher gibt es keine nU (Unbearbeiteten)

Schwierigkeitsindex bei Niveau-(Power-)Tests: Formel

Formel

Schwierigkeitsindex bei Niveau-(Power-)Tests: Ratekorrektur

Schwierigkeitsindex muß wegen des Ratens korrigiert werden, damit die Schwierigkeit nicht unterschätzt wird (bzw. der Schwierigkeitsindex überschätzt wird)

Nicht nötig bei Persönlichkeitstests oder MC-Fragen mit mehr als vier Antwortmöglichkeiten

Im Zähler zieht man von der Zahl richtiger Antworten die richtigen ab, die durch zufälliges Raten zustande gekommen sind (man nimmt an, daß alle falschen Antworten durch Raten zustandegekommen sind)

Je mehr falsche Antworten, desto größer die Ratekorrektur

Je größer die Anzahl Antwortalternativen, desto geringer die Ratekorrektur
(Ratewahrscheinlichkeit geringer)

Schwierigkeitsindex bei Niveau-(Power-)Tests: Ratekorrektur: Formel

k = Anzahl Antwortmöglichkeiten