Bodeneffekte

nicht immer eindeutig interpretierbar

mögliche Interpretationen: Unentschiedenheit, Item nicht verstanden, für unpassend gehalten, Antwortverweigerung, „typische“ Antwort, mangelnde Motivation / Gleichgültigkeit

Bsp.: stimme gar nicht zu – stimme mäßig zu – stimme völlig zu

Bsp.: „Essen Sie gerne japanisches Essen?“ ja – nein – weiß nicht
Interpretation schwierig
besser: [ ] kenne kein japanisches Essen

negative Valenz, umgepolt

Vorteil: demotiviertes Antwortverhalten wird offensichtlich, wenn immer dieselbe Position „ja“ angekreuzt wird

Nachteile: Formulierungen werden unterschiedlich wahrgenommen, lassen sich mitunter nicht exakt invertieren; revers kodierte Items müssen vor der Auswertung umgepolt werden

Bsp. Intensitätsskala: „Ich war im letzten Monat oft aufgebracht“ stimme nicht – wenig – mäßig – ziemlich – sehr zu

Bsp. Häufigkeitsskala: „Wie oft waren Sie im letzten Monat aufgebracht?“ nie – selten – manchmal – oft – immer

Häufigkeitsskala differenzierter, asymmetrische Skala noch differenzierter

asymmetrisch, weil Häufigkeitsabstufungen ungleich groß (Abgrenzung zu Unipolarität!)

Bsp.: „Telefon, SMS, E-Mail“ nie / 1-2mal pro Woche / 3-4mal pro Woche / täglich / mehrmals täglich

+ ökonomisch in Durchführung und Auswertung
+ kürzere Bearbeitungszeit
+ relativ differenzierte Informationen

- subjektiv unterschiedliche Auffassung der Abstufungen (eigentlich ordinalskaliert, nicht int.)
- Antworttendenzen
- mittlere oder neutrale Antwortkategorie kann problematisch sein

• systematische Fehler vermindern Validität
• absichtliches Fälschen, Simulation
• Verfälschungen durch Motivation: Optimizing-Satisficing-Modell
• soziale Erwünschtheit
• Antworttendenzen (Response sets)

Optimizing: positiver Grund als Teilnahmemotivation (Selbstbild, Altruismus, Belohnung), Folge: gründliche Bearbeitung der Items

Satisficing: Verpflichtung zur Teilnahme, beiläufige Teilnahme, Folge: oberflächliche Bearbeitung der Items

• Selbsttäuschung: nicht absichtlich
• Fremdtäuschung: absichtlich
• Verringerung durch Aufklärung über Untersuchungsgegenstand, Gewahrung der Anonymität, objektive Persönlichkeitstests oder Kontrollskala

von der zu messenden Personeneigenschaft unabhängige Neigung einer Person, die Ratingskala in einer bestimmten Art und Weise zu gebrauchen

Tendenz zur Mitte: Verringerung der Varianz; Gegenmittel: keine neutrale Mittelkategorie, Pole ohne extreme sprachlichen Bezeichnungen, Weiß-nicht-Kategorie)
Akquieszenz: Zustimmungstendenz, Ja-sage-Tendenz
Kontrollskala: Überprüfung der Ehrlichkeit am Ende des Fragebogens („Manchmal lüge ich, wenn ich muß“, „Ich habe schon mal zuviel Wechselgeld bekommen und der Verkäuferin nichts gesagt“)

• Sprachliche Formulierung: Art des Items
• Sprachliche Verständlichkeit
• Eindeutigkeit des Inhalts
• Schwierigkeit der Items
• Eindeutigkeit hinsichtlich des Konstruktes

direkt/indirekt:

• Bsp.: „Halten Sie sich für rücksichtsvoll?“ (direkt)
• Indikator (indirekte Frage nach konkreter Situation) meist besser: „Halten Sie an, wenn jemand am Fußgängerüberweg steht?“

hypothetischer/tatsächlicher Sachverhalt

• Bsp.: „Würden Sie helfen, wenn Sie beobachten, wie jemand belästigt wird?“
• eher Fehleinschätzung bei hypothetischem Sachverhalt
• besser nach konkretem Sachverhalt fragen: „Als Sie das letzte Mal beobachtet haben...“

konkret/abstrakt

• Bsp.: „Sammeln Sie gerne Briefmarken?“
• konkrete Fragen sind situationsabhängig, abstrakte Fragen führen aber zu Fehleinschätzungen

personalisiert/depersonalisiert

• Bsp.: „Sollten möglichst viele gegen ein Ausländergesetz demonstrieren?“ (depersonalisiert)
• zuverlässigere Information bei personalisierten Fragen: „Würden Sie gegen ein...“

• Zu komplizierte oder umständliche Satzkonstruktionen vermeiden
• Möglichst kurz, aber präzise
• Verneinungen, erst recht doppelte, vermeiden
• Intensitäts- und Häufigkeitsangaben vermeiden („Sporttreiben erhöht manchmal den Selbstwert“)
• Wichtiges hervorheben
• Fachausdrücke vermeiden

• Zu allgemeine oder vage Aussagen unterlassen („Ich habe verschiedene Ziele im Leben“)
• Mehrdeutige Begriffe vermeiden („Ich bin in Gesprächen angriffslustig“)
• Nur eine Aussage pro Item (keine „double barrel“, „Ich habe Ziele im Leben und arbeite auf sie hin“)
• Zeitpunkt/Zeitspanne eingrenzen (nicht: „In letzter Zeit fühlte ich mich öfters niedergeschlagen“)
• Verallgemeinerungen vermeiden („Alle Kinder machen Lärm“)

Um Unterschiede in Ausprägungen eines Merkmals messen zu können, ist Varianz im
Antwortverhalten notwendig.

• Extrem formulierte Items sind ungeeignet („Frauen, die abtreiben, sollten zu langen Gefängnisstrafen verurteilt werden“)
• Items, die praktisch von allen Vpn bejaht oder verneint werden, sind ungeeignet („Meine Gesundheit ist mir wichtig“)

Es muß eindeutig sein, ob eine Zustimmung zu einem einzelnen Item im Sinne einer höheren oder niedrigeren Ausprägung des im Gesamttest erfaßten Konstruktes zu interpretieren ist.

• Reihenfolge von Skalen
• Reihenfolge von Items
• Hinweise in Instruktionen

• Skalen für ein Konstrukt nicht auseinandernehmen
• Allgemeine vor spezifischen Konstrukten testen, thematisch gruppieren
• „Counterbalancing“ bei Stimmungsfragebögen: Kontext beeinflußt oft das Antwortverhalten
• Antwortskalen klar bezeichnen
• Demographische Daten am Anfang oder Ende erfassen

• Bei Leistungsaufgaben mit leichten Items beginnen
• Bei psychologischen Untersuchungen mit neutralen Items beginnen
• Konsistenz- und Aktualisierungseffekte vermeiden: ähnliche Items innerhalb einer Skala trennen, Pufferaufgaben, Instruktionen

• Spontan und wahrheitsgetreu antworten, nichts überspringen
• Antwortmodus erklären
• Anonymität/Vertraulichkeit betonen

Erst versuchen, übersetzte Skala auf deutsch zu finden und prüfen, ob sie psychometrisch überprüft wurde

Wenn keine Übersetzung vorhanden: Verschiedene Vorgehensweise.

Übersetzung muß psychometrisch geprüft und an neuer Stichprobe getestet werden

1. Übersetzen und anschließend rückübersetzen (durch verschiedene Übersetzer), Nichtübereinstimmungen korrigieren
2. Zusammenfügen („Merging“): zwei Übersetzer übersetzen gleichzeitig, Resultate werden verglichen
3. In Gruppe Übersetzen, anschließend mit Fachexperten diskutieren und sich einigen

• Evaluation eines Tests erst auf Itemebene, dann auf Testebene
• Itemanalyse: Selektion der Testitems mittels Evaluation auf deskriptiv-statistischer Ebene
• Psychometrische Item-Eigenschaften als Kennwerte bestimmen und anhand vorgegebener Qualitätsstandards beurteilen

Ziel: Items mit den besten psychometrischen Eigenschaften auswählen

Items mit den besten psychometrischen Eigenschaften auswählen

• Schwierigkeitsindex
• Itemvarianz
• Trennschärfe
• Homogenität
• Itemselektion und Testwertrevision
• Analyse der Testwertverteilung

Der Schwierigkeitsindex einer Aufgabe ist definiert durch die prozentuale Häufigkeit, mit der sie von einer repräsentativen Stichprobe von Pbn richtig bzw. in
Schlüsselrichtung beantwortet wird.

Wertebereich des Schwierigkeitsindex: 0 - 100.

Eigentlich handelt es sich um einen „Leichtigkeitsindex“, da ein hoher Wert bedeutet, daß ein Item leicht ist (es viele Pbn gelöst haben)

Formel

Ein Test soll Pbn mit hoher Merkmalsausprägung von Pbn mit niedriger Merkmalsausprägung
trennen

Items, die von allen Pbn gelöst (bzw. zugestimmt) werden oder von niemandem gelöst werden, tragen zu dieser Anforderung nichts bei

Daraus folgt: Items von mittlerer Schwierigkeit kreieren (optimal: Pi = 50)

Problem der fehlenden Antworten
maximal mögliche Punktzahl sollte nicht im Nenner stehen, da sonst die Schwierigkeit überschätzt wird (der Schwierigkeitsindex unterschätzt wird (!))
Korrektur ist nötig.

Bemerkung:
n_B: nur bearbeitete Aufgaben werden berücksichtigt
nicht n_Total

Keine Zeitbegrenzung wie bei Speedtests

Man geht davon aus, daß alle Items bearbeitet werden können, daher gibt es keine n_U (Unbearbeiteten)

Formel

Schwierigkeitsindex muß wegen des Ratens korrigiert werden, damit die Schwierigkeit nicht unterschätzt wird (bzw. der Schwierigkeitsindex überschätzt wird)

Nicht nötig bei Persönlichkeitstests oder MC-Fragen mit mehr als vier Antwortmöglichkeiten

Im Zähler zieht man von der Zahl richtiger Antworten die richtigen ab, die durch zufälliges Raten zustande gekommen sind (man nimmt an, daß alle falschen Antworten durch Raten zustandegekommen sind)

Je mehr falsche Antworten, desto größer die Ratekorrektur

Je größer die Anzahl Antwortalternativen, desto geringer die Ratekorrektur
(Ratewahrscheinlichkeit geringer)

k = Anzahl Antwortmöglichkeiten