Bodeneffekte

• Offene Fragen
• Interviews
• Verhaltensbeobachtung
• Videoaufnahmen
• Tagebücher

Mehrere Fragen auf einmal stellbar (was und wie)
Messung, was nicht gesagt wird oder gesagt werden kann
Kohärenz eines Erlebnisses erfassen, Phänomen im Kontext
Daten relativ zeitlos

• Deduktiv/theoretisch
• Datenerhebung von theoretischen Konstrukten oder Hypothesen geleitet

• Induktiv/empirisch
• Untersuchung, was in den Daten zu finden ist (explorativ)

Transformation der unstrukturierten freien Antworten in quantitative Daten

Antworten mit Hilfe eines Kodiersystems quantifizieren (bereits vorhanden/entwickeln)
Bereits vorhandenes Kodiersystem hinzuziehen
Wurde bereits ausprobiert
Literatur bzgl. Reliabilität und Validität

Beispiel: FACS (Facial Action Coding System)

• Theoriegeleitete Kategorien bilden
• Material (Protokolle, Filme usw.) sichten und abklären, ob Kategorien fehlen
• Überarbeitung des Kodiersystems
• Trainings- und Testphase
• Kodieren

Kodiersystem entsteht erst beim Durchlesen der Daten oder man merkt nachträglich, daß im Kodiersystem etwas fehlte

1. Trainingsphase

• genügend Material
• System an Feedback der Kodierer anpassen
• Gute Übereinstimmung der Kodierer finden (Reliabilität)

2. Kodierphase

• Unabhängiges Kodieren
• Unkenntnis über Hypothesen (blinde Kodierer)
• Auswertung: nachträgliches Gespräch (Konsensus)
• Für Schätzung der Reliabilität: ursprüngliche Bewertungen

• Proportion potenzialer Übereinstimmung (Korrektur für Zufallsübereinstimmung) bei nichtüberschneidenden nominalskalierten Kategorien
• Strenger (konservativer) als prozentuale Übereinstimmung, d. h. fällt niedriger aus
• Beste Methode zur Bewertung der Übereinstimmung

Kappa < .4 = schlechte Übereinstimmung
Kappa .4 bis .75 = moderate bis gute Übereinstimmung
Kappa > .75 = sehr hohe Übereinstimmung

• Wenn relative, proportionale Übereinstimmung von intervallskalierten Daten benötigt wird
• Es geht um die Konsistenz in den Mustern der Relationen der Ratings, genaue Höhe spielt keine Rolle

• Erweiterung der Varianzaufteilung der KTT
• Neben Zufallsfehler werden auch systematische Fehler berücksichtigt, z. B. Varianz der Rater, unterschiedliche Lokalitäten, diese können herauspartialisiert werden

• Genau nachvollziehen, wo die Probleme liegen; Verbessern der Raterleistung (Feedback über die Werte der anderen Rater)
• Homogenisierung der Rater (Hintergrund der Rater anpassen)
• Ausschluß von Ratern, deren Werte sich vom Durchschnitt unterscheiden
• Vereinfachung der Informationsverarbeitungsprozesse (nicht zuviele Kategorien bilden, Schritte zur Kodierung)
• Skalenbeschreibung verändern (Zwischenstufen mit Zahlen beschriften, Intervallskalen besser als dichotome)
• Beispiele geben: was ist gemeint, was nicht?
• Mehrere Durchgänge, Merkmal für Merkmal einzeln beurteilen
• Beurteilungsobjekte stets in gleicher Weise präsentieren (nicht mal Video, mal live)
• Varianz erhöhen (unähnlichere Objekte einbeziehen)
• Prozentsatz der von allen Ratern kodierten Vpn erhöhen

• Validität = Gültigkeit
• Wichtigstes Gütekriterium
• Grad der Übereinstimmung, mit dem ein Test mißt, was er messen soll bzw. die Generalisierbarkeit des gemessenen Merkmals auf das Verhalten außerhalb der Testsituation
• Validität ist keine Eigenschaft des Tests, sondern die Bedeutung der Testwerte und wie sie gebraucht werden

Ein Test gilt als valide, wenn er das Merkmal, das er messen soll, auch wirklich mißt und nicht irgendein anderes.

Man ...

... kann vom beobachteten Verhalten innerhalb der Testsituation auf das Verhalten außerhalb der Testsituation schliessen

... kann vom beobachteten Verhalten innerhalb der Testsituation auf Fähigkeiten, Dispositionen und Persönlichkeit als Grundlage für Verhalten schliessen

• Bewerten: Vergleich mit der Leistung einer anderen Person
• Verallgemeinern: auf ähnliche Situationen, Aufgaben
• Extrapolieren: auf andere Bereiche außerhalb der Testsituation hochrechnen
• Erklären: Annahmen über Konstrukte und Prozesse
• Entscheiden: für was sich jemand eignet

• Inhaltsvalidität: Repräsentativität der Items und eines Tests
• Kriteriumsvalidität: praktische Anwendbarkeit der Vorhersage
• Konstruktvalidität: Schluß über latente theoretische Konstrukte (latente Variablen)
• Kein Routineverfahren
• Validitätsbestimmung mittels
  • Experten (theoretische Argumente und Urteile)
  • Prädiktiven Vorhersagen (Korrelation mit Kriterien)
  • Faktorenanalyse (FA-Struktur oder konvergente/diskriminante FA)
  • Korrelation mit anderen Variablen
  • Gruppenvergleichen
  • Experimentellen Manipulationen

• Unterstützt aber nicht die Interpretation
• Glaubhaftigkeit, Akzeptanz eines Tests
• Testanwender erkennt, was der Test mißt, sinnvoll für Motivation

Definition: Augenscheinvalidität gibt an, inwieweit der Validitätsanspruch eines Tests einem Laien vom bloßen Augenschein her gerechtfertigt erscheint.

Problem: soziale Erwünschtheit als Folge

Definition: Unter Inhaltsvalidität versteht man, inwieweit ein Test oder ein Testitem das zu messende Merkmal repräsentativ erfaßt.
Repräsentativität der Items und eines Tests (Repräsentationsschluß)

• Ideal: enumerative Lösung, vollständige Auflistung aller relevanten Items
• Real: Annäherungslösung, exemplarische Auswahl relevanter Items

Inhaltsvalidität umfaßt Aufgabenstamm/Stimulusteil und Antwortformat/Reaktionsteil

Wichtig bei Leistungstests, moderat bei Persönlichkeitstests, weniger bei empirisch ermittelten
Tests

Reicht allein nicht zur Validitätsprüfung

Hauptziel: Verallgemeinerung der Interpretation der Testergebnisse

• Merkmal wird im wesentlichen durch die Testinhalte definiert, ohne theoretische Annahmen
• Nachweis: Urteil von Fachexperten
• Ziel: Verallgemeinerung (sind die Items repräsentativ?)

Merkmal wird im Rahmen einer Theorie definiert; aufgrund des Konstrukts werden
Annahmen über unterschiedliche Testergebnisse getroffen

Nachweis: theoretische Fundierung und schlüssige Argumentation

Ziel: Verallgemeinerung und Erklärung (kann von den Items auf das theoretische Konstrukt geschlossen werden?)

Bsp.: HAWIE-R, basiert auf Intelligenz-Definition

Konstrukt ist unterrepräsentiert

Varianz konstruktirrelevant

Praktische Anwendbarkeit eines Tests für bestimmte Vorhersagen

Es kann auf ein für diagnostische Entscheidungen praktisch relevantes Kriterium geschlossen
werden (Korrelationsschluß)

Hauptziel: extrapolierende Interpretation der Testergebnisse, dafür werden praktisch relevante externe Kriterien benötigt

Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten der Testperson innerhalb der Testsituation erfolgreich auf ein Kriterium, nämlich auf ein Verhalten außerhalb der Testsituation, geschlossen werden kann.

Sorgfältige und gut begründete Auswahl der Außenkriterien

zeitliche Verfügbarkeit der Kriterien

• Übereinstimmungsvalidität (concurrent/konkurrente Validität)
• Vorhersagevalidität (prognostische, prädiktive V.)
• retrospektive Validität (postdiktive V.)

ökonomische Entscheidung

• inkrementelle Validität

Zwei zeitgleiche Messungen einer Vp (Test-Score und Kriteriums-Score)

Diagnose steht im Vordergrund

Beispiel: Inventory to Diagnose Depression (IDD)
Belege für Kriteriumsvalidität: Übereinstimmung (hohe Korrelation) mit anderen Depressionsskalen

Zwei Messungen, erst Test-Score, später Messung des Kriteriums

Prognose steht im Vordergrund, Test-Score soll Kriterium vorhersagen

Beispiel: Numerus clausus, zwei definierte Erfolgskriterien
Studienplätze sollen an diejenigen vergeben werden, die in möglichst kurzer Zeit das Studium absolvieren; das Studium in guter Qualität abschließen
Je höher die Testwerte, desto eher wird die erste Prüfung bestanden

Test-Score soll retrospektiv Verhalten „voraussagen“

Erklärung steht im Vordergrund

Beispiel: Körperlicher und sexueller Kindesmißbrauch: Studie untersuchte, ob Männer, die jemanden vergewaltigten, als Kinder eher körperlich und/oder sexuell mißbraucht worden sind

Es ist das Ausmaß, in dem die Vorhersage des praktisch relevanten externen Kriteriums verbessert werden kann, wenn zusätzlich Testaufgaben oder Testskalen zu den bereits existierenden hinzugenommen werden (Abgrenzung zu Reliabilität!).

Frage, ob es sinnvoll ist, bei mehreren Prädiktoren noch einen neuen Test anzuwenden, oder ob dieser keinen Gewinn in bezug auf die Vorhersage bringt.

Je kleiner die Stichprobe, desto wahrscheinlicher der Einfluß der Zufallsvarianz

Folge: Cross-Validation

Tests können für verschiedene Personengruppen unterschiedlich schwierig sein und zu einer systematischen Benachteiligung führen

Lösung: kulturfreie Tests

Validität gefährdet, wenn gezielt auf den Test hingearbeitet wird (Testitems erfassen eigentlich nur Stichproben von Wissensinhalten)

Bsp. Test zur Evaluation des Bildungssystems: falls der Test regelmäßig eingesetzt wird, besteht die Gefahr, daß nicht mehr Wissensinhalte geprüft werden, sondern wie gut die Schüler auf den Test vorbereitet wurden