Vorlesung Methoden 4 - WiSe

– Inhaltsvalidität

• repräsentiert die Operationalisierung die gesamte Variable (repräsentative Abbildung des Konstrukts)?

• Ideal: viele maximal unterschiedliche Operationalisierungen (einer latenten Variablen)

– z.B. Angst: Hautleitfäh., Selbst-/Fremdratings, Fragebogen ...

– z.B. Operationalisierung von Rechenleistung: nicht nur „PlusAufgaben“, sondern auch „Minus-, Mal-, Geteilt-… Aufgaben“ – aber: Alpha-Kumulierungsgefahr beachten!

– Ökologische Validität

• wird das Gemessene so gemessen, dass Schlüsse auf alltägliches Erleben/Verhalten möglich sind?

• oft problematisch bei Laborexperimenten --> Problem der Grundlagenforschung: Oft fehlt der Nachweis, dass die erforschten (vermeintlichen) Grundlagen wirklich die Grundlagen des alltäglichen Erlebens und Verhaltens sind 

• wenn nicht, wäre die vermeintliche Grundlagenforschung nur angewandte Forschung (gültiger Anwendungsbereich = spezifischer Laborkontext)…

– Konvergente/diskriminante Validität (Campell & Fiske, 1959)

• Nachweis, dass das Messinstrument zu ähnlichen Ergebnissen kommt wie andere Tests, die ähnliches messen sollen [konvergent], und zu anderen Ergebnissen als Tests, die anderes messen sollen [diskriminant]

• Problem: unendlicher Regress

– Was sichert die Validität der Referenz Operationalisierungen? (z.B. bei Validierung eines neuen Intelligenztest an bereits vorhandenen); Konvergente Validität als Maß für Testredundanz?

= sowohl, wenn ich Variablen zu global wähle, als auch wenn ich Variablen zu spezifisch wähle, habe ich ein Problem

Sicherung der isolierten Bedingungsvariation durch Spezifität

• Globale UV führt zu Interpretationsschwierigkeiten: Konfundierung vieler Variablen

– z.B. Computerlernen vs. Frontalunterricht (extrem viele Bedingungsunterschiede)

• Ist ein Vergleich zweier Bedingungen „eigentlich“ ein Operationalisierungsvergleich?

– z.B. Unterrichtsmethodenvergleich mit verschiedenen Lehrern

– z.B. Usability von Computereingabegeräten
 

= strukturerhaltende Übersetzung eines empirischen in ein numerisches Relativ

- Repräsentationsproblem: Ist eine bestimmte empirische Variable messbar?

- Eindeutigkeitsproblem: Welche Freiheiten habe ich bei Zuordnen von Zahlen?  (= wie können Skalenwerte ohne Bedeutungsverlust mathematisch transformiert werden?)

- Bedeutsamkeitsproblem: Welche Schlüsse dürfen auf der Basis der Skalenwerte gezogen werden?

- Skalierungsproblem: Wie wurden die Skalenwerte für eine Menge von Messobjekten konkret konstruiert?

- Nominalskala --> Nahezu unbegrenzte Freiheit beim Zuordnen von Zahlen!

- Ordinalskala (Rangskala) --> Immer noch ziemlich viele Freiheiten beim Zuordnen von Zahlen…

- Hyperordinalskala

- Intervallskala --> willkürliche Festlegung von Einheit und Nullpunkt der Skala

- Rationalskala bzw. Verhältnisskala --> Einheit ist willkürlich festgelegt, Nullpunkt ist empirisch fundiert 

- Absolutskala: natürlicher Nullpunkt und natürliche Einheit --> Skalenwert darf durch gar keine Transformation verändert werden, sonst würde Information verloren gehen 

--> Das Skalenniveau ist abhängig von Eigenschaften der Variablen, der Operationalisierungstechnik und der Skalierungsmethode. Es geht darum, wie Skalenwerte ohne Bedeutungsverlust mathematisch transformiert werden.

- Nominalskala: Gesund / Krank

- Ordinalskala: Einordnung von Patienten nach leichter, mittlerer und schwerer Symptomatik (z.B. Depression)

- Hyperordinalskala: Patienten sortieren nach Festhalten an Wahnideen ausgeprägter bis weniger ausgeprägt.

- Intervallskala: IQ

- Verhältnisskala: Reaktionszeit

- Absolutskala: Probandenanzahl 

- Nominalskala: Jede eindeutige Transformation zulässig. 

- Ordinalskala: Rangskala: Zulässige Transformation: alle unter Beibehaltung der Ordnung

- Intervallskala: Jede lineare Transformation, die die Einheit und / oder den Nullpunkt verändert.

- Verhältnisskala: Alle, die nur die Einheit, nicht aber den Nullpunkt verändern.

- Absolutskala: Keine Transformation möglich!

Validität: Wird das gemessen, was gemessen werden soll? 

- Konstruktvalidität 

- z.B. Augenschein (Face)- & Kriteriumsvalidität

Reliabilität: Wie genau/zuverlässig misst der Test? 

- „Wenn ich dasselbe zweimal messen würde, käme das gleiche raus?“ 

- z.B. Split half- / Retest- / Paralleltestreliabilität

Objektivität/Standardisierung 

- z.B. Beurteilung von Testwerten mittels Normen 

- Unabhängigkeit der Versuchsergebnisse von den Rahmenbedingungen (Randbedingungen)

- Standardisierung der Testdurchführung und -auswertung (z.B. Instruktionen) 

- Grad der Unabhängigkeit, des Ergebnisses vom Untersucher

Skalierung, Normierung, Testfairness, Ökonomie, Nützlichkeit, Zumutbarkeit, Vergleichbarkeit, Unverfälschbarkeit, Transparenz, Akzeptanz, äußere Gestaltung

- Auf die Erfassung von Unterschieden zwischen Menschen

- auf States und Traits

- Menschen unterscheiden sich in zu vielen Hinsichten bzw. Eigenschaften voneinander. Aber alle relevanten Unterschiede zwischen Menschen sind sprachlich manifest.

--> Daraus entwickelte sich der faktoranalytische / lexikalische Ansatz

Bahnbrechendes Vorgehen nach Allport & Odbert (1936):

- Suche nach allen Adjektiven, die Personen beschreiben; Hoffnung: alle relevanten Unterschiede zwischen Menschen sind auch sprachlich manifest 

- Wortlisten werden faktorenanalytisch ausgewertet: viele Personen bewerten viele andere Personen, wie sehr diese Eigenschaften auf sie zutreffen (z.B. Likert-Skalen von 1-9)

- welche Adjektive korrelieren? (--> Personen, denen eine Eigenschaft stark zugesprochen wird, werden auch andere stark zugesprochen, z.B. „schüchtern“ & „gern alleine sein“)

- Ergebnis: Klassen miteinander korrelierender Adjektive = Faktoren

Vorteile:

- "man vergisst nichts"

- tatsächliches Abbild von Faktoren, die Menschen zur Kategorisierung nutzen 

- Validierung an großer Stichprobe 

Nachteile:  bilden verfahrensbedingt eine „Durchschnittspersönlichkeit“ (nämlich z.B. die Big-5-Struktur), auf die dann jede einzelne Person zwecks ihrer Beurteilung „projiziert“ wird:

– Modelltest fehlt: Jeder Mensch wird in Struktur eingeordnet, ohne dass die Geeignetheit der Struktur zur Personbeschreibung überprüft wird (z.B. durch Variabilitätskoeffizienten innerhalb Skala pro Proband)

Vorteile: Sie sind von den Probanden nicht verfälschbar und umgehen das Problem der sozialen Erwünschtheit

Nachteile: Tests oft nicht valide (messen nicht, was sie behaupten), nicht reliabel (kommt immer etwas anderes raus) und nicht objektiv (z.B. abhängig von konkreter Durchführung und Kontext

Role Construct Repertory Grid (Kelly, 1955)
 
- Auswahl nahestehender Personen verschiedener Lebensbereiche (Spalten)

- systematische Auswahl von je drei Personen (Zeilen) 

- Welche 2 der 3 sind ähnlich und bzgl. welcher Eigenschaft (z.B. „ängstlich“) bzw. welche Person unterscheidet sich (z.B. „ist mutig“)

- Ergebnis: bipolare, verbalisierbare Kernkonstrukte, mit denen eine Person die soziale Umwelt strukturiert, wahrnimmt und antizipiert

Vorteile

- verbindet die Vorteile eines standardisierten Interviews –Ablauf und Vorgehen sind festgelegt –

- und die Vorteile inhaltsoffener Verfahren, unter anderem gekennzeichnet durch die Möglichkeit der Erfassung von unbekannten und individuell subjektiven Einschätzungen

- Verfahren ist prozessstrukturiert und kann ähnlich einem standardisierten Interview interpersonell vergleichbare Daten generieren. 

Grenzen: 

- individuelles Verfahren --> es können zwar begrenzt Vergleiche zu anderen Personen gezogen werden, aber man kann damit keine Aussagen über die gesamte Population machen

- sehr aufwendig 

- Ergebnis begrenzt auf sprachlichen und geistigen Horizont des Befragten

- Wahrnehmung der Person wird abgebildet, aber nicht Persönlichkeitsdimensionen 

Frühe Geschichte: 

- Personalauswahl und -entwicklung im alten China: mündliche (vor >4000 Jahren) und schriftliche (vor ca. 2000 Jahren) Tests für Beamte 

- Anfang des 19. Jhdts. von Briten übernommen

Francis Galton (1869): 

- Intelligenz ist quantifizierbar, normalverteilt & durch objektive Tests messbar 

- Ausmaß der Beziehung von Testergebnissen per Korrelation bestimmbar 

- Überlegungen zur Paarung „überlegener Menschen“ (Eugenik)

Alfred Binet (1905): 

- Auftrag zur Verbesserung der Effektivitätssteigerung von Lehrmethoden für entwicklungsgestörte Kinder 

- nötig: objektiver Test zur Beurteilung der Leistungsfähigkeit (keine Lehrerurteile!) 

- Testitems sollten weitgehend unabhängig von Wissen & Lebensumwelt sein, sondern eher auf schlussfolgerndes Denken zielen 

- Bestimmung des Intelligenzalters: Alter, in dem im Durchschnitt Kinder eine bestimmte Leistung erbringen

Intelligenzmessung in den USA: 

- Anfang des 20. Jhdt. Messung der Leistung von Schulkindern, v.a. Immigrationskindern 

- Vor dem 1. Weltkrieg Messung zur Eignung für das Militär 

- später allgemein üblich in Schule, Universität & Industrie  (z.B. Scholastic Achievement Test: SAT, American College Test: ACT als Hochschulreifetests) --> flächendeckende Diagnostik!

- Spearman (1927): g-factor (g für „general“)

- Cattell (1963): flüssige vs. kristalline Intelligenz

- Gardner (1983): 8 Intelligenzen (inkl. musical, bodily,   inter-/intrapersonal …

Vorteile: 

- Objektivität

- Quantifizierbarkeit

- Vergleichbarkeit

Nachteile: 

- Was wenn das Kriterium bekanntermaßen inhaltlich vom Konstrukt abzugrenzen sein sollte (z.B. Intelligenz soll lt. Binet gerade nicht so fehlerbehaftet wie Schulnoten sein)?

- Interne Konsistenz als Maß für die Redundanz eines Tests (bzw. der Synonymität der Testitems)?

- Konvergente Validität als Maß für die Überflüssigkeit eines neuen Verfahrens), da es fast das Gleiche misst wie ein bestehendes Verfahren?

- Bei den Phasen der psychosozialen Entwicklung nach Freud wird alles retrospektiv analysiert. Der Effekt des „das musste ja so kommen“--> schwer falsifizierbar

- In eine der Persönlichkeiten ist jeder einteilbar. Es gibt keine Möglichkeiten, dass ein Mensch einer Persönlichkeit nicht entspricht, denn die Theorie wurde mit allem bestehenden Persönlichkeitsmerkmalen / Adjektiven entwickelt.

Nein, müssen sie nicht sein. Auch wenn Konzepte empirisch schwer zu bestätigen sind, können sie aufschlussreich sein. Die Abwehrmechanismen bieten eine sehr gute Terminologie