Vorlesung Methoden 3 - WiSe

- qual. Einzel- oder Gruppeninterviews/-fragebögen (typischerweise leitfadenbasiert)
- qual. Inhaltsanalyse
- moderierte qual. Gruppendiskussionen
- Rollenspiele
- teilnehmende Beobachtung (Einzelfall, Gruppen) im Feld (Achtung: „going native“?)
- non-reaktive Verfahren
- Biografieforschung
- Selbsterfahrung/-beobachtung
- Quellenstudium (Verhaltensspuren)
- projektive Persönlichkeitstests
- Grid-Techniken zur Erfassung persönlich relevanter Konstruktsysteme (Kelly, 1955)

Experiment: gilt als das ideale Hypothesenbeurteilungsverfahren
--> ermöglicht Testung kausaler (statt bloß korrelativer) Hypothesen: Schluss auf Ursache (in Gestalt der UV), die zeitlich der Wirkung immer vorgelagert (oder gleichzeitig) sein muss (sonst logischer Widerspruch, vgl. „Bem-Studie“)
1. aktives Eingreifen eines Experimentators in das Geschehen (systematische UV-Variation)
2. Ausschalten von Störvariablen (SV)

nicht-experimentelles Vorgehen:
(z.B. Korrelationsforschung)
Beobachtung ohne Eingreifen
schwierigere Kontrolle möglicher Störvariablen

--> aber: nicht immer vermeidbar!

3(-4) Kriterien für ein Experiment nach W. Wundt (1907, S. 301-360):
1. Willkürlichkeit (= aktives & systematisches Eingreifen eines Experimentators in das Geschehen)
2. Isolierte Manipulation (= Ausschalten von Störvariablen)
3. Replizierbarkeit
4. Aufmerksamkeit des Experimentators beim Beobachten (heute nicht mehr so zentral betont)

Moderne Definitionen für experimentelles Vorgehen:
Betonung der Randomisierung (als Abgrenzung zum Quasiexperiment und zur Korrelationsforschung)

Randomisierung ist nicht nur Kennzeichen eines echten Experiments, sondern dient auch als zentrale Kontrolltechnik

Ziel: Validitätssicherung

 = Zufällige Zuordnung der Untersuchungseinheiten (Probanden) auf die Bedingungen der UV (Versuchsbedingungen)

- bekannte und unbekannte personengebundene Störgrößen sollen gleichmäßig auf Experimental- und Kontrollgruppen verteilt werden

Bsp.: Kinder bei Schuleintritt zufällig auf die Klassen aufteilen
Nachteil: Der Zufall garantiert keine Gleichverteilung

- UV: Vom Experimentator aktiv variiert in mindestens zwei Ausprägungen.

- AV: Reaktion auf die Ausprägungen der UV.

- SV: mit UV korrelierende (konfundierende) Variable, die vermutlich auch die AV beeinflussen könnte, so dass man nicht weiß, ob sie und / oder die UV für die Reaktion verantworlich ist

Wenn sie eine mit UV korrelierende (konfundierende) Variable ist, die vermutlich auch die AV beeinflussen könnte, so dass man nicht weiß, ob sie und / oder die UV für die Reaktion verantwortlich ist.

Eine wissenschaftliche Hypothese formuliert eine Beziehung zwischen zwei oder mehr Variablen, die für eine bestimmte Population vergleichbarer Objekte oder Ereignisse gelten soll. Beispiel: Bei zu hohem Druck von außen auf Gruppen zerfallen entweder die Gruppen, oder der Gruppenzusammenhalt wird enger.

a) Verschiedene Ziele

- Prüfexperiment: Hypothesenprüfung

- Erkundungsexperiment: Variation UV ohne Hypothese

- Vorexperiment: kleines Prüfexperiment, ob alles funktioniert

b) Anzahl UV

Bsp.: Wirkung eines Medikaments bei Männern und Frauen
(2 UVn: Medikamentengabe & Geschlecht)

- Unifaktorielles Experiment

- Multifaktorielles Experiment

c) Anzahl AV

Bsp.: Erhebung der Medikamentenwirkung anhand Fragebogenitem und Messung Herzfrequenz (2 AVn)

- Univariantes Experiment

- Multivariantes Experiment

d) Labor-vs. Feldexperiment

e) Echtes Experiment vs. Quasiexperiment (mit bzw. ohne Randomisierung)

Definition von „Quasiexperiment“ in vielen Lehrbüchern unklar (v.a. bzgl. eindeutiger Abgrenzung zu Korrelationsstudie)

Kriterium: Fehlende randomisierte Zuordnung von Probanden zu Versuchsbedingungen

Version 1: z.B. organismische Variablen als UV (z.B. Geschlecht):
- keine randomisierte Zuordnung von Geschlecht zu Probanden möglich (ohne OP-Eingriff…)
- Versuchsbedingungen werden vom Versuchsleiter kontrolliert hergestellt (z.B. Männer vs. Frauen im Stroop-Versuch)
- daher aber streng genommen eine Korrelationsstudie

Version 2: Zufällige Zuordnung von Gruppen (aber nicht Probanden!) zu Versuchsbedingungen
Beispiel: Zwei Lehrmethoden werden zufällig auf zwei Parallelklassen aufgeteilt (aber ohne zufällige Aufteilung der Schüler auf die Klassen) (vgl. Sedlmeier & Renkewitz, 2013)

Korrelationsstudie: Es werden zwei (oder mehr) Variablen erhoben, und es wird nach Zusammenhängen geschaut: z.B. Glaube & Depressivität, Rauchgewohnheit & Depressivität (keine UV/AV-Unterscheidung)

Bei korrelativen (anstelle von experimentellen) Studien besteht stets
1.) die Möglichkeit beider Wirkrichtungen zwischen zwei Variablen sowie
2.) die Möglichkeit der Wirkung einer dritten Variablen (z.B. soziale Schicht), die a) mit der vermeintlichen UV zusammenhängt und b) die tatsächliche Ursache der AV ist. Diese Drittvariable nennt man dann Störvariable (SV)

Definition Störvariablen: Wenn etwas eine Ursache (UV) einer bestimmten Wirkung (AV) sein soll, so sind alle Variablen, die a) mit der UV zusammenhängen und b) auch die Änderungen in der AV bewirken könnten, potentielle SV.

zum Beispiel "Glaube und Depressivität"

1. Formulierung einer Fragestellung
z.B. „Welchen Einfluss hat ... auf ...?“

2. Sachhypothese
Basis: Konsultierung bisheriger Forschungsergebnisse, theoretische Überlegungen, eigene Beobachtungen
Identifikation von UV und AV

3. Operationalisierung
Zuordnung beobachtbarer Phänomene zu den Begriffen bzw. Variablen in der Hypothese

4. Aufstellung Versuchsplan
logischer Aufbau des Versuchs

5. Kontrolle von Störvariablen
z.B. Randomisieren, Konstanthalten

6. Überlegungen zur Stichprobe
z.B. zur Größe, Repräsentativität

7. Empirische Vorhersage & Statistische Hypothese
e.V.: konkretere Formulierung der Sachhypothese unter Zuhilfenahme der Schritte 3-4
s.H.: Umformulierung in prüfbare mathematische Aussage über Statistiken (Mittelwerte, Varianzen etc.)

8. Durchführung
beinhaltet Ablauf, Hilfsmittel, Geräte, Instruktion

9. Datenauswertung
statistische Verfahren zur Hypothesenprüfung

10. Schluss auf Sachhypothese
durch Prüfung der statistischen Hypothese in Schritt 9 und qualitative Beurteilung der bisherigen Schritte

11. Diskussion
Fazit des Experiments, mögliche Fehler, weiterer Forschungsbedarf?

12. Bericht
Standardisiert, sollte Versuch genau replizierbar und bezüglich aller Entscheidungen bewertbar machen

Drei Satztypen in der Wissenschaft:

1. Beschreibungen (auch: Beobachtungssätze / Protokollsätze / Basissätze)

2. Gesetzmäßigkeiten (Zusammenhänge von Phänomenen / Wenn-Dann-Sätze): dienen zur Erklärung von Phänomenen (in Psychologie oft als „Effekte“ bekannt) --> herrschen in der Psychologie vor

3. Theoretische Erklärungen (oft metaphorische „Deutung“ von Gesetzen)

Ja, das tun sie. Denn das ist ja die Definition davon. Gegenbeispiel nicht möglich

Formulierung als Variablenzusammenhang (Zusammenhangshypothese)
– „Die Variable Intelligenz hängt mit der Variable Geschlecht zusammen“
– Bei behaupteter Kausalwirkung manchmal auch „Veränderungshypothesen“ (UV-Stufen verändern AV, z.B. „Je…desto“- Sätze)

Formulierung als Gruppenunterschied
(Unterschiedshypothese)
–„Frauen sind intelligenter als Männer“

Formulierung als Wenn-Dann-Satz (Konditionalsatz)
–„Wenn ein Mensch eine Frau ist, dann ist dieser Mensch intelligenter“
–Kann zusätzlich auch Kausalzusammenhang behaupten

Achtung: nicht alle Zusammenhänge sind als Unterschied formulierbar (umgekehrt schon)

Allsätze (universelle Hypothesen)
– Form: „Für alle Dinge gilt: Wenn sie ein ... sind, sind sie ...“
– z.B. „Alle Menschen sind sterblich.“ wird zu: „Für alle Dinge gilt: Wenn Sie ein Mensch sind, dann sind sie sterblich.“
– sind falsifizierbar (wenn auch nur ein Exemplar die zugeordnete Eigenschaft nicht aufweist)
– sind nicht verifizierbar, wenn man nicht alle Exemplare (z.B. alle Menschen) überprüfen kann, man behilft sich dann mit Induktionsschlüssen (Schluss von einigen Exemplaren auf alle Exemplare, vgl. Inferenzstatistik)
– da sie nicht verifizierbar sind, spricht man nur von „Bewährung“ einer Hypothese (anstelle von „Beweis“)
– je öfter eine Hypothese sich bewährt, desto höher ihr Bewährungsgrad

In der Psychologie:
– meist Allsätze, aber meist „in einem merkwürdigen Sinn“, da
fast immer auf Wahrscheinlichkeiten/Mittelwerten beruhend
Bsp.: Mit „Frauen sind intelligenter als Männer“ meinen Psychologen...
–...nicht: „Alle Frauen sind intelligenter als (alle) Männer“,
–...sondern: „Wenn man alle Frauen und Männer messen würde, wäre der Mittelwert der Frauen höher als der Mittelwert aller Männer“

- Induktionsschluss bzw. Inferenzstatistik

--> führt häufig zu Missverständnissen!

qualitative Variablen (Nominalskalenniveau)
– z.B. Geschlecht (m/w), Emotionstyp (Angst/Ärger/Freude), Wählertyp (SPD, CDU, Grüne, FDP)
– z.B. Zugehörigkeit zu einer Gruppe
– Merke: die Begriffe „mehr“ oder „weniger“ machen hier keinen Sinn

quantitative Variablen
– z.B. Größe, Gewicht, Angstintensität, Intelligenz, Platzierung bei Wettbewerben
– die Begriffe „mehr“ oder „weniger“ machen Sinn
– diskrete vs. stetige Variablen (z.B. Personenanzahl vs. Körpergewicht)

beobachtungsnahe (manifeste) Variablen
– z.B. Suppeneinnahme („isst Suppe“/„isst keine Suppe“)

beobachtungsferne Variablen (heißen manchmal auch: „Konstrukte“ oder „latente Variablen“)
– z.B. Intelligenz
– bedürfen einer Operationalisierung (Angabe, wie sie beobachtbar/messbar gemacht werden können), z.B. Knobeltest XY

Moderator: beeinflusst die Richtung/Stärke des Zusammenhangs zwischen UV und AV (s. später zum Thema „Interaktion“); Bsp.: „Orangensaft macht mit einem Spritzer Öl noch mehr fit“

Mediator: „Zwischenglied“, bezieht sich auf ein zwischen UV und AV liegendes Kausalglied (Bsp.: S-O-R; Bsp.: längere Pausen --> größerer Lernerfolg, mediiert durch Nutzung der langen Pausen zur Stoffwiederholung)

- Moderator: beeinflusst die Richtung/Stärke des Zusammenhangs zwischen UV und AV (s. später zum Thema „Interaktion“); Bsp.: „Orangensaft macht mit einem Spritzer Öl noch mehr fit“

- Mediator: „Zwischenglied“, bezieht sich auf ein zwischen UV und AV liegendes Kausalglied (Bsp.: S-O-R; Bsp.: längere Pausen --> größerer Lernerfolg, mediiert durch Nutzung der langen Pausen zur Stoffwiederholung)

Empirischer Gehalt (vgl. Brandtstädter, 1982; Smedslund, 1979)
- Hypothesen sollten nicht schon analytisch wahr sein, wie z.B. in „Zum Lesen der analogen Uhr gehört die Fähigkeit der Unterscheidung von großem und kleinem Zeiger.“ 
- logisch widerspruchsfrei (nicht: „Die Temperatur sollte gleichzeitig ansteigen und abfallen“, nicht: „Menschen können den Ausgang eines vollkommenen Zufallsprozesses vorhersagen“ --> Bem, 2011)

Falsifizierbarkeit (Kritisierbarkeit)
- es müssen Ereignisse denkbar (und genau beschreibbar) sein, die die Hypothese falsifizieren
- problematisch z.B.: „Die Psyche des Menschen besteht aus einem Es, Ich und Über-Ich“, „Das Auftauchen von Hasen im Traum deutet immer auf sexuelle Sehnsüchte im Unbewussten hin“, „Menschen handeln immer egoistisch, nie altruistisch“
- Haben nicht-falsifizierbare Sätze überhaupt eine empirische Bedeutung? (Bedeutung eines Satzes zeigt sich in der „Methode der Verifikation/Falsifikation“ [--> L. Wittgenstein] bzw. in den operationalen Definitionen der Satzbestandteile)

Non-Trivialität
- Eine Hypothese ist nicht trivial, wenn auch Einiges (und nicht nur an den Haaren Herbeigezogenes!) für das Gegenteil der Hypothese spricht

Operationalisierbarkeit (s.u.)
- den Begriffen der Hypothese müssen beobachtbare Daten zugeordnet werden können (Konstrukte müssen eindeutig definiert & messbar sein)
- Häufig: zu schwammige bzw. schlecht definierte Begriffe

Aufstellung der Hypothese vor der Datensichtung
-keine post-hoc-Rationalisierungen
„Genau dahin sollten die beiden Pfeile treffen!“
Fachterminus: „HARKing“ („Hypothesizing After Results are Known“; Kerr, 1998)

möglichst hoher Informationsgehalt (leichter falsifizierbar)
- möglichst allgemeiner wenn-Teil der Hypothese
- allgemeiner: „Wenn ich - egal wieviel - Bier trinke, werde ich im Reaktionszeittest genau 16% schlechter sein“
- weniger allgemein: „Wenn ich genau 400 ml Bier trinke, werde ich im Reaktionszeittest genau 16% schlechter sein“
- möglichst spezifischer dann-Teil der Hypothese
- spezifischer: „Wenn ich ein Glas Bier trinke, dann werde ich im Reaktionszeittest genau 16% schlechter sein“
- unspezifischer: „ Wenn ich ein Glas Bier trinke, dann werde ich im Reaktionszeittest auf keinen Fall besser sein“

möglichst strenge Prüfung (K. Popper)
-neue Operationalisierungen möglichst unterschiedlich zu bisherigen wählen (starkes Falsifikationsbemühen)
-z.B. eine allgemeine Hypothese zum Lernen nicht immer mit verbalem Material prüfen, sondern auch in Bezug auf motorische Fertigkeiten (vgl. das Konzept der Inhaltsvalidität)

Hypothesenbezug?
– Versuchsplanung ohne Hypothesenbezug
• z.B. Fishers Testtheorie (u.a. keine Unterscheidung von alpha/beta)
• Wenn signifikanter Effekt gefunden --> schlauer
• Wenn kein sig. Effekt --> nicht schlauer (Urteilsenthaltung)
– Versuchsplanung mit Hypothesenbezug (heute Standard)

Festlegung relevanter Effektgrößen
Hays (1963): „There is surley nothing on earth that is completely independent of anything else“
– spricht für Berücksichtigung von Effektgrößen zur Hypothesenbeurteilung, nicht nur Signifikanzen

Gerichtete vs. ungerichtete Hypothesen
de facto oft bevorzugte Testung ungerichteter Hypothesen
–„existiert ein Unterschied/Zusammenhang?“
–aufgrund Beliebtheit bestimmter statistischer Tests (Varianzanalysen)? --> wäre dann aber nicht theorie- sondern methodengeleitete Forschung

Hays (1963): „There is surley nothing on earth that is completely independent of anything else“
– spricht für Berücksichtigung von Effektgrößen zur Hypothesenbeurteilung, nicht nur Signifikanzen

Empirische Vorhersage (EV):
- konkretisierte Hypothese auf Basis der Operationalisierung, des Versuchsplans, SV-Kontrolle und Stichprobe (s. später)
- z.B.: „Die Vergabe von 10g Wirkstoff des Medikaments XY bei 20 zufällig ausgewählten Probanden sollte deren Befindlichkeits-Rating erhöhen im Vergleich zu einer ebenso ausgewählten Kontrollgruppe mit Placeboeinnahme bei Konstanthaltung der Tablettenfarbe.“

Statistische Hypothese (SH):
- auf Basis eines statistischen Modells
- Berücksichtigung von Messfehlern
- Auswahl eines geeigneten statistischen Verfahrens (Skalenniveau, Verteilungsannahmen ...)
- Formulierung der Null- und Alternativhypothese in Bezug auf Statistiken (Mittelwerte, Varianzen ...)
- z.B. „Der Befindlichkeits-Rating-Mittelwert in der Experimentalgruppe ist größer als der in der Kontrollgruppe.“ (H1)

Ziel: Möglichst valide & ökonomische Hypothesenprüfung
– „Valide“ = Minimierung der e- & f-Fehlerwahrscheinlichkeit (vgl. Hager, 1987)
– e: fälschliche Beurteilung der Sachhypothese als zutreffen --> Minimierung von e: höhere „Strenge“
–f: fälschliche Beurteilung der Sachhypothese als nicht zutreffend --> Minimierung von f: höhere „Fairness“

Ähnlich:

statistische Fehlerwahrscheinlichkeiten (beziehen sich auf die statistischen Hypothesen, vgl. Statistik):
- alpha: fälschliche Annahme der H1 (Unterschiedshypothese, die nicht immer der empirischen Hypothese entsprechen muss!)
- beta: fälschliche Annahme der H0 (stat. Test ergibt keinen Unterschied, obwohl in Wirklichkeit vorhanden)

Beispiel:
Sachhypothesen (= ihre aus Theorien abgeleiteten Erwartungen) können sein:
„Therapie X wirkt besser als Y“
„Therapie X wirkt genauso gut wie Y“ (X = Y)
Die in stat. Tests getestete stat. Hypothese lautet aber meist: „X = Y“ („Nullhypothese“, „Zufallshypothese“)

Wenn Sachhypothese einer H1 entspricht (häufigster Fall):
hohe Strenge = kleines e --> u.a. erreichbar durch kleines alpha

Wenn Sachhypothese einer H0 entspricht (kann auch der Fall sein, s.o.):
hohe Strenge = kleines e --> u.a. erreichbar durch kleines beta (