M1_3401 Kap. 7 a M1 - Einführung in die Forschungsmethoden der Psychologie

Feldexperiment: sehr schwer Störvariablen wie z.B. Lärm zu kontrollieren, was eine eindeutige Kausalinterpretation u. U. erschwert -> geringere interne Validität

Laborexperiment: Frage, inwieweit die gefundenen Effekte überhaupt auf reale Situationen übertragbar sind --> Problem der externen Validität

• Untersuchungsgruppen und die treatmentbedingungen werden in zeitl. Reihenfolge dargestellt
• R für Randomisierung / (R) für Randomisierung von Gruppen (z.B. versch. Klassen -> keine echte Randomisierung) / wenn R weggelassen keine Randomisierung
• O für "Observation" - Erhebung von AV, mit Index für Erhebungszeitpunkt
• X = Treatment
• Untereinanderstehende Operationen werden zeitgleich durchgeführt

Bsp: Bonbons

R   X1   O (EG1: Sehenswürdigkeiten und zitro-Werbung)

R   X2   O (EG2: Sehenswürdigkeiten und pfeffi-Werbung)

R   X3   O (KG: Sehenswürdigkeiten ohne Werbung)

Bsp: selbstreguliertes Lernen:

O1  X1  O2  X3  O3

O1  X2  O2  X3  O3

Zeile 1: EG mit Unterrichtseinheit zum Thema Ernährung und selbstreguliertem Lernen (X1) und weiterer Unterrichtseinheit (X3)

Zeile 2: EG mit Unterrichtseinheit zum Thema Ernährung ohne selbstreguliertes Lernen (X2) und weiterer Unterrichtseinheit (X3)

Between-subjects-designs: jede Person nimmt nur an einer experimentellen Bedingung teil (wird nur einer Stufe der UV zugeordnet), z.B.: VP A nimmt nur an Test1 teil, VP B nur an Test2

Within-subjects-designs: dieselben Personen werden nacheinander allen Stufen der UV ausgesetzt, z.B. Gedächtnisexperiment mit zweistufigem Faktor: einsilbige Wörter vs. mehrsilbige Wörter wiedergeben können

Wenn mehrere Faktoren realisiert und variiert werden. (z.B. Experiment zum selbstregulierten Lernen)

3 Bezeichnungen: Treatment = Unabhängige Variable = Faktor

z.B. Variation des Treatments bei "selbstr. Lernen":

Stufe1: Unterricht zum Thema Ernährung und selbstr. Lernen

Stufe2: Unterricht zum Thema Ernährung ohne selbstr. Lernen

Stufe3: Unterricht zu einem anderen Thema

z.B. Faktor Messwiederholung:

Stufe1: Prätest

Stufe2: Posttest

z.B. Faktor Treatment "Bonbons":

Stufe1: Sehenswürdigkeiten mit zitro-Werbung

Stufe2: Sehenswürdigkeiten mit pfeffi-Werbung

Stufe2: Sehenswürdigkeiten mit ohne Werbung

Bsp. am relbstreg. Lernen:

• Haupteffekt des Faktors 1: Unterschied zw. Trainingsgruppe und KG unabhänig von der Messwiederholung
• Haupteffekt des Faktors 2: Unterschiede zw. den Werten der AV über die Messwiederholung unabhängig von den dargebotenen Treatments
• Interaktionseffekt: selbstr. Lernen unterscheidet sich in der Experimental- im Vergleich zur Kontrollgruppe vom Prätest zum Posttest

Vier Gütekriterien der Validität: interne, externe, Konstrukt- und statistische Validität

interne Validität:

• setzt Validität der Messung voraus
• kausale Interpretation der Ergebnisse ist inhaltlich eindeutig (Unterschiede zw. EG und KG sind eindeutig auf das Treatment zurückführbar)
• Einfluss von Störvariablen kontrolliert oder ausgeschaltet

externe Validität:

Verallgemeinbarkeit der Untersuchungsergebnisse bezügl. der:

1. Personen: auf Grundgesamtheit übertragbar?
2. angewendeten Treatments: auf ähnliche Treatments übertragbar? (Werbung nicht mehr in Mappe sondern in Zeitung)
3. Messinstrumente: Ergebnisse auch für andere Operationalisierungen der erhobenen Variablen gültig?
4. Untersuchungsbedingungen: gelten Ergebnisse auch unter anderen situativen Bedingungen oder kulturellen Kontexten? (z.B. Effekt eingetreten, wenn Bonbons hätten gekauft werden müssen)

Generalisierbarkeit am besten empirisch untersuchen anstatt nur argumentativ begründen

Konstruktvalidität:

• Sind die theoretischen Kozepte der Hypothese (z.B. selbstr. Lernen) in der Untersuchung angemessen erfasst worden?
• beim selbstr. Lernen erfolgte Messung mit Fragebogen zur Selbsteinschätzung, sind aber etliche Probleme damit verbunden, z.B. sozial erwünschte Antworten -> Autoren der Studie weisen selbst darauf hin, dass in Zukunft Fremdbeobachtung eingesetzt werden sollte

statistische Validität:

• eng mit der interenen Validität verknüpft (denn wenn wir etw. schlussfolgern, tun wir das vor dem Hintergrund statistischer Analysen)
• richtige Analyseverfahren auswählen
• reliable Messinstrumente
• -> richtig messen und auswerten

s. S. 110:

1. Auswahlverfahren der Untersuchung
2. experimenteller Dropout
3. Testeffekte
4. Veränderung der verwendeten Hilfmittel
5. reaktive Effekte in der Untersuchung
6. Zwischenzeitliches Geschehen
7. "natürliche" Änderungsprozesse
8. statistische Regression

Kofundierung = tritt dann auf, wenn zusätzlich zur UV noch weitere Kovariablen die Untersuchungsergebnisse beeinflussen (bestehen schon vor Beginn des Treatments

Teilnehmer einer Studie ändern ihr natürliches Verhalten, weil sie wissen, dass sie an einer Studie teilnehmen.

• Placebo: auch die KG sollte eine Art von Beschäftigugn zw. Vor- und Nachtest zugeteilt bekommen
• Hawthorne-Effekt: Bewusstsein der VP an einem Experiment teilzunehmen hat Einfluss auf das Verhalten
• Versuchsleitererwartungseffekte (Pygmalion): unbeabsichtigt, durch Blickkontakt, Gestik, Mimik, Körperhaltung und Betonung wird bei den Instruktionen eine Erwartungshaltung vermittelt. Zur Reduzierung: Durchführung der Untersuchung und das Verhalten der Versuchsleiter so weit wie möglich standardisieren.
• Doppelblind-Versuch: konsequenteste Art der Ausschaltung von Erwartungseffekten: Versuchsleiter kennen die Fragestellung nicht, noch die Unterscheidung zw. VG und KG und Probanden wissen nicht, ob sie zur VG oder KG gehören

--> solange die Effekte in KG und VG in gleicher Weise auftreten ist es nicht so schlimm, beeinflussen zwar das Ergebnis, aber nicht die Differenz der Effekte

Wie gehorsam sind VP gegenüber Autoritäten. (Stromschlabverabreichung, "Schüler" war immer derselbe, ein 50jähriger Mann), bei jeder falschen Antwort sollte Voltzahl erhöht werden. Vier Experimente:

Exp.1: VL und VP in einem Raum, "Schüler" unsichtbar und kein verbales Feedback

Epx.2: Wie 1, "Schüler" gibt aber Stöhnen, Hilferufe etc. ab

Exp.3: VL und VP in einem Raum gemeinsam mit "Schüler" der um Abbruch bittet

Exp.4: wie 3, aber VP muss "Schüler" Hand auf "Elektroplatte" legen

Konflikt für VP bei zunehmend höherer Strafe: entweder Anweisungen von VL folgen ("Machen Sie weiter") oder Versuch abbrechen.

wenn keine Randomisierung erfolgt:

1. Zielgruppe des Treatments wird oft von der auftraggebenden Institution festgelegt
2. Treatment in quasi-experimentellen Untersuchungen meistens komplexer (mehrere Komponenten, längere Zeitpspanne)
3. oft im "Feld" durchgeführt, wo meistens keine Randomisierung (zufällige Zuweisung) möglich ist

Spezialfall eines Quasi-Experiments: wenn Treatments im Rahmen von Maßnahmen einer Institution gestaltet und durchgeführt wird, sowie die Untersuchung der Effekte, aber zumindest die Kontrolle von Störfaktoren durch die VL

Evaluation:

Systematische Beurteilung eines Objektes oder Vorgangs, v.a. Qualitätsbeurteilung im technischen (Abgaswerte), sozialen (Umfrage Kundenzufriedenheit) oder wirtschaftlichen (Bilanz) Bereich. Es handelt sich um Momentaufnahmen.

Evaluationsforschung:

Untersucht Zusammenhänge zw. bestimmten Maßnahmen und erwarteten Effekten. Setzt also voraus, dass Maßnahmen durchgeführt worden sind.

1. Welche Effekte hat Maßnahme X auf Personen?
2. Welche Effekte hat Maßnahme X für den Betrieb?
3. Welche Personen nehmen freiwillig an der Maßnahme teil?

Grundsatz: Mangelnde Kontrolle von Störfaktoren heißt nicht, dass keine Evaluationsstudie durchgeführt werden soll, sondern möglichst viele Störfaktoren zu kontrollieren und bei der Interpretation der Ergebnisse nur begrenzt kausale Schlussfolgerungen zu ziehen.

1. Auswahl-Dilemma: Welche Programme sollen evaluiert werden? -> Wie schwerwiegende sind die Konzequenzen der Anwendung (oder Nichtanwendung) der Effekte.
2. Dilemma der Wissenschaftlichkeit: jede Evaluation muss systematisch geplant und dokumentiert werden
3. Dilemma der Allgemeinheit vs. Konkretheit: Je konkreter die Anweisungen sind, desto weniger kann der Trainer auf die einzelnen TN eingehen. Bleibt es aber zu offen, müssen Trainer ihren eigenen Interptretationen entsprechen und es könnte kein einheitliches Treatment vorliegen.
4. Kontroll-Dilemma: eng verbunden mit 3. Standardisierung kann Kontrolle von Störfaktoren nicht annähernd erfüllen

--> Man muss im konkreten Einzelfall entscheiden, welche Standards und Kritereien man für welche Zwecke als vorrangig wichtig ansieht.

s. Tabelle S. 132

vier Dimensionen:

• Nützlichkeit
• Durchführbarkeit
• Fairness
• Genauigkeit

ex-post-facto-Untersuchung: wenn Untersuchung von Effekten erst nach der Durchführung eines Treatments geplant wird, somit keinerlei Kontrolle von Störfaktoren. Nur Nachtest möglich, kausale Interpretation kaum möglich