vpde

(1)KovariierenEffekt und Ursache?
Mögliche Fehler:
•Typ I-Fehler: Fälschlicherweise annehmen, dass beide kovariieren, wenn sie es nicht tun
•Typ II-Fehler: Fälschlicherweise annehmen, dass sie nicht kovariieren, wenn sie es tun
(2)Wie stark ist die Kovariation?
Mögliche Fehler:
•Über-oder Unterschätzung des Ausmaßes der Kovariation

•Angenommen, die statistische Validität ist hinreichend geprüft und es liegt ein Zusammenhang vor: Sind die beobachteten Variablen kausal miteinander verknüpft?
•Interne Validität betrifft die Gültigkeit einer kausalen Schlussfolgerung
•Wäre die Kovariationzwischen den Variablen auch aufgetreten, wenn die Maßnahme (Operationalisierung der Bedingung) nicht durchgeführt worden wäre?
•Interne Validität bezieht sich nur auf beobachtete Variablen

1.Die Ursache muss dem Effekt vorausgehen
2.Ursache und Effekt müssen kovariieren
3.Potentielle Alternativerklärungen für den Effekt müssen ausgeschlossen werden

•Unklarheit über zeitliche Reihenfolge
•Selektive Versuchsteilnehmeraufteilung
•Zwischenzeitliches Geschehen
•Reifung
•Statistische Regression zur Mitte
•Selektiver Versuchsteilnehmerausfall in den Gruppen
•Testeffekte durch mehrfache Anwendung eines Tests
•Unzureichende Messinstrumente, die ihre Eigenschaften über Zeit verändern
•Additive und interaktive Effekte der Gefährdungen

Unidirektionale Kausalkette
Medikament führt zur Reduktion von Krankheitssymptomen
•Bidirektionale Kausalkette
Kriminelles Verhalten führt zu einem Gefängnisaufenthalt, was wiederum kriminelles Verhalten verursacht usw.
Erfolg in der Schule erhöht Selbstwirksamkeit, welche wiederum den Schulerfolg positiv beeinflusst usw.

•(Natürliche) Veränderungen der Teilnehmer kann dazu führen, dass kausale Schlussfolgerung gefährdet wird

•Wenn Teilnehmer für bestimmte Maßnahmen auf Grund von extremen Werten in Tests/Fragebögen ausgewählt werden, dann besteht die Gefahr, dass sie bei einer erneuten Messung weniger extreme Werte zeigen (Regression zur Mitte)
•Kann mit Effekt der Maßnahme verwechselt werden
•Beispiel:
Personen werden auf Grund von extremen Depressionswerte für eine bestimmte Therapie ausgewählt
Wirksamkeit der Therapie scheint bestätigt, da die Personen im Post-Test weniger extreme Depressionswerte zeigen

•Selektier Versuchsteilnehmerausfall kann dazu führen, dass kausale Schlussfolgerung gefährdet wird
•Beispiel:
Zwei Maßnahmen zur Therapie von Drogenabhängigen werden verglichen: Familien-Therapie und Gruppentherapie
Die Teilnehmer mit den schlechtesten Prognosen, die an der Gruppentherapie teilnehmen, brechen ab
Das Ergebnis zeigt, dass Familientherapie schlechter ist als Gruppentherapie
•Ein Grund dafür könnte aber sein, dass die Personen mit den schlechtesten Prognosen hier nicht abgebrochen haben

•Konstruktvalidität betrifft die Gültigkeit des Schlusses von Untersuchungsgegebenheiten auf Konstrukte
Z.B. werden abstrakte Begriffe wie „Mitarbeiter eines Unternehmens“ oder „Mitarbeiterzufriedenheit“ operationalisiert
Das Gelingen dieser Operationalisierung ist Kernfrage der Konstruktvalidität
•Bezieht sich auf UV und AV einer Untersuchung
UV: Ist die Manipulation wirksam? Sind die Hilfsannahmen richtig?
AV: Bildet das Messinstrument das Konstrukt angemessen ab?

•Unangemessene Beschreibung der Konstrukte vor der Operationalisierung
•Konfundierung von Konstrukten
•Verzerrungen durch Unterrepräsentation aller Konstruktfacetten
•Verzerrung durch Verwendung homogener Messmethoden
•Beeinflussung der Messung durch Maßnahme
•Versuchsleiterwartungen
•Neuigkeitseffekte
•Kompensatorische Rivalität zwischen Bedingungen

•Reihe von Studien in einer Fabrik in den USA, um festzustellen, wie Arbeitsleistung erhöht werden kann
•Manipulation der Lichtverhältnisse, um den Arbeitsprozess zu optimieren
•Ergebnis:
In der Experimental-Gruppe stieg die Arbeitsleistung nach einer Verbesserung der Lichtverhältnisse
…In der Kontrollgruppe allerdings ebenfalls; selbst bei einer Rückkehr zu den ursprünglichen Lichtverhältnissen
•Erklärung: Neuigkeitseffekt durch die Untersuchung

•Erwartungen der Lehrer von 18 Klassen wurden manipuliert: 20 % der Schüler wurden zufällig ausgewählt und als sehr fähig ausgewiesen
•Ergebnis:
Diese Schüler zeigten nach 8 Monaten einen deutlich höheren Anstieg ihres IQs im Vergleich zur Kontrollgruppe
•Erklärung:
Erwartung der Lehrer scheint die Leistung des Schülers mit zu beeinflussen (Self-fulfillingprophecy)
24

•Externe Validität betrifft die Gültigkeit von Schlüssen über das Ausmaß, in dem Richtung und Stärke kausaler Beziehungen über Personen, Kontextbedingungen und Zeitpunkten hinweg generalisiert werden kann
•Ziel ist es, allgemeine Gesetzmäßigkeiten zu identifizieren
•Insbesondere für die praktische Anwendung von Bedeutung

•Interaktion der kausalen Beziehung mit Personenmerkmalen
•Interaktion der kausalen Beziehung mit Maßnahmenmerkmalen
•Interaktion der kausalen Beziehung mit Beobachtungsmerkmalen
•Interaktion der kausalen Beziehung mit Kontextmerkmalen
•Kontext-abhängige Mediation

•Eine Interaktion der kausalen Beziehung mit Merkmalen von Personen kann dazu führen, dass die Generalisierbarkeit der kausalen Beziehung über Personen hinweg gefährdet ist

Zusammenwirken der Validitätstypen

•Gütekriterien bieten Hinweise für die Planung und Durchführung von Untersuchungen
•Validitätsartensind teilweise partiell inkompatibel (Interne und externe Validität)

•Gewichtung der Validitätsartenje nach Untersuchungsziel ist umstritten
Maximierung der externen Validität kann nicht Ziel sein
Genauso wenig kann Maximierung der internen Validität befürwortet werden
Sollte von den Ressourcen und Zielen abhängig gemacht werden

•Externe Validität unvereinbar mit dem Kritischen Rationalismus
Induktiver Schluss auf eine Theorie mit Schwierigkeiten verbunden
•Die Gültigkeit der kausalen Schlussfolgerungen von beobachteten Variablen ist ohne Theorie nicht zu beurteilen
Konstruktvalidität ist Voraussetzung für den Übergang zur theoretischen Ebene
Ohne theoretische Überlegungen kann auch die Interne Validität nicht als gegeben angesehen werden, da u.U. mögliche Störvariablen, Hilfsannahmen etc. nicht berücksichtigt werden konnten

•= all diejenigen Größen, die die AV beeinflussen können, aber in der geplanten Untersuchung nicht von Interesse sind
•Kovariiert die Störvariable mit der UV, kann sie einen Einfluss auf die AV gehabt haben (= Konfundierung)
Systematischer Fehler, Bedrohung der internen Validität
Problem: geht der Effekt auf die UV oder die Störvariable zurück?
•Ohne Konfundierung: Störvariablen erhöhen Fehlervarianz der AV (zufällige Fehler)
Zufallseinflüsse verringern Chance einen Effekt der UV zu erkennen

Konfundierung

1.Störvariablen der Versuchspersonen
Unterschiede der Personen (Bsp.: Intelligenz, Motivation)
2.Störvariablen in der Versuchssituation
Merkmale der Untersuchungssituation (Bsp.: Störungen wie Lärm, ungünstige Beleuchtung, Ablenkung)
3.Störvariablen durch Erwartungen
Von Versuchsteilnehmer und/oder Versuchsleiter
4.Störvariablen durch Mehrfachmessung
Reihenfolgen-/Positionseffekte, Materialeffekte
Carry-Over Effekte

•Oft kommt nicht nur eine einzige Störvariable in Frage
•Vorteil des Randomisierens: Alle möglichen Störvariablen (ob bekannt oder unbekannt) werden gleichzeitig ausbalanciert
Macht Randomisierung zur wichtigsten experimentellen Kontrolltechnik!
Herstellung interner Validität
Experimente mit Randomisieren werden auch als „echte“ Experimente bezeichnet
•Voraussetzung: Randomisieren ist nur bei hinreichend großen Stichproben effektive Kontrolltechnik

•Es kann trotzdem Unterschiede der Mittelwerte zweier randomisierter Gruppen geben
Deswegen: insbesondere bei kleiner Stichprobe Mittelwertsunterschiede durch Vortest überprüfen
•Auch randomisierte Experimente sind durch einige Quellen zur Gefährdung der internen Validität betroffen:
z.B. Selektiver Versuchsteilnehmerausfall
•Keine Garantie, dass beobachteter Effekt ausschließlich auf den Einfluss einer manipulierten UV zurückzuführen ist
•Nicht mit Ziehung einer Zufallsstichprobe verwechseln!
•Ethische Aspekte beachten

•Parallelisieren ist eine Möglichkeit, wenn Randomisieren oder within-subjects Designs nicht in Frage kommen
Randomisieren:
•Große Stichproben stehen in einigen Fällen nicht zur Verfügung
•Beispiel: Patienten mit einer bestimmten seltenen Diagnose
Within-subjects Designs:
•Within-subjects Designs (alle Personen durchlaufen alle Bedingungen) sind nicht immer sinnvoll anwendbar
•Beispiel: Wirksamkeit einer Operationsmethode

•Bestimmung und Messung von potentiellen Störvariablen
•Bildung von Gruppen von Personen mit gleichen/ ähnlichen Ausprägungen
•Gruppengröße entspricht der Anzahl der Bedingungen
•Aus jeder Gruppe wird je ein Teilnehmer den verschiedenen Bedingungen zugewiesen (zufällig)

•Eliminieren: Störvariablen komplett ausschalten
Störungen verhindern (z.B. „Bitte nicht stören!“-Schild)
Schallisolierter Raum
•Konstanthalten: Aspekte der experimentellen Situation
Sollten für alle Vpn annähernd gleich sein
Bedingungen im Laborraum, ungefähre Tageszeit etc.
•Standardisierung der Untersuchung: Spezielle Form der Konstanthaltung, die Ablauf und die Behandlung der Vpn betrifft
identische Informationen und Interaktion mit Versuchsleiter
Instruktion : identischer Wortlaut, z.B. vorlesen

Versuchsleiter weiß nicht in welcher Versuchsbedingung sich Vpn befindet

Weder Versuchsleiter noch Versuchsteilnehmer ist informiert
Die Vp werden vorab nicht über die Manipulationen und Hypothesen informiert
Erwartungen der Probanden konstant halten (Medikament und Placebo)

•Entstehen auch durch Reihenfolge, in der Versuchsbedingungen durchlaufen werden
•Gehen darauf zurück, dass eine frühere Bedingung das Verhalten der Vpn in einer nachfolgenden Bedingung inhaltlich beeinflusst
Lerneffekte
Verschiedene Instruktionen
•Keine Möglichkeit zur Effektiven Kontrolle bei Mehrfachmessung

•Fließender Übergang
•Feldexperimente:
„natürliche“ oder gewohnte soziale Umgebung der Vpn
Ermöglicht Beobachtung von Verhaltensweisen, die unter natürlichen Bedingungen auftreten
•Laborexperimente:
Künstlich hergestellte, oft absichtlich reduzierte Umgebung
Ermöglicht mehr Kontrolle
Externe Validität oft sehr skeptisch gesehen, muss nicht generell geringer sein als unter Feldbedingungen

•Kann ein bestehender Unterschied in einer AV auf früherer Unterschiede in der UV zurückgeführt werden?
•Beispiel: Untersuchung von Ursachen für Deliquenz
Hypothese: Fernsehkonsum in der Kindheit ist ursächlich
Vorgehen:
1.Vergleich: Gruppe von jungen Erwachsenen, die strafrechtlich auffällig geworden sind und Gruppe von jungen Erwachsenen, die nicht auffällig geworden sind
2.Erfassung von Daten zum Fernsehkonsum in der Kindheit (Befragung der Eltern)
•Begrenzung: Drittvariablen können nicht ausgeschlossen werden!

Übersicht empirischer Unterschungen

•Große Anzahl möglicher Versuchspläne (Designs)
•Versuchspläne unterscheiden sich hinsichtlich der verwendeten Designelemente, die vier Gruppen zugeordnet werden können:
Zuweisung
Messung
Vergleichsgruppen
Interventionen
•Designelemente können so kombiniert werden, dass die jeweiligen Untersuchungsziele erreicht werden
•Designelemente können dahingehend beurteilt werden, inwiefern sie geeignet sind Validitätsgefährdungen zu kontrollierten bzw. minimieren

•Die in einer bestimmten empirischen Untersuchung realisierte Operationalisierung der UV wird auch als Faktor bezeichnet
Einzelne konkrete Ausprägungen sind sogenannte Faktorstufen
•Einfaktorielles Design:
Der Einfluss einer UV (eines Faktors) wird untersucht, die mindestens zwei Ausprägungen hat
•Mehrfaktorielles Designs:
Mind. 2 UV (Faktoren), jede mit mind. 2 Stufen, werden gleichzeitig systematisch variieren

•Haupteffekt
Bezeichnung für den separaten Einfluss eines Faktors in einem mehrfaktoriellen Experiment
•Interaktionen
Beschreiben Einflüsse, die auf die Kombination von Stufen der Faktoren zurückzuführen sind und nicht allein durch die Haupteffekte erklärt werden können