A&OAufbau

a) auch kausale Validität, liegt ein kausaler Zusammenhang zwischen den in der Untersuchung genutzten Variablen vor? (änderung in AV ist durch variation der UV erklärbar, keine Alternativerklärung)

Gefährdung 1: Unklarheit über die zeitliche Reihenfolge der untersuchten Variablen (Henne – Ei?)

Gefährdung 2: Reifung, also Veränderungen, die alle Vpn betreffen (z.B. zunehmende Berufserfahrung)

Gefährdung 3: Testeffekte, durch Mehrfachverwendung von Tests (Lerneffekte)

E.V. meint das Ausmaß, in dem Effekte der Untersuchung (Richtung und Stärke der kausalen Beziehungen) unabhängig von Versuchsbedingungen (Personen, Kontextbedingungen, Zeitpunkte etc.) verallgemeinert werden können. (bezeichnet die Übereinstimmung von tatsächlichem und intendiertem Untersuchungsgegenstand. Grundidee ist hier die Frage nach der Generalisierbarkeit (Induktion).)

Gefährdung 1: Interaktion der Effekte mit Personenmerkmalen, d.h. kausale Beziehung ist nur bei einer bestimmten Subgruppe (Versuchsgruppe) zu finden

Gefährdung 2: Interaktion der Effekte mit Kontextbedingungen, d.h. kausale Beziehung ist nur unter bestimmten Rahmenbedingungen zu finden

Gefährdung 3: Kontext-abhängige Mediation, d.h. die vermittelnde Variable (Mediator) wirkt nur unter bestimmten Kontextbedingungen auf den Effekt

Konstruktvalidität bezieht sich auf die Zulässigkeit von Aussagen aufgrund der Operationalisierung über das gesamte dahinter liegende Konstrukt. Dies ist in der Regel dann der Fall, wenn der Bedeutungsumfang des Konstruktes vollständig, präzise und nachvollziehbar abgebildet ist. Als empirische Indikatoren der Konstruktvalidität gelten die konvergente und diskriminante (oder auch: divergente) Validität:

Konvergenzvalidität

Die Messdaten von Testverfahren, die dasselbe Konstrukt abbilden, müssten hoch miteinander korrelieren.

Diskriminanzvalidität

Die Messdaten von Testverfahren, die verschiedene Konstrukte abbilden, sollten nur gering miteinander korrelieren (sofern die Konstrukte auch tatsächlich voneinander unabhängig sind).

Inwieweit misst ein Instrument ein Merkmal so, dass es in bestehende Konstruktdefinitionen passt und mit Theorien übereinstimmt

Gefährdung 1: Konfundierung der Stufen des Konstrukts, es wird bspw. nur ein Ausschnitt eines Konstrukts gemessen und davon auf das Gesamtkonstrukt geschlossen

Gefährdung 2: homogene Messmethoden, Ergebnisse werden verzerrt, wenn bspw. nur Fragebögen verwendet werden

Gefährdung 3: Neuigkeits- oder Unterbrechungseffekte, Personen antworten nur in bestimmter Weise, weil Untersuchung was Neues ist → Hawthorne-Effekt

Experiment, welches keine vollständige Kontrolle der experimentellen Bestandteile erlaubt, wie z.B. die randomisierte Stichprobenauswahl, die Mitglieder der Versuchsgruppen werden diesen aufgrund bestimmter Eigenschaften zugeteilt, keine kausalen Schlüsse möglich, wesentliche Bestandteile der Gütekriterien nicht hinreichend erfüllt.

- keine Kausalschlüsse ziehen

- Gütekriterien der Messinstrumente

- wenn keine sig. Gruppenunterschiede herrschen, trotzdem untersuchen (eventuell Drittvariableneffekte)

- auf Reifung achten

Konkret: Personen sollten nicht selbst entscheiden, an welcher Bedingung des Experiments sie teilnehmen und Vortestunterschiede sollen so gering wie nur möglich gehalten werden

-Zuweisung (Zufällig (gut für interne Validität), auf Basis eines Kriterienwerts, andere nicht-zufällige Formen der Zuweisung, Parallelisierung und Stratifizierung, Maskierung/ Verblindung (Proband u./o. VL wissen nichts über Art oder Wirksamkeit der Intervention))

- Messung (Beobachtungen zum Vortest-Zeitpunkt: einfache oder wiederholte Vortests, Vortests an unabhängigen Personenstichproben, Beoabchtungen zum Nachttest-Zeitpunkt: einfache oder multiple Nachttests, nicht-äquivalente abhängige Variablen (Messung eines Merkmals, das nicht identisch mit Zielvariable ist, aber von gleichen Gefährdungen der internen Validität beeinflusst wird), Moderationsvariablen mit vorhergesagter Interaktion, Messung möglicher Gefährdungen der Validität)

- Vergleichsgruppen (Einzelne oder mehrere Gruppen, Kohorten, interne versus externe Vergleichsgruppen, Kontruierte Kontraste: Extrapolationskontraste in der Regression, normenbasierte Kontraste, sekundärdatenbasierte Kontraste)

- Interventionen (Wechselnde Replikation (drei Messzeitpunkt, zwei Gruppen, Intervention wird in Gruppen versetzt durchgeführt → Gr. 1 zwischen t1 und t2, Gr. 2 zwischen t2 und t3), umgekehrte Interventionen (Maßnahme, die den beobachteten Effekt umkehren soll), entfernte Interventionen, wiederholte Interventionen)

• Analyse bereits vorliegender Daten:

+ kein Zeit- und Kostenaufwand für Datenerhebung, + keine Verzerrung durch Reaktivitätseffekte durch die Untersuchung selbst,

- fehlende Kontrolle und mangelndes Wissen über Kontext der Datenerhebung → gründliche Prüfung von Reliabilität und Validität

• Beobachtungsmethoden:

- fremdes Erleben (kognitive Prozesse) lässt sich nicht beobachten, zeit- und kostenaufwendig, praktische Durchführungsprobleme

+ besser als Befragung, wenn durch Befragung Verzerrung zu erwarten ist

• Befragungsmethoden:

+ universelle Einsetzbarkeit, wenig aufwendig, sowohl Erhebung von Verhaltensdaten als auch von Erlebensdaten

- Verzerrung

• Interviewverfahren: Vor- und Nachtteile siehe 6.
• Fragebogenverfahren: Vor- und Nachtteile siehe 6.
• Qualitative und interpretative Verfahren:

+ für Konstruktion von Bedeutungen und komplexen interpersonellen Dynamiken

- Fehlen etablierter Gütekriterien

1. Interview: Pro: 

• Sozialer Interaktionsprozess
• flexibel
• Rahmenbedingungen können kontrolliert/ erhoben werden
• Verständnisfragen können geklärt werden
• manche Personen fühlen sich damit sicherer → können ihre Daten „kontrollieren“
• zusätzlich Möglichkeit zur Beobachtung
• Befragung von Analphabeten möglich
• mündlich kann in gleicher Zeit mehr Info übertragen werden als schriftlich

Contra: 

• Zeit- und kostenaufwendig
• Beeinflussung durch Anwesenheit des Interviewers
• Anforderungen an Erfahrung und Kompetenz des Interviewer sehr hoch (v.a. bei abnehmender Standardisierung)
• Einschränkungen der Stichprobenauswahl (zeitlich/ örtlich)
• Versuchsleitererwartungseffekt
• keine gute Standardisierung → schlechte Vergleichbarkeit
• Anonymität der Befragten nicht vorhanden
• sozial erwünschte Antworten