SoFo: 7-9 Stichproben, Versuchsdesigns

es sollten immer möglichst umfassend alle Variablen erhoben werden, die potentiell mit UV + AV korreliert sind.

Annährung an experimentelles Design

interne Validität kann durch statistische Kontrolle erhöht werden (nur wenn Störgrössen bekannt sind!)

> wenn experimentelle Designs nicht durchgeführt werden können

1. Stichprobenbeschreibung
2. Untersuchungsdesign
3. Instrumente + Messgrössen
4. Durchführung
5. Datenanalyse

gestellte Frage wichtig?

ist Problem klar + verständlich dargestellt?

ist Fragestellung erkennbar?

welche Eingrenzungen?

Hypothesen + Theorieteil nachvollziehbar abgeleitet + klar ausgedrückt?

wäre Untersuchung exakt wiederholbar?

Design, Stichprobe, Auswertungsmethoden adäquat + genügend beschrieben?

Kausalaussagen möglich?

fasst aktuellen Forschungsstand in einem Gebiet zusammen.

Stellt einschlägige Literatur strukturiert vor

mit kritischen Kommentaren versehen

Ziel: Bericht über Stand der Forschung

Zusammenfassende Darstellung von Forschungsbefunden div. Studien > selektive Aswahl, selektive Schlussfolgerungen

Ziel: Überblick Stand der Forschung

Darstellung Forschungsbefunden aller relevanten Studien zu einem Forschungsfeld

alle Ergebnisse

alle relevante Schlussfolgerungen

Ziel: Stand der Forschung quantifizieren

Forschungsbefunde aller relevanter Studien

alle Ergebnisse

alle relevante Schlussfolgerungen

Studie über Primärstudien

1. Verfassung wissenschaftliche Fragestellung
2. Definition Auswahlkriterien
3. Syst. umfangreiche Literatursuche
4. krit. Bewertung der ausgewählten Studien
5. Synthese der Evidenz

Universelle Effektgrösse zur Vereinheitlichung von Effektgrössen.

entspricht Produkt-Moment-Korrelation

Schätzwert der "wahren" Effektgrösse

Z ist umso grösser, je mehr Primärstudien vorliegen, je grösser die Stichproben sind

schnelle Einschätzung von randomisierten kontrollierten Studien.

Studien mit Score unter 3 haben schlechte Qualität

publizierte Studien unterscheiden sich systematisch von nicht-publizierten bzgl:

• Siginifikanz der Resultate > eher signifikante Ergebnisse
• Höhe der Effektstärke
• methodische Güte
• konventionelle vs unkonventionelle Fragestellungen
• Bekanntheit der Autoren

> es wird publiziert, was grössern Aufschrei / Beachtung finden würde

wie viele nicht-signifikante Studien wären erforderlich, um einen signifikanten Gesamteffekt statistisch unbedeutend machen zu lassen?

je grösser FSN, umso höher Stabilität des metaanalytischen Ergebnisses

inhaltliche, spezifische Charakteristika der Operationalisierung + untersuchten Konstrukts sollten übereinstimmen

• Konvergente Validität = werden Konstrukte, die ähnliches beschreiben auch ähnlich abgebildet?
• Diskriminante Validität = werden unähnliche Konstrukte auch unähnlich abgebildet?

Unzureichende Beschreibung des Konstrukts

Interaktion von Treatments

Interaktion Test >< Treatment

eingeschränkte Generalisierbarkeit

Social Threats:

• Hypothesen erraten
• soziale Erwünschtheit
• Erwartungen des Untersuchers

Veränderungen in den AV sind eindeutig auf den Einfluss der UV zurückzuführen

es gibt neben der Untersuchungshypothese keine besseren Alternativerklärungen

das in Untersuchung gefundene Ergebnis kann auf andere Personen/Situationen/Zeitpunkte generalisiert werden

geringe Fehlervarianz + keine willkürliche Auswahl signifikanter Ergebnisse

alle Untersuchungseinheiten, denen ein oder mehrere zu untersuchende Merkmale gemeinsam sind

je genauer SP Grundgesamtheit repräsentiert, desto präziser werden Aussagen über diese Population

muss strukturtreue Abbildung der Grundgesamtheit sein > Repräsentivität

Verteilung von Eigenschaften soll Grundgesamtheit entsprechen

Geschichtete Stichproben

Aufteilung der Population in Subpopulation zB Trennung nach Geschlecht

Auswahl der Probanden proportional zu Umfang der Subpopulation

Zufällige Auswahl ganzer Kollektive zB Tests in einigen Schulklassen eines Schulhauses

wenn man möglichst gute Repräsentativität erreichen möchte zB bei Eichung eines Tests

Gelegenheitsstichprobe

willkürliche Untersuchung von gerade zur Verfügung stehenden Personen

Unklar, welche Populationen sie repräsentieren

werden zB im Vorfeld von Untersuchungen verwendet um Messinstrumente zu testen

fehlt Randomisierung

geringe interne Validität

UV + AV werden nachträglich bestimmt.

> keine Möglichkeit zur Kausalinterpretation

wenn Versuchsbedingungen mit Hilfe der Techniken der Elimination, Konstanthaltung, Parallelisierung + Randomisierung kontrolliert werden

Effekte der UV wirken auf das Zusammenspiel mehrerer AVs