Methodenlehre SS23
Definitionen
Definitionen
-
- 1 / 157
-
Flashcards
Hedges g
kann alle Werte einnehmen
0.2 klein, 0,5 mittel, 0,8 groß
standardisiertes Mittelwertsunterschied, Streuuung über die gepoolte Varianz berechnet: MW-Unterschied/Gepoolte Streuung
g=1 --> KG liegt einen SD über MW der EG
gut bei ungleichgroßen Stichproben, bezieht die Größe mit ein
r-Index
Produkt-Moment-Korrelation, gibt die geteilte Varianz an
r kann Werte zwischen -1 und 1 annehmen; 0.0 bedeutet kein Effekt.
.1 = klein, .3 = mittel, .5 = groß
Odds Ratio
gibt das Chancenverhältnis an
OR kann Werte zwischen 0 und unendlich annehmen; 1 bedeutet kein Effekt.
Mehrere ES in einer Studie?
Problem statistischer Abhängigkeit der ES
- Mittelwert aller ES
- Auswahl einer konkreten ES nach inhaltlichen Kriterien
- Multilevel Metaanalyse, die Varianz von Effektstärken innerhalb von Studien und zwischen Studien gleichzeitig schätzt
Ziele der Metaanalyse im Schritt "Datenanalyse und Integration"
- Moderatoren
- Publikationsverzerrungen
- Homogenitätsanalyse: gibt es varianz von Effektstärken
- Zusammenfassung und Integration der ES zur Beantwortung einer konkreten Fragestellung
Integration der Ergebnisparameter
Mittelwert der ES: Nachteil --> Informationen gehen verloren
Gewichtung der ES:
an der Größe der Stpr, oder an der inversen Varianz oder an anderen methodischen Aspekten
Fixed-Effects Modell
- beruht auf der Annahme, dass alle integrierten Studien sich auf die gleiche Population beziehen
- • Annahme: Variabilität kommt allein durch Stichprobenfehler zustande
- • angemessen bei Homogenität der Befunde
- • erlaubt geringen Generalisierungsgrad der Befunde
Random-effects Modell
- beruht auf der Annahme, dass Einzelstudien unterschiedliche Populationseffekte schätzen
- Annahme: Variabilität der Ergebnisse kommt durch Stichprobenfehler und durch zusätzliche Varianzquellen zustande
- angemessen bei Heterogenität der Befunde
- erlaubt hohen Generalisierungsgrad der Befunde
besser bei social/life sciences
Hunter & Schmidt
- Diese Methode erlaubt Korrektur der ES für viele mögliche Fehlerquellen (z.B. sampling error/Stichprobenfehler, Reliabilität der Maße, Dichotomisierung von Variablen, etc.)
- Einfachste Form: r (=ES) wird gewichtet durch die Stichprobengröße
Hedges & Olkin
- Diese Methode korrigiert die ES für Varianz in den jeweiligen Studien
- Fixed-effects Modell: z-standardisierte r aus jeder Studie werden durch die inverse within-study Varianz der entsprechenden Studie gewichtet
- Random-effects Modell: neben der Gewichtung durch die inverse within-study Varianz wird die between-study Varianz in die Gewichtung eingerechnet.
Homogenitätsanalyse
- Ist die ES-Variabilität über Studien allein durch Stichprobenfehler zu erklären oder gibt es weitere Varianzquellen?
- Variabilität zwischen Studien wird verglichen mit Variabilität innerhalb der Studien
- Verschiedene Integrations-Methoden (z.B. Hunter & Schmidt/Hedges & Olkin) haben jeweils spezifische Formeln
- Das Ergebnis hat Einfluss auf Annahme von Moderatoren (heterogen --> könnte an Moderatoren liegen)
- Q sig. --> heterogen
Moderatoren
welche inhaltilichen und methodischen Aspekte beeinflussen die Ergebnisse signifikant?
kategoriale Moderatorvariable
Q-Statistik/Varianzanalytisch
kontinuierlicher Moderator
Regressionsanalystisch
bei kategorialem und kontinuierlichem Moderator müssen mehrere Regressionen gerechnet werden
Moderatoren: Herausforderungen
- Konfundierung zwischen inhaltlichen und/oder methodischen Merkmalen
- Methodische Variablen klären ähnlich großen Anteil an Varianz auf wie inhaltliche Moderatoren (Lipsey & Wilson, 2001)
Publikationsverzerrungen identifizieren
- Vergleich nicht publizierter und publizierter Arbeiten: gibt es eine Tendenz zu geringeren Effektstärken in nicht publizierten Arbeiten?
- Berechnung des Fail-safe N (Anzahl an Studien mit ES=0 die es bräuchte, um den mittleren Effekt gerade nicht signifikant werden zu lassen)
- Funnel Plots
- Rangkorrelationstest (Begg & Mazumdar’s, 1994) für Publikationsverzerrung: korreliert Stichprobengröße mit Effektstärke?
Für Publikationsverzerrungen korrigieren
- Definition eines Cut-offs (z.B. basierend auf SD)
- Removal oder Rückkodierung der Outlier auf ‚realistische‘ Werte (z.B. auf MW +/- 3 SD) (‚Winsorizing‘)
- Korrektur durch Trim-and-Fill-Analyse: Ergänzung des funnel plots um fiktive komplementäre (kleine/negative) ES-Werte. Dann wird die mittlere ES neu geschätzt.
Wozu werden Metaanalysen genutzt?
- Moderatoren ermitteln
- Publikationsverzerrungen erkennen
- Studien integrieren und durchschnittliche Effektgröße berechnen
Kritik an der Meta-Metaanalyse von Hattie
- Effektstärken einfach gemittelt
- methodische Güte der einbezogenen Studien nicht berücksichtigt
- veraltete und widerlegte Studien miteinbezogen
- kein Einbezug von Kontextfaktoren und möglichen Moderatoren --> unklare Generalisierbarkeit
Heterogenitätsmaße: Tau-Quadrat
größer als 0 --> heterogen
Heterogenitätsmaße: I-Quadrat
Verhältnis der Varianz zwichen den Studien zur totalen Varianz
ab 75% beträchtliche Heterogenität
20-60% moderate Heterogenität
Homogenitätsmaße
- Q-Statistik: sig. --> heterogen
- I-Quadrat: ab 75% beträchtliche Heterogenität, 20-50% moderat
- Tau-Quadrat: größer als 0 --> heterogen
Warum berechnet man bei der Metaanalyse einheitliche Effektstärken?
Zur Integration und zum Vergleich der Ergebnisse über und zwischen Primärstudien
Ethische Grundlagen DGPs
- Kenntnisse und Fähigkeiten zum Wohle des einzelnen und der Gesellschaft einsetzen
- Anerkennung des individuellen Rechtsm in eigener Verantwortung zu leben.
- sachlich und objektiv
- wachsam gegenüber persönlichen, sozialen, insitutinellen, wirtschaftlichen und politischen Einflüssen
- auf Basis von validem, wissenschaftlich fundiertem Wissen
- kontinuerlich fortbilden und auf dem neusten wissenschaftlichen Stand sein
Grundsätze guter wissenschaftlicher Praxis
- fehler machen, akzeptieren und korrigieren
- Schädigungsfreiheit: keine negativen Befindlichkeiten über alltägliche Stimmungsschwankungen hinaus, Würde und Rechte (auch Privatheit und Vertraulichkeit)
- Informed Consent/Freiwillige Teilnahme: Informierung über Zweck, Dauer und Prozeduren; Einverständnis kann jederzeit entzogen werden
Wo sollte man sein Manuskript einreichen?
neue Erkenntnis --> high impact journal
spezifische Erkenntnis --> specialized journal
Relevante Verläge in der Psychologie
- SAGE journals
- APA
- Springer Nature
- Wiley
- Elsevier
- Taylor & Francis Group
- CellPress
Modelle von Zeitschriften in der Psychologie
- Submission-based: Leser zahlen für Artikel
- open access
- hybrid
Impact factor
Zahl der Zitationen in Jahr n aller Artikel der letzten 2 Jahre / Zahl der Artikel in den letzten 2 Jahren
(n-1 und n-2) sind mit den letzten 2 Jahren gemeint
Kennwert des Journals
Hirsch-Index
h-Index = h von den insgemsamt n Publikationen eines Fprschenden wurden min. h-mal, die restlchen n-h Publikationen höchstens h-mal zitiert
h-index von 25: 25 meiner 40 Publikationen wurden min. 25 mal zitiert, die restlichen 15 höchstens 25 mal
Kennwert Forschender oder Journal
Ablauf Publikationsprozess
- Einreichung der Studie an Editor in chief und editorial board
- Gefällt ihnen nicht --> Absage
- Potententiell interessant --> Reviewer --> Major Revision
- erneut einreichen an editor in chied und editorial board
- Gefällt ihnen nicht --> Absage
- FInden sie besser --> Reviewer --> Minor Revision
- Erneut einreichen an editor in chief und editorial board
- Gefällt ihnen --> Veröffentlichung
Was merken Reviwer alles so an?
- Minor revisions: Typos etc.
- mehr Replikationen nötig
- Einleitung und Diskussion länger machen
- zufällige Dinge
- "haben wir schon immer so gemacht"
- neuste Trends
- Dinge, an denen die Reviewer selbst interessiert sind
- zusätzliche statistische Moethode
Retraction Watch Database
gibt Überlick über alle zurücjgezogenen Artikel
Folgen von fabricated Data
- Vertrauen in Wissenschaft geschädigt
- Öffentliche Gelder verschwendet
- Nutzlose Nachfolgeforschung angestoßen
Strukturelle Ursachen von Fabricated Data
- Steile Hierarchien: kaum unbefristete Stellen
- Konkurrenzdruck
- Belohnungssystem (Effekte-Psychologie, publish or perish)
- Fehlende Kontrollinstanzen
- wirtschaftlcihe Interessen der Publisher (Journals wollen Artikel die sie gut verkaufen können)
false positive Psychology / sloppy science
falsch gebrauchte oder missbrauchte Statistik und fehlende Replizierbarkeit
Ursachen dafür, dass die meisten Befunde falsch sind
- kleine Stichproben
- kleine Effekte
- geringe Teststärke
- file drawer Problem
- viele Teams arbeiten an einem Thema
- viele Freiheitsgrade bei der Auswertung --> data drenching, p hacking
- viele AVs --> cherry picking, significance fishing
- geringe Anzahl tatsächlich bestehende im Vergleich zu nicht bestehenden Effekten
Worin besteht die Krise der psychologischen Forschung?
Schlampigkeit
Fälschung/Betrug
Replikationskrise
Was sind Beispiele für p-hacking?
alles, was die Wkt falsch-positiver Befunde erhöht (also den alpha/Typ I Fehler) auf über 5%
Nacherhebung bis zur Signifikanz
signifikante AVs berichten, nicht-signifikante nicht
Auschluss von VPs die den Effekt nicht signifikant machen
An welchen Stellen investieren wissenschaftliche Personen und Instituationen in Verlage wissenschaftlicher Zeitschriften?
- Unis und Forschungseinrichtungen zahlen Forschung und Forschende
- Editoren und Reviewer bekommen kein Geld
- Forschende zahlen Open Access, Druck, Farbe und dafür dass sie Artikel lesen dürfen
