Methodenlehre SS23

• beruht auf der Annahme, dass alle integrierten Studien sich auf die gleiche Population beziehen
• • Annahme: Variabilität kommt allein durch Stichprobenfehler zustande
• • angemessen bei Homogenität der Befunde
• • erlaubt geringen Generalisierungsgrad der Befunde

• beruht auf der Annahme, dass Einzelstudien unterschiedliche Populationseffekte schätzen
• Annahme: Variabilität der Ergebnisse kommt durch Stichprobenfehler und durch zusätzliche Varianzquellen zustande
• angemessen bei Heterogenität der Befunde
• erlaubt hohen Generalisierungsgrad der Befunde 

besser bei social/life sciences

• Diese Methode erlaubt Korrektur der ES für viele mögliche Fehlerquellen (z.B. sampling error/Stichprobenfehler, Reliabilität der Maße, Dichotomisierung von Variablen, etc.)
• Einfachste Form: r (=ES) wird gewichtet durch die Stichprobengröße 

• Diese Methode korrigiert die ES für Varianz in den jeweiligen Studien
• Fixed-effects Modell: z-standardisierte r aus jeder Studie werden durch die inverse within-study Varianz der entsprechenden Studie gewichtet
• Random-effects Modell: neben der Gewichtung durch die inverse within-study Varianz wird die between-study Varianz in die Gewichtung eingerechnet.

• Ist die ES-Variabilität über Studien allein durch Stichprobenfehler zu erklären oder gibt es weitere Varianzquellen?
• Variabilität zwischen Studien wird verglichen mit Variabilität innerhalb der Studien 
• Verschiedene Integrations-Methoden (z.B. Hunter & Schmidt/Hedges & Olkin) haben jeweils spezifische Formeln
• Das Ergebnis hat Einfluss auf Annahme von Moderatoren (heterogen --> könnte an Moderatoren liegen)
• Q sig. --> heterogen

welche inhaltilichen und methodischen Aspekte beeinflussen die Ergebnisse signifikant?

Q-Statistik/Varianzanalytisch

Regressionsanalystisch

bei kategorialem und kontinuierlichem Moderator müssen mehrere Regressionen gerechnet werden

• Konfundierung zwischen inhaltlichen und/oder methodischen Merkmalen
• Methodische Variablen klären ähnlich großen Anteil an Varianz auf wie inhaltliche Moderatoren (Lipsey & Wilson, 2001)

• Vergleich nicht publizierter und publizierter Arbeiten: gibt es eine Tendenz zu geringeren Effektstärken in nicht publizierten Arbeiten?
• Berechnung des Fail-safe N (Anzahl an Studien mit ES=0 die es bräuchte, um den mittleren Effekt gerade nicht signifikant werden zu lassen)
• Funnel Plots
• Rangkorrelationstest (Begg & Mazumdar’s, 1994) für Publikationsverzerrung: korreliert Stichprobengröße mit Effektstärke? 

• Definition eines Cut-offs (z.B. basierend auf SD)
• Removal oder Rückkodierung der Outlier auf ‚realistische‘ Werte (z.B. auf MW +/- 3 SD) (‚Winsorizing‘)
• Korrektur durch Trim-and-Fill-Analyse: Ergänzung des funnel plots um fiktive komplementäre (kleine/negative) ES-Werte. Dann wird die mittlere ES neu geschätzt.  

- Moderatoren ermitteln

- Publikationsverzerrungen erkennen

- Studien integrieren und durchschnittliche Effektgröße berechnen

• Effektstärken einfach gemittelt 
• methodische Güte der einbezogenen Studien nicht berücksichtigt
• veraltete und widerlegte Studien miteinbezogen
• kein Einbezug von Kontextfaktoren und möglichen Moderatoren --> unklare Generalisierbarkeit

größer als 0 --> heterogen

Verhältnis der Varianz zwichen den Studien zur totalen Varianz

ab 75% beträchtliche Heterogenität

20-60% moderate Heterogenität

• Q-Statistik: sig. --> heterogen
• I-Quadrat: ab 75% beträchtliche Heterogenität, 20-50% moderat
• Tau-Quadrat: größer als 0 --> heterogen

Zur Integration und zum Vergleich der Ergebnisse über und zwischen Primärstudien

• Kenntnisse und Fähigkeiten zum Wohle des einzelnen und der Gesellschaft einsetzen
• Anerkennung des individuellen Rechtsm in eigener Verantwortung zu leben. 
• sachlich und objektiv
• wachsam gegenüber persönlichen, sozialen, insitutinellen, wirtschaftlichen und politischen Einflüssen
• auf Basis von validem, wissenschaftlich fundiertem Wissen
• kontinuerlich fortbilden und auf dem neusten wissenschaftlichen Stand sein 

• fehler machen, akzeptieren und korrigieren
• Schädigungsfreiheit: keine negativen Befindlichkeiten über alltägliche Stimmungsschwankungen hinaus, Würde und Rechte (auch Privatheit und Vertraulichkeit)
• Informed Consent/Freiwillige Teilnahme: Informierung über Zweck, Dauer und Prozeduren; Einverständnis kann jederzeit entzogen werden

neue Erkenntnis --> high impact journal

spezifische Erkenntnis --> specialized journal

• SAGE journals
• APA
• Springer Nature
• Wiley
• Elsevier
• Taylor & Francis Group
• CellPress

• Submission-based: Leser zahlen für Artikel
• open access
• hybrid

Zahl der Zitationen in Jahr n aller Artikel der letzten 2 Jahre / Zahl der Artikel in den letzten 2 Jahren

(n-1 und n-2) sind mit den letzten 2 Jahren gemeint

Kennwert des Journals 

h-Index = h von den insgemsamt n Publikationen eines Fprschenden wurden min. h-mal, die restlchen n-h Publikationen höchstens h-mal zitiert

h-index von 25: 25 meiner 40 Publikationen wurden min. 25 mal zitiert, die restlichen 15 höchstens 25 mal

Kennwert Forschender oder Journal

1. Einreichung der Studie an Editor in chief und editorial board
2. Gefällt ihnen nicht --> Absage
3. Potententiell interessant --> Reviewer --> Major Revision
4. erneut einreichen an editor in chied und editorial board
5. Gefällt ihnen nicht --> Absage
6. FInden sie besser --> Reviewer --> Minor Revision
7. Erneut einreichen an editor in chief und editorial board 
8. Gefällt ihnen --> Veröffentlichung

• Minor revisions: Typos etc.
• mehr Replikationen nötig
• Einleitung und Diskussion länger machen
• zufällige Dinge
• "haben wir schon immer so gemacht"
• neuste Trends
• Dinge, an denen die Reviewer selbst interessiert sind 
• zusätzliche statistische Moethode 

gibt Überlick über alle zurücjgezogenen Artikel

• Vertrauen in Wissenschaft geschädigt
• Öffentliche Gelder verschwendet
• Nutzlose Nachfolgeforschung angestoßen

• Steile Hierarchien: kaum unbefristete Stellen
• Konkurrenzdruck
• Belohnungssystem (Effekte-Psychologie, publish or perish)
• Fehlende Kontrollinstanzen
• wirtschaftlcihe Interessen der Publisher (Journals wollen Artikel die sie gut verkaufen können)

falsch gebrauchte oder missbrauchte Statistik und fehlende Replizierbarkeit

• kleine Stichproben
• kleine Effekte
• geringe Teststärke
• file drawer Problem
• viele Teams arbeiten an einem Thema
• viele Freiheitsgrade bei der Auswertung --> data drenching, p hacking
• viele AVs --> cherry picking, significance fishing
• geringe Anzahl tatsächlich bestehende im Vergleich zu nicht bestehenden Effekten

Schlampigkeit

Fälschung/Betrug

Replikationskrise

alles, was die Wkt falsch-positiver Befunde erhöht (also den alpha/Typ I Fehler) auf über 5%

Nacherhebung bis zur Signifikanz

signifikante AVs berichten, nicht-signifikante nicht

Auschluss von VPs die den Effekt nicht signifikant machen

• Unis und Forschungseinrichtungen zahlen Forschung und Forschende
• Editoren und Reviewer bekommen kein Geld
• Forschende zahlen Open Access, Druck, Farbe und dafür dass sie Artikel lesen dürfen