Statistik

• Man muss deskriptive Parameter + statistische Kennwerte notieren 
• Man muss einheitliche Effektstärken kodieren, was aber nicht immer einfach ist, weil unterschiedliche Studien unterschiedliche Maße/Stichprobengrößen haben
• d-Index (Cohen's d) gibt den standardisierten Mittelwertsunterschied an, was man bei ca. gleich großen Gruppen anwendet. ab 0.2 ist es ein kleiner, ab 0.8 ein großer Effekt
• Hedge's g gibt den standardisierten Mittelwertsunterschied an, wobei die Stichprobengröße miteinbezogen wird und man diesen somit bei ungleich großen Gruppen nutzt
• r-Index gibt die Produkt-Moment Korrelation an und gibt somit den Zusammenhang zwischen zwei Variablen an 
• Odds Ratio geben das Chancenverhältnis an, wobei 1 bedeutet, dass kein Effekt vorliegt
• Lösung verschiedener Effektstärken, um eine Effektstärke in der Metaanalyse zu haben: innerhalb der Studie Effektstärken zusammenfassen, Mittelwert aller Effektstärken berechnen oder Auswahl konkreter Effektstärke nach inhaltlichen Kriterien 

1. Zusammenfassung und Integration der Ergebnisparameter (Effektstärken) zur Beantwortung der Fragestellung
2. Homogenitätsanalysen zur Analyse der Varianz der Effektstärken
3. Analyse von Moderatoren 
4. Analyse von Publication Bias

Wenn eine Konfundierung zwischen inhaltlichen und/oder methodischen Merkmalen vorliegt, ist es schwer, den Moderator zu untersuchen, da dieser dann mit anderen Merkmalen korreliert 

• Man kann publizierte und nicht-publizierte Arbeiten vergleichen und schätzen, ob nicht-publizierte Arbeiten eine Tendenz zu geringeren Effektstärken haben 
• Man kann das Fail-Safe-N berechnen, das die Anzahl der Studien mit ES = 0 ausgibt, die es bräuchte, um den Effekt, den man gefunden hat, nicht mehr signifikant werden zu lassen 
• Man kann sich einen Funnel-Plot ausgeben lassen und wenn dieser zeigt, dass kleinere Studien mit einem höheren Standardfehler eher nach außen (weg vom Mittelwert) streuen, ABER NUR IN EINE RICHTUNG, nämlich Richtung einer höheren Effektstärke, so weist dies auf Publication Bias hin
• Man kann einen Rangkorrelationstest für Publikationsverzerrungen machen, der angibt, inwiefern die Stichprobengröße mit der Effektstärke korreliert (am besten!)

1. Titel/Abstract/Introduction: Metaanalyse als Wort nennen, Fragestellung klar, Hypothesen klar, Einschlusskriterien der Studie, Selektionskriterien 
2. Methode/Kodierung: Prädiktoren/Kriterien nennen, Kodierkategorien, genutzte Datenbanken/Wörter/Literaturvorgehen, Wissenschaftler angeschrieben?, Kodierer benennen, Effektstärkenberechnung etc. 
3. Results/Diskussion: Tabellen abbilden, methodische Qualität, major findings, alternative Erklärungen, Generalisierbarkeit 

• Das Wissen und die Kenntnisse über den Menschen sollen zum Wohle des Einzelnen und der Gesellschaft eingesetzt werden, um die Würde und Integrität des Individuums zu würdigen
• Sachlichkeit und Objektivität im Berufsleben walten lassen und wachsam gegenüber negativen Entwicklungen sein
• Kontinuierliche Fort- und Weiterbildung und den neusten Stand der Wissenschaft anwenden + Erfolg der Interventionen nachprüfen

• Regeln für Methodisches Vorgehen beachten und Ergebnisse überprüfbar machen 
• Offen für Kritik und Anzweifelungen sein 
• Schädigungsfreiheit der Teilnehmer gewähren
• Freiwilligkeit der Teilnahme (Informed Consent) wahren und Teilnehmer vollends informieren und aufklären 

• Hirsch-Index: Kennwert für Einfluss eines Wissenschaftlers. Ein Hirsch-Index von 25 bedeutet, dass 25 Artikel dieses Wissenschaftlers jeweils mindestens 25x zitiert worden sind. Wenn z.B. ein Wissenschaftler 100 Artikel veröffentlicht hat, aber alle nur 20 Mal zitiert würden, wäre der h-Index bei 20, weil 20 seiner Artikel 20x zitiert worden wären.  
• Impact Faktor: kennwert für Einfluss der Zeitschrift. Ein Impact Faktor von 2 bedeutet, dass z.B. im Jahr 2022 100 Artikel aus den zwei vorangegangenen Jahren 2020/2021 200x zitiert worden. 200 Zitationen geteilt durch 100 Artikel = 2 = Impact Faktor.

• Man reicht das Manuskript ein - der Editor in Chief (bezahlt vom Verlag) reicht es an das Editorial Board (nicht bezahlt) weiter
• Editorial Board entscheiden ob das Skript unpassend ist (desk rejection) oder geben es an Reviewer (Gutachter/Experten) weiter
• Reviewer geben Feedback über Manuskript an Editorial Board weiter
• Editorial Board sichtet Feedback und schreibt einen Response Letter, in dem steht, was alles verändert werden muss = Major Revision

• Erneutes Einreichen durchläuft ähnliche Schleife - Editorial Board gibt Manuskript an Reviewer, diese geben erneut Feedback 
• Editorial Board schreibt erneutes Response Letter = Minor Revision

• Publikationsdruck (Publish or Perish) 
• steile Hierarchien 
• Konkurrenzdruck 
• keine Kontrollinstanzen 
• Wirtschaftliche Interessen der Publisher

• Kleine Stichproben und kleine Effekte 
• geringe Teststärke/Power
• große Anzahl an AVs bzw. cherry-picking/p-fishing/HARKing 
• zu große Freiheitsgrade der Forschenden (ermöglicht p-hacking, data drenching)
• große Anzahl an Teams, die zeitgleich die gleiche Frage beforschen 
• File Drawer Problem/Publication Bias (nur positive/signifikante Befunde veröffentlicht)

• Eine Studie von Bohannan et al. (2015) zeigte, dass Ergebnisse einer offensichtlich falschen/methodisch unsauberen Studie von den Medien blind veröffentlicht wurde (Schokolade hilft beim Abnehmen, aber: keine Kontrolle des Alters/Gewichts/Baseline/keine gemachteten Stichproben etc.)

• Erkennen: z.B. wurde fabricated data mithilfe des Simulationsansatzes aufgedeckt, indem z.B. bei einer Studie unwahrscheinlich ähnliche Standardabweichungen (Sanna et al., 2011) oder unwahrscheinlich ähnliche Mittelwerte (Smeesters & Liu, 2011) erkannt und die Wahrscheinlichkeit dieser Werte simuliert wurde
• Erkennen: Rohdaten anfordern und inspizieren (Maxima, Minima, Mittelwerte, überzufällig häufige/seltene Werte?)
• Lösung: Just Post It (Forderung, dass alle Rohdaten mit publizierten Artikeln veröffentlicht werden sollten)
• Lösung: Simulationsansatz nutzen, um auffällige Werte zu überprüfen

• Daten bleiben länger erhalten und sind von z.B. Brand im Labor oder Umzügen unberührt
• mehrere Wissenschaftler können den Datensatz nutzen 
• Betrug geschieht seltener und kann besser aufgedeckt werden 

• Datenschutzprobleme (v.a. bei speziellen Studien) 
• aufwändige und große Datensätze werden noch lange bearbeitet, daher wäre eine Veröffentlichung Hindernis
• Zusatzarbeit für Forschende (z.B. Kommentare machen) + wenig Zeit/Erfahrung
• Sorge vor negativen Folgen (Scooping, Anklagen)
• Keine Entlohnung für Zusatzarbeit

• Keine Hexenjagd: Autoren privat und transparent kontaktieren und Zeit/Chance zur Erklärung geben 
• Versuchen, die Analyse über mehrere Studien zu replizieren
• Vergleich von auffälligen Studien mit a) Studien anderer Autoren zu ähnlichen Maßen und b) mit Studien desselben Autors
• Rohdaten einfordern und anschauen + mit unbefangenen Dritten diskutieren

• Problem: Falsch-Positive Ergebnisse bleiben in der Literatur und im Gedächtnis haften und verschwenden Ressourcen, inspirieren Forschung in diese Richtung und führen evtl. zu politischen Veränderungen 
• Problem: viele Journals veröffentlichen keine Nullresultate und deshalb werden diese auch seltener untersucht (Publication Bias) 

• Ursache: Forschende haben zu viele Freiheitsgrade bezüglich z.B.: 
• Umgang mit Outliern (Ausschluss von Personen oder Trials nach eigenem Ermessen),
• Auswahl der Analyse/Methoden frei
• Auswahl der AV/UV,Stichprobe, Kovariaten ist frei
• Systematisch Weitererheben frei, HARKing möglich, p-hacking möglich

• Sicherstellen, dass sich Autoren an Richtlinien halten 
• imperfekte Ergebnisse tolerieren 
• Transparente Dokumentation von den Autoren erwarten (Erhebung/Analyse)
• Replikationen von den Autoren einfordern, wenn Argumente nicht stichhaltig

• Die p-Kurve zeigt die Verteilung der p-Werte signifikanter Befunde verschiedener Studien zu einer Fragestellung an 
• Bei einem tatsächlichen Effekt (ES > 0) ist die Kurve von links nach rechts positiv abgeschrägt und je größer die Effektstärke, desto steiler ist die Kurve 
• ungefälschte Ergebnisse erkennt man daran, dass hauptsächlich viele Studien effekte mit p = 0.01 oder 0.02 finden und nur wenige mit 0.05 oder 0.04
• bei gefälschten Studien ist dies umgekehrt (Forscher suchen so lange herum, bis etwas gerade so signifikant ist) 

• Präregistrierung: Forschende spezifizieren Hypothesen/Methode/Auswertung bevor sie die Studie durchführen (siehe z.B. OSF), was die Planung des Experiments verbessert aber v.a. HARKing, p-hacking etc. reduziert und detailliert aufzeigt, was explorativ und was konfirmatorisch ist
• Preregistered Report: Forschende spezifizieren Einleitung/Fragestellung/Hypothesen/Methode/Auswertung, bevor sie das Experiment durchführen und senden dies an eine Zeitschrift, was Publication Bias verhindert
• Result-Blind Review: Forschende senden Einleitung/Fragestellung/Hypothesen/Methode/Auswertung einer bereits durchgeführten Studie an eine Zeitschrift