Methoden der Skalierung

• Blog, der die Rücknahmen (Retraction) von wissenschaftlichen Papern veröffentlicht
  • Ziel: Transparenz in Retraction Prozess bringen
• seit 2010
• Grund: zuvor wurden Retractions i.d.R. nicht berichtet (daher Ergebnisse oft fälschlicherweise noch weiterverwendet)
• wesentlich höhere Anzahlen werden jährlich zurückgenommen, als zuvor angenommen

1. Vertrauen in Wissenschaft beschädigt
2. öffentliche Gelder verschwendet
3. nutzlose Nachforschungen 

1. steile Hierarchien
2. Konkurrenzdruck
3. Belohnungssystem (publish-or-perish)
4. fehlende Kontrollinstanzen
5. wissenschaftliche Interessen der Publisher

• signifikante Ergebnisse müssen eigentlich repliziert werden (nicht nur Folgestudien durchführen!)
  • Fehler aus Messdesign, SV etc. kann zu nicht replizierbaren Ergebnissen führen
• z.T. aber auch systematische Fehler
  • Publikationsdruck, Forschende wollen ihre Ergebnisse nicht challengen, falsch gebrauchte oder missverstandene Stiatistik 

1. kleine Stichproben 
   • wobei bei großen Stichproben Effekte schneller signifikant werden
2. kleine Effekte
3. geringe Teststärke (power)
4. geringe Anteil tatsächlich bestehender Effekte im Vgl. zu abwesenden Effekten 
5. große Anzahl an AVs (> cherry picking, significance fishing)
6. viele Freiheitsgrade bei Auswertung 
   • in Kombi mit Erwartungen der Forschenden = Biases
   • p-Hacking
     • statistische Parameter so verändern, dass etwas signifikantes herauskommt
     • z.B. spontaner Erhebungsstopp, Stichprobenvergrößerung, Analysemethoden ändern etc.
7. file-drawer Problem (nur positive Befunde werden veröffentlicht)

1. Daten bleiben länger erhalten
2. mehrere Wissenschaftlerinnen nutzen eine Datensatz
3. Betrug geschieht seltener (wirkt abschreckend)
4. Betrug kann besser entdeckt werden

1. VP potentiell identifizierbar
2. aufwändige und große Datensätze werden noch lange weiter bearbeitet
   1. Längsschnittprojekte = immense Datensätze
   2. Wissenschaftler, die erhoben haben, haben Vorrecht
3. Zusatzarbeit für Forschende 

1. zu perfekte Verteilungen (Normalverteilung)
   1. sehr ähnliche Muster bei mehreren Studien aus einem Paper (z.B. ähnliche SD und MW)
2. alles sehr knapp signifikant
3. keine Ausreißer
4. etc.

Prüfen mittels Simulationsansatz

• Simulieren, dass es eine solche Verteilung mit gegebenen MW und SD gibt
• "ziehen" aus simulierten Datensatz von der Anzahl an VP, die im Artikel vorkamen
• Wie hoch ist die Wahrscheinlichkeit, dass genau diese Ergebnisse herauskommen?
• Anschließend: Vgl. wie andere Experimente mit den gleichen Interventionen abschneiden - gibt es dort ähnliche Ergebnisse?

1. Darstellungsfehler ausschließen
2. Alternativerkärung (z.B. verteilungsbedingt) ausschließen
3. Erkärungen der Autoren prüfen (z.B. Kodierungsfehler)

i.d.R. haben Fälscher bestimmte statistische Fehlvorstellungen, die sich in gefälschten Daten widerspeigeln 

1. Wie ähnlich sind Maxima und Minima
2. Wie häufig kommt Mittelwert vor
3. Sind bestimmte Werte überzufällig häufig/selten?
4. unwahrscheinlich verteilte Angaben (z.B. Menschen sollen Wert eines T-Shirts angeben: Fälscher ignorieren Fakt, dass Menschen oft in 5er Schritten angeben)

1. Analyse über mehrere Studien replizieren
2. Vgl. der auffälligen Studie mit Studien anderer Autoren mit ähnlichen Maßen
3. Vgl. der auffälligen Studien mit Studien desselben Autors
4. Raw Data einfordern und anschauen
5. Autoren privat und transparent kontaktieren
6. Daten mit unbefangenen und statistisch kompetenten Dritten diskutieren
7. Diskretion

• Open Science Framework
  • Rohdaten, Auswertungsskripte und Untersuchungsmaterial auf Website veröffentlichen
• Zeitschriften, die Data Sharing als Voraussetzung für Veröffentlichung von Artikeln machen 
• Drittmittelgeber, die data sharing der finanzierten Forschung verlangen
• Aber:
  • Großteil verlangt nur ein "data sharing statement"
  • Mehrzahl der Forschenden teilt Daten nicht vollständig/verständlich
• Gründe:
  • zu wenig Zeit 
  • zu wenig Erfahrung
  • keine Anerkennung/Entlohnung
  • Sorge vor negativen Folgen

1. bleiben in Literatur und in Gedächtnis
   1. null-Resultate werden selten veröffentlicht
   2. nicht-Replikationen schwer interpretierbar und selten eindeutig (und selten veröffentlicht)
2. Verschwenden Ressourcen
   1. inspirieren sinnlose Forschung
   2. inspirieren nutzlose politische Veränderungen
   3. führen zu Glaubwürdigkeitsverlust

1. Umgang mit Ausreißern
2. Analysemethode
3. Auswahl der berichteten AV
4. Einschluss von Kovariaten
5. Auswahl der UV die berichtet werden
6. Auswahl der Stichprobengröße
7. systematische Weitererhebung bis zum signifikanten Ergebnis
8. Hypothesizing after result is known (HARKing > explorative Befunde werden konfirmatorisch berichtet)

+ Suche nach Signifikanzen (publish or perish) + Unwissenheit über Konsequenzen und Zulässigkeit mancher Entscheidungen

1. Datenerhebung an vorher festgelegten Punk abgeschlossen werden (und berichtet)
   • verhindert systematisches Weitererheben
2. 20 Beobachtungen pro Zelle oder gutes Argument für weniger/mehr
   1. besser: explizite sample-size calculation auf Basis erwarteter ES, Alpha-Niveau und Teststärke
3. alle UV und AV berichten
4. alle Bedingungen, Manipulationen (auch die, die nicht gewirkt haben) berichten
5. Wurde Fälle/Beobachtungen ignoriert, trotzdem berichten
6. Kovariate berichten + berichten ohne Kovariate

1. sicherstellen, dass Richtlinien eingehalten wurden
2. mehr Toleranz bei imperfekten Ergebnissen
3. Autoren ermutigen, deutlich zu zeigen, dass berichtete Befune nicht auf willkürliche Erhebungs- und Analysemethoden beruhen
4. enn Argumente für Erhebung/Analyse nicht stichhaltig: Einfordern von Replikationen 

1. Funnel Plots
2. Begg & Mazumdar's test (Metaanalysen)
3. p-curve

• zeigt Verteilung der p-Werte signifikanter Befunde verschiedener Studien einer Fragestellung
  • Abtragen aller Signifikanzwerte der Studien in Koordinatensystem (x-Achse = p-Werte, y-Achse = Wie viele Studien berichten welchen p-Wert/% der p-Werte)
• unter Gültigkeit H0 sind alle p-Werte zwischen 0.0 und 0.05 gleich wahrscheinlich 
  • p-Kurve ist flach
• bei tatsächlichen Effekt (ES > 0) ist p-Kurve positiv abgeschrägt (fällt)
  • je größer ES, desto steiler
  • besonders viele Werte bei 0.01
• Annahme: bei p-Hacking sind v.a. viele Werte bei 0.05% abgetragen, d.h.Kurve steigt
  • Grund: so viele Leute über 0.05 eliminiert, bis meisten Befunde gerade so unter 0.05 sind
  • daher viele Studien mit p-Wert von ca. 0.05

• Replicability-Index: Index für ein ganzes Forschungsfeld
• Power = Wahrscheinlichkeit eines signifikanten Ergebnisses bei gegebener Stichprobengröße und ES
  d.h. wenn Effekt existiert, wird er gefunden 
  • z.B. Power = 0.5 = 50% der Studien finden signifikante Effekte
• Berechnung:
  • beobachtete Power ("post-hoc power estimates")
  • Median der power aller einbezogener Studien 
    • aus exaktem p-Wert
    • p = .05 entspricht 50% power
    • p = 0.005 entspricht 80% power 
    • Schätzer für % der Studien, die signifikant sein sollten
  • Erfolgsrate berechnen
    • % der tatsächlich berichteten Signifikanzen in den einbezogenen Studien
  • R-Index = 2* beobachtete Power - Erfolgsrate
• Bedeutung:
  • R-Index < 50%: Indikator für ungenügende Power und selektive Berichterstattung
  • R-Index < 22%: Indikator für p-Hacking (nicht allein durch Publicationbias erklärbar)

We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study

Studie ist dem Original so ähnlich wie möglich (z.B. Setting, Instruktion, Stimuli etc. alles exakt so)

Studie untersucht die gleiche Idee wie das Original, die Implementierung kann sich aber unterscheiden

• Großteil psychologischer Forschung = WEIRD
  • Westlich, educated, industrialized, rich, democratic Menschen
  • von und an WEIRD Menschen
• Replikationen somit nie wirklich generalisierbar

• Spezifikation der Hypothesen, das methodische und statistische Vorgehen vor Durchführung der Studie
• standardisierte Vorlagen 
• aber: wenn Präreg nicht gut ist, bringt das auch nicht viel
  • Vorsicht: viele haben zwar eine Präreg, die ist aber sehr schlecht (missbraucht die Glaubwürdigkeit)

1. Verbessert die Planung des Experiments und der Analysen
2. zeigt, welche Analysen explorativ waren und welche konfirmatorisch
3. Reduziert HARKing (Hypothesizing after results are known)
4. Reduziert df der Forschenden
5. reduziert p-Hacking

• Spezifikation des Intros, der Fragestellung, Hypothesen, methodisches und statistisches Vorgehen vor Durchgührung der Studie und Senden an Zeitschrift
  • nach Reviewprozess kann Zeitschrift Artikel annehmen und erst dann Durchführung der Studie
  • möglicher Game Changer (weniger Notwendigkeit, Ergebnisse zu fälschen)
• zusätzlicher Vorteil zu Präreg
  • Reduziert publicaiton bias, weil Nullbefunde berichtet und publiziert werden

• Forschende senden Intro, Frage, Hypothesen, Methoden der bereits durchgeführten Studie an Zeitschrift
• Reviewer begutachten, ohne Ergebnisse zu kennen (werden so nicht durch Ergebnisse beeinflusst)
• Problem: Editoren sehen Ergebnisse

Geordnete Menge von Begriffen und Aussagen, die ein Phänomen beschreiben und erklären.

Vorläufige und überprüfbare Aussage zu Zusammenhängen, Unterschieden oder Ursache-Wirkungs-Beziehungen

Menge geordneter Schritte zur objektiven Ergebung und Analyse von Daten

Theorie (allgemein) -> Deduktion -> Empirie (speziell) -> Induktion -> Theorie -> ...

1. empirisch untersuchbare reale Sachverhalte
2. allgemeingültig (geht über Einzelfall/singuläres Ereignis hinaus)
3. hat (implizit) die Formalstruktur eines sinnvollen Konditionalsatzes ("wenn-dann", "je-desto")
   impliziert Widerspruchsfreiheit
4. potenziell falsifizierbar

Dunning-Kruger Effekt (je mehr man weiß, desto mehr weiß man, was man nicht weiß)

• VL-Effekt
• durch positive Erwartungen, Einstellungen, Überzeugungen, positive Stereotype des VL -> selffulfilling Prophecy bei Ergebnis des Experiments