Methodenlehre SS23

• vorher Stichprobengröße berechnen und berichten
• an diesem Punkt mit der Erhebung aufhören, nicht Nacherheben
• alle UVs und AVs berichten
• Wenn Fälle ausgeschlossen wurden, auch Befunde unter Einschluss berichten
• Wenn Kovariate eingeschlossen wurden, auch Befunde ohne Einschluss berichten
• alle Bedingungen berichten, auch Manipulationen ohne Wirkung

• sicherstellen, dass Richtlinien für Autoren gefolgt wird
• Tolerant für imperfekte Ergebnisse sein
• Replikationen fordern wenn Argumente nicht stichhaltig sind 
• Autoren dazu bringen, deutlich zu zeigen, dass berichtete Befunde nicht auf willkürlicher Erhebung und Analyse beruht

„We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study”

• zeigt die Verteilung der p-Werte signifikanter Befunde verschiedener Studien zu einer Fragestellung
• H0: alle p-Werte zwischen 0.0 und 0.05 gleich --> gerade Linie
• Effekt: positiv abgeshrägt, umso größerer Effekt umso steilere Kurve
• bei p-hacking gibt es viele Befunde mit einem p-Wert nahe 0.05 (Kurve steigt von links nach rechts an)
• weil genau dann aufgehört wurde, als gerade so ein positiver Effekt gefunden wurde

• R-Index = 2 * beobachtete Power - Erfolgsrate
• beobachtete Power: Median der Power aller einbezogenen Studien --> Schätzer für % der Studien, die signifikant sein sollten
• Erfolgsrate: % der tatsächlich berichteten Signifikanzen in den einbezogenen Studien
• R-Index < 50% --> Indikatür ungenügende Power und selektive Berichterstattung
• R-Index < 22% --> Indikator p-Hacking (nicht durch publication bias alleine erklärbar)

Studie ist dem Original so ähnlich wie möglich

Studie untersucht die gleiche Idee aber andere Implementierung

• westlich
• educated
• industrialisiert
• reich
• demokratisch
• In der Diskussion Constraints on Generality diskutieren: Beschreibung und Begrüdung der Stichprobe und Generalisierbarkeit

• HT und methodisches und statistisches Vorgehen werden vor der Druchführung spezifiziert
• Vorlagen auf OSF
• Vorteile
  • reduziert HARKing
  • reduziert p-hacking
  • reduziert Freiheitsgrade
  • zeigt welche Analysen explorativ und welche konfirmatorisch
  • Verbessert die Planung des Experiments und der Analysen

• zusätzlich zu HT und statistischem und methodischem Vorgehen werden Intro und Fragestellung spezifiziert
• dann an ein Journal schicken
• wenn akzeptiert wird, wird die Studie erst durchgeführt und dann auch veröffentlicht
• gleiche Vorteile wie Präregistrierung 
• PLUS reduzierter publication bias

Forschende senden Intro, Fragstellung, HT und Methoden/Analysen einer bereits durchgeführten Studie an ein Journal

Begutachtung ohne die Ergebnisse zu kennen

Vorteil: Gutachtende werden nicht durch Ergebnis beeinflusst

• normale Präregistrierung
• result-blind review
• registered report

Die Wkt, ein solches Ergebnis zu erhalten, wenn in Wirklichkeit kein Unterschied vorliegt, liegt bei 2%

Signifikanzniveau absenken

Gibt es eine begrenzte Anzahl von Dimensionen (Faktoren) auf denen sich Objekte/Personen beschreiben lassen?

1. Variablenauswahl und Korrelationsmatrix berechnen
2. Extraktion der Faktoren
3. Kommunalitäten bestimmen
4. Zahl der Faktoren 
5. Interpretation der Faktoren
6. Faktorwerte bestimmen

• Korrelationskoeffizienten: nicht nur kleine (<.2) und nicht nur große (> .8/.9)
• KMO = MSA: bestes Verfahren
• Bartlett Test of sphericity: soll sig. werden
• mehr als ein Prüfkriterium betrachten

• Scree Plot
• Kaiser Kriterium
• Parallelanalyse

Ausgewählt werden alle Faktoren, deren Eigenwerte größer sind als das 95%-Perzentil der Eigenwerte von simulierten, unkorrelierten, normalverteilten Zufallsdaten 

Variablen laden immer nur auf einem Faktor hoch und auf den anderen niedrig

rotierte Faktormatrix

Mustermatrix

• Konfirmatorische FA
• Retest-Reliabilität: Personen sollten ähnliche Faktorenwerte haben
• Auswahl von weiteren, bezogen auf die Faktoren typischen Objekte/Personen --> sollten bei Einschätzung hohe Werte auf den entsprechenden Faktoren haben
• Fragebogenkonstruktion: Reliabiltätsanalyse (cronbachs alpha für jeden Faktor)

die Korrelation ist eine Funktion der Kovarianz 

Korrelation ist standardisierte Kovarianz

Kovarianz gibt nur die Richtung der linearen Beziehung an, Korrelation auch sie Stärke

Diagonalelemente sind größer als Nicht-Diagonalelemente

der Teil an Kovarianz, der durch andere Variablen aufgeklärt wird

der Anteil an Korrelation, der nicht von anderen Variablen aufgeklärt wird --> soll klein sein

Cooks-Distanz

kleiner 1, besser unter .5

Z Residuen

unter +/- 2

Variance Inflation Factor 

nicht 10 oder größer

Group Mean besteht aus Grand Mean + Abweichung der Group Means vom Grand Mean