Statistik

Ein Großteil der psychologischen Forschung wird von und an WEIRD (= westlich, educated, industrialisiert, reich, demokratisch) Menschen durchgeführt (z.B. Rad et al., 2018)

Blaue Länder: 93 % der Studien, die in Psychological Science 2017 veröffentlicht wurden. Größe der Regionen gemessen an Population.

a.Die Wahrscheinlichkeit, dass die Konzentrationsfähigkeit besser ist, wenn der Film in Wirklichkeit keinen Einfluss hat, beträgt .02.

info

Thema log Regression bei Daten anschauen

Gibt es Prädiktoren, die die AV komplett erklären? Dann lässt sich die Kurve nicht gut schätzen („complete separation“)

Bsp.: Matte die nach Gewicht für Katze Tier öffnet (0-15kg). Ab 40 kg Einbrecher —> Gewicht als einziger Prädiktor, allerdings für log. Modell nicht so gut denn die Werte zwischen 15 und 40kg keine Zuordnung haben

Daten genau anschauen:

• Wie viele Kombinationen an Ausprägungen gibt es überhaupt?

• Gibt es Prädiktoren, die die AV komplett erklären? Dann lässt sich die Kurve nicht gut schätzen („complete separation“)

• Gibt es Prädiktoren, die sehr hoch korrelieren? (Multicollinearity)

7

yij=y00+u0j + (y10+u1j)*xij + rij basic plus Kovarianz

yij = y00 + y10*xij + u0j + u1j *xij + y01*wj + Cov(u1j*xij,u0j) + r

a.Die „Qualität des Essens“ passt als Faktor am schlechtesten dazu.

Mustermatrix: bei schiefwinkliger Rotation oblim

Rotierte Faktorenmatrix: orthogonal varimax 

--> Faktoreninterpretation, Gruppierung sichtbar --> mögl. Benennung, Faktorladung  

Bei schiefwinkliger Rotation (Oblim) nutzen wir die Mustermatrix für die Interpretation (bei orthogonaler Rotation (Varimax) die rotierte Faktorenmatrix).

• Faktor 1 gruppiert Redeanteil, Egoismus, Übertreibungstendenz.
• Mögliche Benennung: Mittelpunkts-Fokus, Aufmerksamkeitsanziehung

• Faktor 2 gruppiert Interesse an anderen, Soziale Kompetent, Interessantheit.
• Mögliche Benennung: Soziale Orientierung, Zwischenmenschliche Fertigkeit

„Data-analysis is an aid to thought, not a substitute“ Lösungsstrategien GIGO

Schritt 3: Kodierung der Studien und Ergebnisse

• Festlegung der Analyse-Ebenen und der Analyse-Einheit

• Erstellung eines detaillierten Kodierplans für inhaltliche, methodische und

  ergebnisbezogene Informationen (einschl. detaillierter Beschreibungen)

• Training der Kodierer*innen

• Überprüfung der Kodierungsreliabilität (Interkodierer-Übereinstimmung)

• Dokumentation der Kodiermerkmale und Kriterien

• Ziel: Schaffung einer zuverlässigen und einheitlichen Auswertungsbasis unter Einschluss relevanter Beurteilungs- und Integrationsaspekte

IV) Kodiermerkmale

I) Merkmale der Intervention/Manipulation

II) Merkmale der Stichprobe/Klientel

III) Methodische Merkmale

IV) Ergebnisse

Anzahl und Art der Kodierungen ist abhängig von inhaltlichen Interessen (welche Moderatoren sollen untersucht werden?)

Bei einem Quasi-Experiment findet keine Randomisierung der Teilnehmenden statt. Das heißt, dass eine Zuordnung in Versuchs- und Kontrollgruppe bereits vorgegeben ist. Diese Zuordnung erfolgt durch die Zuschreibung bestimmter identischer Merkmale, wie etwas das Alter oder die Herkunft der Teilnehmenden

Ein Quasi-Experiment ist ein wissenschaftliches Experiment, das Probanden gezielt anhand bestimmter Eigenschaften auswählt. Dadurch unterscheidet es sich von einem echten Experiment, das Versuchs- und Kontrollgruppen randomisiert zusammenstellt.

• Der Zusammenhang zwischen Auftrittswahrscheinlichkeit und Koeffizienten ist indirekt und nicht linear.

• Eine Interpretation im Sinne von „die Erhöhung der Prädiktorvariable um eine Einheit führt zu x%-iger Erhöhung der Auftrittswahrscheinlichkeit“ ist daher schwierig.

• Wenn man sich diese Formel vor Augen hält
  Ln(odds)= ln (P/Gegenwskeit)

• ... und die Gleichung nach den Odds für (y=1) (also p(y=1)/p(y=0)) auflöst, ergibt sich folgender Zusammenhang:

• Die Odds Ratio (‚Effekt-Koeffizient‘), also die Odds für (y=1) unter der Ausprägung n+1 der PV geteilt durch die Odds für y=1 unter der Ausprägung n, entspricht ebj

Odds Ratio über e^beta

1. Lösungsstrategien Äpfel Birnen Problem 

   • Festlegung der Fragestellung basierend auf Generalisierungsabsicht

   • Kleinster gemeinsamer Nenner der Operationalisierung in Primärstudien finden

2. Lösungsstrategien GIGO rote Socken 

   • Klare Auswahlkriterien bei den Primärstudien
   • Präzise Kodierung der methodischen Qualität aller Studien
   • Methodische Qualität als Moderatorvariable testen
   • Für methodische Qualität kontrollieren
   • Klare Dokumentation und Begründung aller Schritte

• Da kleine Studien (kleine SP-Größe -> hoher Standardfehler) normalerweise eine größere Spannweite von Effektstärken aufweisen, da sie weniger zuverlässig sind und große Studien (große SP-Größe -> geringer Standardfehler) eine geringe Spannweite von Effektstärken aufweisen, da sie sehr zuverlässig sind.
• um mittlere ES herum
•  
• Kleine Studien können oft intensive Interventionen/Betreuungen realisieren als größere Studien  darauf wollte Raettig aber nicht aus
• Kleine Studien sind unzuverlässiger, weichen weiter vom wahren Mittelwert ab aber in beide Richtungen! Größere Variation, aber es gibt zusätzlich den Publikationsbias (wir finden seltener kleine Studien mit wenig Effekten oder sogar umgekehrten Effekten, weil diese in der Schublade verschwinden) 

• Effektstärken der publizierten und nicht publizierten Studien vergleichen
• Funnel Plots anschauen 
• Korrelationen zwischen Effektstärke und Eigenschaften der Stichprobe (besonders kleine Studien haben größere Effekte, drastisch wenn dann keine kleinen Studien mit niedrigem oder umgekehrtem Effekt dabei sind)
• fail safe n: Fail-Safe N ist ein Kennwert der in Metaanalysen verwendet wird. Er gibt an wie viele Studien mit einer Effektstärke von Null gefunden werden müssten, damit die Metaanalyse nicht mehr signifikant wäre. Der Fail-Safe N ist jedoch keine Teststatistik, sondern nur ein grober Richtwert.

Prüfkriterien für Güte der Korrelationsmatrix

• Kaiser-Meyer-Olkin-Kriterium (KMO) / „measure of sampling adequacy“ (MSA) 

o Zeigt an, in welchem Umfang die Ausgangsvariablen Varianz teilen (0 - 1)

≥ 0.9: „erstaunlich“, ≥ 0.8: „verdienstvoll“, ≥ 0.7: „ziemlich gut“, ≥ 0.6: „mittelmäßig“, ≥ 0.5: „kläglich“, < 0.5: „untragbar“

o KMO gilt als bestes Verfahren zur Eignungsprüfung einer Korrelationsmatrix für eine FA
• Die Güte der Daten und der Korrelationsmatrix beeinflusst das Ergebnis der FA.

Bartlett-Test / Test of sphericity
o H0: Stichprobe stammt aus einer Grundgesamtheit, in der Variablen unkorreliert sind (Korrelationsmatrix weicht nur zufällig von Einheitsmatrix ab.)
o Voraussetzung: Normalverteilung der Variablen in der Stichprobe o p-Wert der Prüfgröße sollte < 0.05 sein

• Folgen

  • Vertrauen in Wissenschaft beschädigt
  • Öffentliche Gelder verschwendet
  • Nutzlose Nachfolgeforschung angestoßen •...

  Strukturelle Ursachen

• Steile Hierarchien

• Konkurrenzdruck

• Belohnungssystem (Effekte-Psychologie; Publikationsdruck „publish or perish“)

• Wirtschaftliche Interessen der Publisher

• Fehlende Kontrollinstanzen