Methoden der Skalierung

1. Funnel Plots
2. Begg & Mazumdar's test (Metaanalysen)
3. p-curve

• zeigt Verteilung der p-Werte signifikanter Befunde verschiedener Studien einer Fragestellung
  • Abtragen aller Signifikanzwerte der Studien in Koordinatensystem (x-Achse = p-Werte, y-Achse = Wie viele Studien berichten welchen p-Wert/% der p-Werte)
• unter Gültigkeit H0 sind alle p-Werte zwischen 0.0 und 0.05 gleich wahrscheinlich 
  • p-Kurve ist flach
• bei tatsächlichen Effekt (ES > 0) ist p-Kurve positiv abgeschrägt (fällt)
  • je größer ES, desto steiler
  • besonders viele Werte bei 0.01
• Annahme: bei p-Hacking sind v.a. viele Werte bei 0.05% abgetragen, d.h.Kurve steigt
  • Grund: so viele Leute über 0.05 eliminiert, bis meisten Befunde gerade so unter 0.05 sind
  • daher viele Studien mit p-Wert von ca. 0.05

• Replicability-Index: Index für ein ganzes Forschungsfeld
• Power = Wahrscheinlichkeit eines signifikanten Ergebnisses bei gegebener Stichprobengröße und ES
  d.h. wenn Effekt existiert, wird er gefunden 
  • z.B. Power = 0.5 = 50% der Studien finden signifikante Effekte
• Berechnung:
  • beobachtete Power ("post-hoc power estimates")
  • Median der power aller einbezogener Studien 
    • aus exaktem p-Wert
    • p = .05 entspricht 50% power
    • p = 0.005 entspricht 80% power 
    • Schätzer für % der Studien, die signifikant sein sollten
  • Erfolgsrate berechnen
    • % der tatsächlich berichteten Signifikanzen in den einbezogenen Studien
  • R-Index = 2* beobachtete Power - Erfolgsrate
• Bedeutung:
  • R-Index < 50%: Indikator für ungenügende Power und selektive Berichterstattung
  • R-Index < 22%: Indikator für p-Hacking (nicht allein durch Publicationbias erklärbar)

We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study

Studie ist dem Original so ähnlich wie möglich (z.B. Setting, Instruktion, Stimuli etc. alles exakt so)

Studie untersucht die gleiche Idee wie das Original, die Implementierung kann sich aber unterscheiden

• Großteil psychologischer Forschung = WEIRD
  • Westlich, educated, industrialized, rich, democratic Menschen
  • von und an WEIRD Menschen
• Replikationen somit nie wirklich generalisierbar

• Spezifikation der Hypothesen, das methodische und statistische Vorgehen vor Durchführung der Studie
• standardisierte Vorlagen 
• aber: wenn Präreg nicht gut ist, bringt das auch nicht viel
  • Vorsicht: viele haben zwar eine Präreg, die ist aber sehr schlecht (missbraucht die Glaubwürdigkeit)

1. Verbessert die Planung des Experiments und der Analysen
2. zeigt, welche Analysen explorativ waren und welche konfirmatorisch
3. Reduziert HARKing (Hypothesizing after results are known)
4. Reduziert df der Forschenden
5. reduziert p-Hacking

• Spezifikation des Intros, der Fragestellung, Hypothesen, methodisches und statistisches Vorgehen vor Durchgührung der Studie und Senden an Zeitschrift
  • nach Reviewprozess kann Zeitschrift Artikel annehmen und erst dann Durchführung der Studie
  • möglicher Game Changer (weniger Notwendigkeit, Ergebnisse zu fälschen)
• zusätzlicher Vorteil zu Präreg
  • Reduziert publicaiton bias, weil Nullbefunde berichtet und publiziert werden

• Forschende senden Intro, Frage, Hypothesen, Methoden der bereits durchgeführten Studie an Zeitschrift
• Reviewer begutachten, ohne Ergebnisse zu kennen (werden so nicht durch Ergebnisse beeinflusst)
• Problem: Editoren sehen Ergebnisse

Geordnete Menge von Begriffen und Aussagen, die ein Phänomen beschreiben und erklären.

Vorläufige und überprüfbare Aussage zu Zusammenhängen, Unterschieden oder Ursache-Wirkungs-Beziehungen

Menge geordneter Schritte zur objektiven Ergebung und Analyse von Daten

Theorie (allgemein) -> Deduktion -> Empirie (speziell) -> Induktion -> Theorie -> ...

1. empirisch untersuchbare reale Sachverhalte
2. allgemeingültig (geht über Einzelfall/singuläres Ereignis hinaus)
3. hat (implizit) die Formalstruktur eines sinnvollen Konditionalsatzes ("wenn-dann", "je-desto")
   impliziert Widerspruchsfreiheit
4. potenziell falsifizierbar

Dunning-Kruger Effekt (je mehr man weiß, desto mehr weiß man, was man nicht weiß)

• VL-Effekt
• durch positive Erwartungen, Einstellungen, Überzeugungen, positive Stereotype des VL -> selffulfilling Prophecy bei Ergebnis des Experiments

1. korrelationale Designs (mehrere Variablen erfasst und deren Struktur analysiert)
2. Experimente (Manipulation von Faktoren)

• W'keit, korrekterweise eine falsche Nullhypothese zurückzuweisen (Beta-Fehler)
• 1-Beta = Teststärke

• Dependenzanalysen
• Überprüfen von Zusammenhängen
• Einteilung in AV und UV

1. UV & AV = nominal: logistische Regression & Kontingenzanalyse
2. UV = nominal
   AV = metrisch: multiple Varianzanalyse
3. UV = metrisch
   AV = nominal: Diskriminanzanalyse & logistische Regression
4. UV & AV = metrisch: multiple Regression

• Gibt es eine begrenzte Anzahl von Dimensionen/Faktoren, auf denen sich Objekte/Personen beschreiben lassen?
  • Abbildung der Persönlichkeit des Menschen aufgrund welcher grundlegender Eigenschaften
  • Zusammenfassung der Aspekte der allgemeinen Intelligenz (z.B. kristallin, fluid)
• Was liegt hinter den manifesten Variablen?
  • latente Variablen (Faktoren)

1. Strukturierungsfunktion: Entdeckung von Beschreibungsvariablen
2. Datenreduktion durch latente Variablen
3. Überprüfung der Dimensionalität komplexer Merkmale (Fragebogenkonstruktion)
4. Hypothesengenerierung

1. Variablenauswahl und Errechnung der Korrelationsmatrix
   • Voraussetzungen
   • Korrelationskoeffizienz, Bartlett-Test, Kaiser-Meyer-Olkin Kriterium (KMO)
2. Extraktion der Faktoren
   • Fundamentaltheorem
   • Hauptkomponentenanalyse vs. Faktorenanalyse
3. Bestimmung der Kommunalitäten
4. Zahl der Faktoren
   • Kaiser-Kriterium (Eigenwert), Scree-Kriterium, Parallelanalyse nach Horn
5. Faktoreninterpretation
   • orthogonale oder oblique Rotation
6. Bestimmung Faktorenwerte

1. Zuverlässigkeit/Reliabilität der Ausgangsdaten beeinflussen Güte der Ergebnisse der FA
2. Relevanz der erhobenen Merkmale für Untersuchungsgegenstand
3. homogene Stichprobe (bzgl. Kriterium)
4. Unabhängigkeit der Beurteilung
5. Normalverteilung der Merkmale (Residuen)
6. intervallskalierte Daten
7. Stichprobengröße ausreichend

1. Backhaus:
   1. Anzahl Fälle ≥ Anzahl Variablen
      Anzahl Fälle ≥ 3* Anzahl Variablen
2. Nunally: 10-15 Fälle pro Variable
3. Tabachnik & Fidell: mind. 300 Fälle
4. Comrey & Lee: 
   1. 100 = armselig
   2. 300 = gut
   3. 1000 = exzellent
5. Guadagnoli und Velicer 
   1. Abhängigkeit der Faktorladungsgröße
   2. Faktoren ≥ 4 Ladungen, die > .6 sind: Stichprobengröße egal
   3. Faktoren mit ≥ 10 Ladungen mit > .4: mind. 150 Fälle
   4. wenige, geringe Ladungen: mind. 300 Fälle
6. MacCallum:
   1. Kommunalitäten
   2. alle Kommunalitäten > 0.6: < 100 
   3. Komunalitäten ± 0.5: 100-200 Fälle
   4. Kommunalitäten < 0.5 und viele Faktoren: > 500 Fälle

• Personen/Objekte in Zeilen, Merkmale in Spalten
• Ziel: Gruppierung der Merkmale (= Variablen)
  • Frage: Welche Merkmale sind sich ähnlich?
• Über die VP hinweg Mittelwerte bilden und so eine Objekt x Merkmale - Matrix erstellen

• Zusammenhänge der Variablen in der Korrelationsmatrix erkennbar
• Prüfkriterien basieren auf Korrekationsmatrix
  1. Korrelationskoeffizienzen
  2. Bartlett-Test/Test of Sphericity
  3. Kaiser-Meyer-Olkin-Kriterium (KMO)
• wichtig: betrachten von mehr als einem Prüfkriterium

• Wertebereich: -1 bis 1
• nicht nur kleine Korrelationen (r < .2)
• nicht zu viele große Korrelationen (r > .8), sonst Konglomerat
• Lösung: Variablen eliminieren

• H0: Korrelationsmatrix weicht nur zufällig von der Einheitsmatrix ab
  • Stichprobe stammt aus Grundgesamtheit, wo Variablen unkorreliert sind
  • signifikant = es gibt Korrelationen zwischen den Ausgangsvariablen
• Voraussetzng: Normalverteilung der Variablen
• p-Wert < 0.05

• Zeigt Umfang der Varianz an, den die Variablen teilen
• Wertebereich: 0-1
• KMO ≥ 0.9 = erstaunlich
• KMO ≥ 0.8 = verdienstvoll
• ...
• KMO ≥ 0.5 = kläglich
• KMO < 0.5 = untragbar

• Beobachtete Werte der Personen/Objekte in den Variablen lassen sich als lineare Kombinationen der dahinterliegenden Faktoren beschreiben
  • Annahme: additives Modell der Messwerte

• x_ik = a_i1p_1k + a_i2p_2k + ... + a_iqp_qk + (Rest)
  • mit k Personen, i Merkmalen, q Faktoren
  • Beobachtungswert: x
• Gewichtung ist abhängig von:
  • Wie hoch Merkmale mit entsprechenden Faktoren korreliert sind (a) = Faktorladung
  • WIe hoch Faktoren bei Objekt/Person ausgeprägt sind (p) = Faktowert

• a_iq = Korrelation Faktor und Variable
  • wie viel hat Merkmal/Item mit Faktor zu tun?

• p_qk = Ausprägung des Faktors bei einem Objekt/Person k
• Die Faktorwerte eines Objekts/Person sind die lineare Kombination der Variablenausprägung dieser Person/Objekt
  • p_k1 = a₁x_1i + a₂x_2i + ... + (Rest)
  • Wert von Person (p) auf allen Merkmalen (i), gewichtet durch Ladungen der Merkmale auf Faktor (a)

• Korrelationen als Vektoren
  • Korrelationskoeffizienzen = Winkel zwischen Variablenvektoren (standardisierte Länge = 1)
• Korrelation = Cos des Winkels zweier Vektoren
  • Cos(60°) = AD/AC = AD/1 = 0.5
  • Winkel: 90° = Cos/r = 0
  • Winkel: 0° = Cos/r = 1

• Faktor = Resultante (Schwerpunkt) der Variablenvektoren
• Cos des Winkels zwischen Resultante und Vektor = Faktorladung

1. Hauptkomponentenanalyse (Principal Component Analysis)
2. Faktorenanalyse (Hauptachsenanalyse, Principal Axis Factoring)

• Ziel:
  • Reproduktion der Datenstruktur durch möglichst wenige Faktoren (Sammelbegriff)
  • Daten gruppieren
• Merkmale:
  • kausal zugrundeliegende Strukturen sind egal
  • keine Generalisierung der Befunde
• Annahme: gesamte Varianz der Ausgangsvariablen werden von Fatoren erklärt

• Ziel:
  • Erklärung der Varianz in Ausgangsvariablen durch hypothetische Größen 
    Faktoren = latente Variablen
  • Wie lässt sich Ursache für die Ladungend der Variablen auf diesem Faktor bezeichnen?
• Merkmale
  • Korrelationen kausal interpretieren
  • Generalisierung auf Grundgesamtheit
• Annahmen:
  • es gibt Einzelrestvarianz in Ausgangsvariablen
  • gesamte Varianz wird nicht durch Faktoren erklärt