Methodenlehre SS23

Varianz auf Level 2 / Gesamtvarianz

gibt an, wie ähnlich sich die Werte aus der gleichen Level 2-Einheit sind

ab .1 mittlere Intraclass-Korrelation, ab .2 hohe 

Weniger Anforderungen:

• Abhängigkeiten durch höhere Levels kann modelliert werden
• Sphärizität bei repeated measures kann modelliert werden

Umgang mit Missing Data

• Dropt out bei Interventionsstudien
• ungleiche Zellenbesetzungen
• keine ganzen Fälle bei fehlenden Werten ausschließen und keine Interpolation der fehlenden Werte nötig

Flexibel und mächtig

• Prädiktoren verschiedener Skalenniveaus, ebeneso deren Interaktion

• min. intervallskalierte AV
• Unabhängigkeit (abgesehen von den angenommenen Abhängigkeiten)
• linearer Zusammenhang
• große Stichprobe (20 Ausprägungen der Level 2 Variablen bei Interaktion zwischen den Levels)
• NV Residuen 
• Outlier anschauen und entfernen 
• keine Multikollinearität (Zentrierung hilft) 

Intercept und Slope sind für alle Personen bzw. Level 1-Daten gleich 

Koeffizienten können je nach Level2-Kontext variieren 

• random intercepts: Ausgangspunklte (wenn Prädiktoren 0 sind) können sich je nach Level2-Gruppe unterscheiden
• random slope: Stärke des Zusammenhangs Prädiktor und Kriterium kann je nach Level2-Gruppe unterschiedlich sein

• schätzen die Regressionsparameter
• UND deren Variabilität: Wie variabel ist der Intercept und wie variabel ist der Slope?
• --> Variabilität von Intercept und Slope wird in der Regressionsgleichung modelliert

was gilt für Personen innerhalb einer Gruppe?

Varianz zB individueller Mitarbeiter in einer Firma

wie variieren Firmen um Gesamtmittel?

= -2LL = -2 * LogLikelihood = -2 * ln (L)

Passung des Modells auf die Daten

Aikaike Information Criterion

= DEV + 2 * q (q = Anzahl Parameter)

AIC für kleine Stichproben

AIC korrigiert nicht nur für Komplexität sondern auch für Stichprobengröße

Bayesian Information Criterion

Schwarz-Index

= Dev + q * ln(n)        n = Stichprobengrüße, q = Anzahl Parameter

systematische Anstrengung, Erkenntnisse aus Primärstudien zu integrieren

auch: Sekundärforschung

Spezialfall der integrativen Forschung, bei der man versucht, den wissenschaftlichen Kenntnisstand möglichst systematisch, nachvollziehbar und unter Verwendung statistischer Verfahren zu integrieren

• explodierende Publikationszahlen
• widersprüchliche Befunde
• Bedarf einer integrativen Zusammenfassung für Praxis, Wissenschaft und Öffentlichkeit
• eingeschränkte Aussagekraft von Primärstudien (Idiosynkrasien)

1. Forschungsfrage/Problemstellung
2. Datenerhebung 
3. Datenstrukturierung und evaluation
4. Datenanalyse und Integration
5. Datenpräsentation 

Welche Fragestellung soll konkret untersucht werden?

Welche Hypothesen?

Wie definieren wir die Konstrukte? Wovon grenzen wir sie ab?

Nach welchen Kriterien suchen wir nach Primärstudien?

Fragestellungen, Definitionen, Manipulationen, Stichproben, Messinstrumente und methodische Qualität der Primärstudien sind sehr heterogen

weil: konkurrierende Definitionen von Begriffen und Konstrukten fächerübergreifend, international, historisch...

weil: unterschiedliche methodische Zugänge 

Finden des kleinsten gemeinsamen Nenners der Operationalisierung in Primärstudien

Festlegung der Fragestellung basierend auf Generalisierungsabsicht 

Qualität der Metaanalyse ist abhängig von der Qualität der eingeschlossenen Primärstudien

Eine Primärstudien mit schlechter Qualität kann die Qualität der ganzen Metaanalyse reduzieren

• Methodische Qualität als Moderator miteinbeziehen
• Für methodische Qualität kontrollieren (gewichten)
• klare Dokumentation und Begründung aller Schritte
• klare Auswahlkrtierien bei den Primärstudien
• Präzise Kodierung der nethodischen Qualität

• Inhaltliche Konstrukte: was werten wir als "Vorurteil", was nicht?
• methodische Merkmale
• sonstige: Art der Stichprobe, Sprache, Zeitraum
• wichtig: klar und transparent formulieren

• Literaturdatenbanken
• Kontakt zu einschlägigen Wissenschaftler*innen im Feld 
• vorliegende Reiews und Metanalysen
• Literaturverzeichnis vorliegender Studien
• Datenbanken von Review-Organisationen
• Monographien

• finden von: alten, fremdsprachigen, von Studierenden verfassten Arbeiten
• publication bias: höhrere Publikationswahrscheinlichkeit hypothesenkonformer Forschungsergebnisse

Breitestmöglich einschlägige Wissenschaftler*innen anschreiben

Detaillierter Bericht über die Suchkriterien, Suchbegriffe, die Datenbanken, den Zeitraum und die gefundenen Arbeiten

• Merkmale der Stichprobe
• Merkmale der Intervention/Manipulation
• methodische Merkmale
• Ergebnisse

- uneinheitlich verwendete Begriffe und Konstruke

- hohe inhaltliche Variabilität zwischen den Studien 

- nicht genug oder fehlende Angaben 

- variierende methodische Qualität

• Methodische Bewertung der Primärstudien
• Methodischen Mindeststandard für Einschluss festlegen (z.B. nur randomized controlled trials) •
• Untersuchung methodischer Einflussfaktoren (methodische Qualität als Moderator einbeziehen,
• Korrektur oder Gewichtung der Ergebnisse nach methodischer Qualität 

Methodische Globalbewertung z.B. Maryland Scale

Summenscore methodischer Einzelkriterien 

• deskriptive Parameter notieren
• statistische Kennwerte notieren
• einheitliche Effektsärke/Effektgröße berechnen

Die Effektstärke (oder Effektgröße) gibt die Größe eines statistischen Effekts an und kann die praktische Relevanz verdeutlichen

Effekte können verglichen werden, auch wenn verschiedene Messemethoden genutzt wurden

geradlinig interpretierbar 

• Cohens d
• Hedges g
• Odds ratio
• r-Index

kann alle Werte einnehmen

0.2 klein, 0,5 mittel, 0,8 groß

standardisiertes Mittelwertsunterschied: MW-Unterschied/Gemeinsame Streuung

d=1 --> KG liegt einen SD über MW der EG