Methoden der Skalierung

1. Grant-Mean Zentrierung
   • Zentrierung der Variablen am Gesamtmittelwert
   • Abzug des MW von PV1 von allen Einzelwerten (für PV1 und PV2)
   • wenn Fokus auf Einfluss des L2-Prädiktors liegt
   • Interpretation: 
     b₁ gibt Wert von y an, wenn z (Prädiktor 2) bei seinem Mittelwert liegt 
2. Group Mean Zentrierung
   • Zentrierung der Variablen am Gruppenmittelwert 
     hier getrennt für alle Level 2 Ausprägungen Gruppenmittelwert abziehen
   • Fokus auf Einfluss des L1-Prädiktors und/oder cross-Level Interaktionen

• Integration der Befunde
• sucht nach Vorhersagen für recht komplexe Verhaltensweisen
• Ziel: herausfinden, wie wirksam etwas ist, welche Moderatoren eine Rolle spielen etc.
• Frage nach dem "wie stark"
  = einheitliche Effektstärke

• Spezialfall integrative Forschung
  • Integration der Erkenntnisse aus Primärstudien
  • Sekundärforschung
• Ziel:
  • wissenschaftliche Kenntnisse zu Frage systematisch, nachvollziehbar und unter Verwendung statistischer Verfahren zu integrieren
  • Berechnung von einheitlichen Effektstärken

• subjektiv
• narrative Reviews 
  • ± systematische Auflistung und Diskussion von Befunden eines Themas
• Metaanalysen
  • umfassende Integration von Forschungsbefunden mittel statistischer Integrationsmethoden (einheitliche Vorgehensweise und Methoden)
  • korrelative Zusammenhänge (= Testvalidierung vs. Merkmals-Kovariation)
  • Gruppenkontraste (= Gruppendifferenzen vs. Interventionswirkungen)

1. Explosition von Publikationszahlen
2. eingeschränkte Aussagekraft von Einzelergebnissen (da oft im Labot etc.)
3. Vielzahl sich widersprechender Befunde (durch Moderatoren o.ä.)
4. Bedarf an integrativen Zusammenfassungen für Wissenschaft, Praxis, Öffentlichkeit

1. Forschungsfrage/Problemstellung
2. Datenerhebung (Forschungsberichte)
3. Datenstrukturierung und -evaluation
4. Datenanalyse und -integration
5. Datenpräsentation

• Exploration des Bedarfs an integrativer Forschung
• genaue Festlegung der Fragestellung und Hypothesen
• Definition der Konstrukte und Abgrenzung zu anderen Themenbereichen
• Festlegung von Selektionskriterien
  • Inhalte, Publikationssprache und -zeitraum

• Äpfel-Birnen Problem
  • Heterogenität: Fragen, Definitionen, Stichproben, Manipulationen, Messinstrumente, methodische Qualität der Primärstudien
  • konkurrierende Definitionen durch Interdisziplinarität
  • historische Veränderungen von Konstrukten und Begriffen
  • international uneinheitliche Definitionen
  • unterschiedliche methodische Zugänge
• Garbage-in-garbage-out Problem (rote Socken Problematik)
  • Qualität ist abhängig von Qualität der eingeschlossenen Primärstudien

• Äpfel-Birnen
  • Festlegung Fragestellung basierend auf Generalisierungsabsicht
  • kleinster gemeinsamer Nenner der Operationalisierungen in Primärstudien
• Garbage-in-garbage-out
  1. klare Auswahlkriterien
  2. präzise Kodierung der methodischen Qualität
  3. Gewichtung basierend auf Stichprobengröße und Qualität
  4. methodische Qualität als Moderatorvariable testen
  5. für methodische Qualität kontrollieren
  6. klare Dokumentation und Begründung

1. inhaltliche Konstrukte 
   • zentrale Aspekte der Forschungsfrage
2. methodische Merkmale
   • bsp. kontrolliertem Design und randomisierter Zuteilung, unabhängiges funding
3. sonstige
   • Art der Stichprobe
   • Publikationssprache und -zeitraum
   • Umdefinitionen eines Konstrukts (dann erst ab Neudefinition die Studien inkludieren)

• Datenerhebung/Literatursuche
  • in Reviews, Metaanalysen, Literaturdatenbanken, Datenbanken von "Review"-Organisationen, Literaturlisten, Monografien, durch Kontakte
• Identifikation von Suchbegriffen und -strategien
  • umfassende, systematische Literatursuche
• Konkretisieren der Forschungsfrage

1. multiple Suchstrategien
2. Berücksichtigen von nicht-publizierter Literatur (publication bias)
   • ca. 97% der Studien berichten Effekt
3. Identifikation und Beschaffung älterer, fremdsprachiger und von Studis durchgeführter Forschungsarbeiten

1. breitestmöglich einschlägige Wissenschaftler anschreiben
2. detaillierter Bericht über Suchkriterien, Suchbegriffe, Datenbanken, Zeitraum und gefundene Arbeitem

Datenstrukturierung und -evaluation

• Ziel: Schaffung zuverlässiger und einheitlicher Auswertungsbasis unter Einschluss relevanter Beurteilungs- und Integrationsaspekte
• Kodierung der Forschungsberichte/Studien nach inhaltlichen, methodischen und ereignisbezogenen Merkmalen
  • Erstellung eines detaillierten Kodierplans
  • Training der Kodierer
  • Überprüfen der Kodierungsreliabilität (Interkodierer-Übereinstimmung)
  • Dokumentation der Kodiermerkmale und -kriterien 
  • Anzahl und Art der Kodierungen = abhängig von inhaltlichem Interessen 
• Festlegung der Analyseebenen und -einheiten

1. Merkmale der Intervention/Manipulation
   • Art, Intensität, Administrator, theoretische Ausrichtung, Setting
2. Merkmale der Stichprobe/Klientel
   • Alter, Klassenstufe, Schulart, Geschlecht
3. Methodische Merkmale 
   • Design, methodische Qualität, Stichprobengröße, Dropout-Rate, Standardisierungsgrad
4. Ergebnisse
   • MW, Streuung, Teststatistiken, Signifkanzniveaus

1. uneinheitlich verwendete Begriffe und Konstrukte
   --> Lösung: Rückkopplung zu Schritt 1 und 2
2. (zu) große inhaltliche Variabliität zwischen Studien
   --> Lösung: Schritt 1 und 2
3. keine oder ungenaue Beschreibungen in Studien (fehlende Werte)
   --> Lösung: Autoren kontaktieren
4. Variabilität der methodischen Qualität
   • methodische Bewertung der Primärstudien
   • methodische Mindeststandards für Einschluss festlegen 
   • Untersuchung methodischer Einschlussfaktoren (methodische Qualität als Moderator)
   • Korrektur oder Gewichte der Ergebnisse nach methodischer Qualität

1. methodische Globalbewertung (Maryland Scale)
   1. 1-5 (nur Post-Design ohne Kontrollgruppe, ..., Prä-Post Design mit randomisierter Kontrollgruppe
2. Summenscore methodischer Einzelkriterien (MacLeod und Weisz)
   • vergeben je einen Punkt für:
     1) geringe Drop-out
     2) Stichprobengröße > 30 
     3) Placebo-Gruppe
     4) Blinde Teilnehmende
     5) Blinde Untersuchende
     6) objektive Daten

1. deskriptive Parameter notieren
2. statistische Kennwerte notieren
3. einheitliche Effekststärke berechnen
   • Größe des statistischen Effekts
   • kann praktische Relevanz verdeutlichen
   • Effekte sind vergleichbar (auch bei unterschiedlichen Messmethoden)

1. d-Index (Cohen's d)
   • d kann jede Größe annehmen
   • 0.0 = kein Effekt, 0.2 = kleiner Effekt, 0.5 = mittlerer Effekt, 0.8 = starker Effekt
   • 1 = Trainingsgruppe liegt eine SD über Mittelwert der Kontrollgruppe
2. Hedges'g
   • Streuung wird über gepoolte Varianz berechnet --> somit wird Stichprobengröße miteinbezogen
   • am häufigsten berichtetes Effektstärkemaß 
   • empfohlen bei ungleichen Gruppengrößen
3. r-Index
   • Produkt-Moment-Korrelation
   • geteilte Varianz zwischen -1 und 1
4. Odds Ratio
   • Chancenverhältnis
   • Werte zwischen 0 bis unendlich
   • 1 = kein Effekt

• für jeden relevanten Vergleich/jede Studie wird Effektstärke berechnet
  • problematisch, weil aus einer Stichprobe ggf. mehr Effekte gezogen werden (d.h. Fehler, Verzerrungen etc. fließen alle mit ein)
• daher: wenn es mehrere Effektstärken in einer Studie gibt, zusammenfassen:
  • Mittelwerte aller Effektstärken
  • Auswahl einer konkreten Effektstärke nach inhaltlichen Kriterien

• Zusammenfassung der Befunde
• Auswertung nach inhaltlich-methodischen Merkmalen
• Nutzung statistischer Integrationsmethoden 
• Integration der Ergebnisse
  • Integration der Ergebnisparameter (Effektstärken)
  • Analyse der Varianz von Effektstärken (Homogenitätsanalysen)
  • suche nach Moderatoren 
  • Suche nach Publikationsverzerrungen

• einfachste Methode: aus jeweiligen Effektstärkenmaße aller Studien wird Mittelwert gebildet
  • Infoverlust: kleine Studien werden gleich gewichtet wie große etc.
  • daher: Effekstärken der Studien gewichten
• Wie kann man die Effektstärkenmaße gewichten
  • basierend auf Stichprobengröße, inverse Varianz oder andere methodische Aspekte
• Schätzmodelle der Effekstärke
  1. Fixed-Effects Modell
  2. Random-Effects Modell
     1. Hedges und Olkin
     2.  Hunter und Schmidt

• Bsp.: Effekststärke gewichten durch Stichprobe:
  • Korrelkoeff r * Stichprobengröße n/Gesamtstichprobengröße 

• Annahme: alle integrierten Studien beziehen sich auf gleiche Population und Variabilität kommt durch Stichprobenfehler zustande (interindividuelle Variabilität)
  • nur Varianz innerhalb Studien zur Gewichtung
• Anwendung: bei Homogenität der Befunde
• erlaubt geringen Generalisierungsgrad

• Annahme: Einzelstudien schätzen unterschiedliche Populationseffekte
  Variabilität durch Stichprobenfehler + zusätzliche Varianzquellen
  • Varianz innerhalb und zwischen Studien wird zur Gewichtung herangezogen
• Verwendung: bei Heterogenität der Befunde
• hoher Generalisierungsgrad
• v.a. in social Sciences verwendet

• Korrektur der Effektstärken für mögliche Fehlerquellen
  • Stichprobenfehler, Reliabilität der Maße, Dichotomisierung von Variablen
  • r(=ES) = gewichtet durch Stichprobengröße

• korrigiert Effektstärken für Varianz in jeweiligen Studien
• fixed-Effect Models: z-standardisierte Korrelkoeff aus jeder Studie werden durch inverse within-study Varianz der entsprechenden Studie gewichtet
• random-effect Models: inverse within-Study Varianz + between Varianz wird einberechnet

• weitere Random-Effekt Modelle: REML (Residual Maximum Likelihood)

• fragt, ob es noch weitere Varianzquellen neben dem Stichprobenfehler gibt
• Prinzip:
  • Variabilität zwischen Studien vgl. mit Variabilität innerhalb der Studien
  • innerhalb größer = Hinweis auf Systematik (Homogenität nicht gegeben)
• verschiedene Integrationsmethoden haben spezifische Formeln für Homogenitätsanalysen
• Ergebnis hat Einfluss auf Annahme von Moderatoren
• Nullhypothese: Homogenität wird abgelehnt
  > signifikant = keine Homogenität

• testen mittels t-Tests 
• welche inhaltlichen und methodischen Aspekte beeinflussen ES signifikant
  • Varianzanalytisch (Q-Statistik) bei kategorialen Moderator-Variablen
  • Regressionsanalytisch bei kontinuierlichen Moderatorvariablen
• Problem::
  • konfundierung zwischen inhaltlich und/oder methodisch
    • inhaltlich: z.B. Dauer des Treatments
    • methodisch: zufällige Zuteilung zu Treatment/Kontrollgruppe
  • methodisch klärt ca. genauso großen Teil an Varianz auf wie inhaltlich 

• publication bias?
• Fail-Safe N
  • Anzahl an Studien mit ES = 0, die es braucht, um mittleren Effekt gerade nicht signifikant werden zu lassen
• Funnel-Plots
  • zeigen Zusammenhang zwischen Stichprobengröße und ES in Primärstudien
  • wie groß ist die Studie, wie wenig Varianz hat sie und wie groß ist Effekt
  • ohne Verzerrung: trichterförmiger Funnelplot (gleichverteilt um mittlere ES)
  • y-Achse: Stichprobengröße/Standardfehler
• Rangkorrelationstest
  • korreliert Stichprobengröße mit Effektstärke
  • kleinere Studien könnten z.B. besser sein wenn bessere Intervention

• Definition eines Cut-Offs 
  • Studien über Cut-Off = eliminieren
• Removal/Rückkodierung der Outlier auf "realistische Werte"
  • z.B. MW ± 3SD
  • "Winsorizing"
  • großen Wert entfernen oder durch Maximalwert innerhalb des Cut-Offs setzen
• Trim-and-Fill Analysen
  • Ergänzung Funnel Plot um fiktive komplementäre (kleine/negative) ES-Werte und neue Schätzung der mittleren ES

• Dokumentation des methodischen Vorgehens
  • Berichtlegung
  • Beantwortung Forschungsfragen
• je nach Adressaten unterschiedliche Darstellung 
  • Wissenschaft, Poilitk, Gesellschaft etc.

1. Aufgabe: Wissen über Menschen vermehren 
2. Kenntnisse zum Wohl des Einzelnen und der Gesellschaft einsetzen
3. Würde und Integrität des Individuums achten
4. Einsetzen für Erhaltung und Schutz fundamentaler menschlicher Rechte
   1. Anerkennung des Rechts des Individuums, in eigener Verantwortung und nach eigenen Überzeugungen zu leben
5. Wachsam gegenüber persönlichen, sozialen, institutionellen, wirtschaftlichen und politischen Einflüssen sein
   1. sachlich und objektiv sein
6. kontinuierliche Fortbilden
7. Dienstleistungen nur dann anbieten, wenn sie qualifiziert sind (durch fachliche Ausbildung oder Erfahrung)
8. Orientieren am Grundsatz wissenschaftlicher Redlichkeit und Überprüfen des Erfolgs der Interventionen

1. Unterwerfung der Forschungstätigkeit der allgemein gültigen Regeln methodischen Vorgehens und Überprüfbarkeit von Ergebnissen
2. Bereit sein, wissenschaftliches Vorgehen darzustellen, zu begründen und rationaler Kritik zugänglich machen
3. Berücksichtigung aller verfügbarer Infos und Gegenargumente
4. Offenheit für Kritik und konsequentes Anzweifeln der eigenen Erkenntnisse