PHB Statistik Klausurvorbereitung

"Leave-one-out" Kreuzvalidierung

• Als Trainings-Substichprobe gilt eine Stichprobe, aus der eine einzige Person entfernt wurde (n–1)
• Bestimmung der Regressionsparameter an der Trainings- Substichprobe und Prognose des y-Werts für die „entfernte“ Person
• Durchführung dieses Verfahrens für alle n Personen
• Maße der Prognosegüte: Prognosefehler (PRESS, Summe der quadrierten Abweichungen zwischen vorhergesagtem und beobachtetem Wert), Kreuzvalidierungsfehler (CVE, Mittelwert der quadrierten Abweichungen zwischen vorhergesagtem und beobachtetem Wert)
• Vergleich verschiedener Modelle anhand der Prognosegüte

Suppression liegt vor, wenn die Nützlichkeit einer UV größer ist als ihre quadrierte Korrelation mit der AV. 

Durch Suppression (Kontrolle von Störvariablen) kann die Nützlichkeit einer UV für die Vorhersage der Av verbessert werden. 

Bei Bivariaten Korrelationen sind X1 und X2 signifikant korreliert, X1 und Y dagegen nicht. 

Bei Multipler Regression ist der multiple Determinationskoeffizient größer als die quadrierte Korrelation von X1 und Y. 

Dummy-Codierung: z.B. sinnvoll, wenn sich durch das Versuchsdesign klar eine Referenzgruppe festlegen lässt (z.B. Kontrollgruppe) 

Effektcodierung: z.B. sinnvoll, wenn Abweichungen vom Gesamtmittelwert von Interesse sind (z.B. Vergleich verschiedener Altersgrupen, Treatments) 

Ungewichtete Effektcodierung: wenn Unterschiede in Teilstichproeben auf unsystematische Ausfälle zurückgeführt werden können

Gewichtete Effektcodierung: wenn Unterschiede in Katergoriehäufigkeiten inhaltlich relevant sind (z.B. repräsentativ für Populationen) 

• Eine der c Kategorien der UV wird als Referenzkategorie ausgewählt
• Die Referenzkategorie erhält auf allen Codiervariablen den Wert 0
• Allen anderen Kategorien der UV werden derart Werte auf den Codiervariablen zugewiesen, dass
• jede Kategorie nur auf einer einzigen Codiervariablen den Wert 1 aufweist, auf allen anderen den Wert 0
• jede Codiervariable nur für eine einzige Kategorie den Wert 1 aufweist, für alle anderen den Wert 0

• Eine der c Kategorien der UV wird als Referenzkategorie ausgewählt
• Die Referenzkategorie erhält auf allen Codiervariablen den Wert -1
• Allen anderen Kategorien der UV werden derart Werte auf den Codiervariablen zugewiesen, dass
• jede Kategorie nur auf einer einzigen Codiervariablen den Wert 1 aufweist, auf allen anderen den Wert 0
• jede Codiervariable nur für eine einzige Kategorie den Wert 1 und für die Referenzkategorie den Wert -1 aufweist, für alle anderen den Wert 0

Die Erklärungskraft von Produktvariablen ist in empirischen Studien häufig eher klein (ca 3%- 8%). Das liegt auch am Einfluss des Messfehlers: Die Produktvariablen sind messfehlerbehafteter als die UVs, was u.a. zu einer Verringerung der Teststärke führt (d.h. in der Population vorhandene Moderatoreffekte werden nicht entdeckt)

In bisherigen Regressionsanalysen wurde angenommen, dass UVs additiv verknüpft sind (= das Regressionsgewicht hängt nicht von den Ausprägungen anderer UVs ab) --> DIese Annahme ist zu einfach bzw. psychologisch unplausibel

Um zu berücksichtigen, dass der Effekt einer UV auf eine AV von der Ausprägung einer weiteren UV abhängen kann, wird eine moderierte Regressionsanalyse verwendet

Ein nicht-linearer Zusammenhang lässt sich im Rahmen der multiplen Regressionsanalyse durch die Definition und den Einbezug von Polynomen höherer Ordnung umsetzen

Prüfung der Annahmen der Regressionsanalyse

• 1.1 Korrekte Spezifikation des Modells
• 1.2 Messfehlerfreiheit der UVs
• 1.3 Homoskedasziität
• 1.4 Unabhängigkeit der Residuen
• 1.5 Normalverteilung der Residuen

& Identifikation von Problematischen Datensituationen

• 2.1 Ausreißer und einflussreiche Datenpunkte
• 2.2 Multikollinearität
• 2.3 Fehlende Werte

Merkmale:

• Keine relevanten Variablen ausgelassen („underfitting")
• Keine irrelevanten Variablen aufgenommen („overfitting“)
• gute theoretische Überlegungen nötig, bereits im Vorfeld mögliche konfundierende Variablen identifizieren und berücksichtigen

Konsequenzen bei Verletzung: 

• Verzerrte Schätzung der Regressionsgewichte
• Erhöhter Prognosefehler
• Verringerte Teststärke 
• Falsche Schlussfolgerungen

Die Lowess-Anpassungslinie ist ein Glättungsverfahren, welches kurvlineare Verfahren aufdeckt 

Aufdeckung und Umgang mit Messfehlern:

• Bestimmung der Reliabilität der UVs
• Modelle mit latenten Variablen verwenden

Konsequenzen von Messfehlern in den UVs:

• Unterschätzung des wahren Regressionsgewichts (in einfacher Regression)
• Verzerrte Schätzung der Regressionsgewichte (in multipler Regression)

Homoskedastizität: Varianz der Residuen in der Population hängt nicht von den Ausprägungen der UV‘s ab

Prüfung: Breusch-Pagan-Test, Residuenplots überprüfen, Studentisiertes ausgeschlossenes Residuum 

Konsequenzen bei Verletzung: Trotzdem erwartungstreue Schätzung der Parameter, Verzerrte Schätzung der Standardfehler

 Lösung: Huber-White Standardfehler, Weighted Least Squares

Annahme ist verletzt: bei geschachtelter Datenstruktur, Einzellfallanalysen, mehrstufigen Auswahlverfahren, serialer Abhängigkeit

Konsequenzen: Trotzdem erwartungstreue Schätzung der Parameter, Standardfehler werden unterschätzt, Ökologische Fehlschlüsse

Prüfung: Intraklassenkorrelation, Durbin-Watson-Test

Lösung: Hierarchisch lineare Modelle, Zeitreihenanalytische Verfahren, Klumpen-ID

Konsequenzen bei Verletzung: Unverzerrte Schätzung der Regressionsgewichte, Verzerrte Schätzung der Standardfehler in kleinen Stchproben

Prüfung: Shapiro-Wilk-Test, heuristische Verfahren (Histogramm studentisierter Residuen, P-P-Plot, Q-Q-Plot) 

Lösung: Logarithmische Transformation, Poisson-Regression 

Ausreißer sind Werte die sich stark von restlichen Werten unterscheiden und somit zu Verzerrungen führen können.

Identifikation von Ausreißern auf der UV: Mahalanobis-Distanz, Zentrierte Hebelwerte 

Identifikation von Ausreißern auf der AV: Verteilung der Resiudn betrachten, Absolute werte >3 sollten inspiziert werden, Bonferroni-Korrektur

Einflussreiche Datenpunkte sind Wertekombinationen einer Person, deren Entfernung aus dem Datensatz die Regressionsparameter stark verändert.

Identifikation: Änderung der Regressionskoeffizienten (DfBETA, DfBETAS), Anderung der vorhergesagten Werte (DfIT, DfITS), Cooks Distanz

Multikollinearität = Hohe multiple Korrelation einer UV mit anderen UV‘s

Prüfung: Toleranzfaktor (TOL <.10 problematisch), Varianzinflations-Faktor (VIF >10 problematisch) 

Lösung: Zentrierung, Eliminierung von UVs, Aggregation, Faktorenanalytische Reduktion

Konsequenzen: Wenn Werte nicht MCAR fehlen, führt ein Ausschluss zu einer verzerrten Schätzung von Regressionskoeffizienten und Standardfehlern

Lösung: Schätzverfahren benutzen, die alle verfügbaren Werte verwenden und das Fehlen erklärender Variablen mitberücksichtigen, K-Q-Methode mit multipler Imputation, Full Information Maximum Likelihood-Methode

Die Annahme der Unabhängigkeit von Messwerten ist bei hierarchisch linearen Modellen verletzt (die Messwerte sind nicht zufällig aus der Population gezogen, sondern hängen voneinander ab = hierarchisch geschachtelte Datenstrukturen) 

Ebenen in hierarchisch linearen Modellen

Level1: kleinste Einheit, einzelner Messwert (z.B. Schulklassen) 

Level2: Kategoriale EInheiten, in denen einzelne Messwerte geschachtelt sind (z.B. Schüler)

Risiko falscher Schlüsse bei der Interpretation von Zusammenhangs- und Beeinflussungsstrukturen

Risiko falscher Schlüsse bei der inferenzstatistischen Absicherung von Regressionsgewichten

Innerhalb der Level-2-Einheiten (z.B. Klassen) kann sich der Zusammenhang zwischen zwei Variablen ganz anders (z.B. mit anderem Vorzeichen) darstellen als über alle Level-2- Einheiten hinweg (d.h. ohne Berücksichtigung der Schachtelung)

Dabei scheint es, dass die Bewertung verschiedener Gruppen unterschiedlich ausfällt, je nachdem ob man die Ergebnisse der Gruppen kombiniert oder nicht.

Einen ökologischen Fehlschluss begeht man, wenn man einen Zusammenhang oder Effekt, der auf der Ebene von Level-2-Einheiten gefunden wurde, fälschlicherweise auf der Ebene von Level-1- Einheiten interpretiert

= Vertauschen von Levels

Anhand der Intraklassen-Korrelation („intraclass correlation“, ICC) kann der Anteil der Varianz zwischen Level-2-Einheiten an der Gesamtvarianz einer Variable bestimmt werden 

Hierzu wird die Gesamtvarianz aller Messwerte in zwei Teile zerlegt: einen Anteil, der auf Unterschiede zwischen Level-2- Einheiten zurückgeht und einen Anteil, der auf Unterschiede zwischen Level-1-Einheiten zurückgeht 

Die ICC variiert zwischen 0 und 1 und drückt aus, wie ähnlich sich zwei Werte sind, die aus der gleichen Level-2-Einheit stammen 

Intercept-Only-Modell  ~ 3 Aspekte 

• ("leeres Modell", beeinhaltet keine UVs
• dient lediglich dazu, die Messwerte der AV zu zerlegen, um die Anteile der Varianz auf Ebene 1 und 2 zu bestimmen 

Random-Intercept-Modell (RIM) ~ 4 Aspekte

• beinhaltet UVs auf Ebene 1
• erlaubt auf Ebene 2 Variation in den Achsenabschnitten, aber nicht in den Regressionsgewichten

Random-Slope-Modell (RSM) ~ 5 Aspekte

• erlaubt Variation in den Regressionsgewichten
• & Kovariation zwischen den Achsenabschnitten und Regressionsgewichten 

Modelle mit Level-1-UVs: berücksichtigen nur UVs auf der "unteren" Ebene/ Level-1 (z.B. Stimmung an einem Tag) 

Modelle mit Level-2-UVs: UVs auf Ebene 2 (z.B. Persönlichkeit) können ggf. erklären, warum die Achsenabschnitte und Regressionsgewichte zwischen den Level-2-Einheiten varrieren (Varianz der Level-2 Residuen kann verringert werden) 

Modell mit festem Level-1- und Level-2 Effekt ~ 6 Aspekte

• In das Random-Slopes-Modell wird eine UV auf Level 2 eingefügt (Z), um die Unterschiede in den personenspezifischen Achsenabschnitten zu erklären -> Prüfung, ob z den Effekr von x auf y moderiert

Modell mit Cross-Level-Interaktionseffekt (CLI) ~ 7 Aspekte

Die UV auf Level-2 (Z) wird zusätzlich als Prädiktor der personenspezifischen Regressionsgewichte eingefügt -> Prüfung, ob Z den Effekt von X auf Y moderiert

= iteratives (schrittweises) Verfahren zur Schätzung der Parameter

1. Auswahl der Parameter für plausible Startwerte, Berechnung der Wahrscheinlichkeit, bei Geltung dieser Werte die beobachteten Daten zu erhalten ("Likelihood-Funktion")
2. Parameter schrittweise verändern, dass Likelihood-Funktion immer größer wird 
3. Das Verfahren "konvergiert" (stimmt überein), wenn die Verbesserung einen kritischen Wert unterschreitet (d.h. die Parameter gefunden wurden, bei deren Geltung die Wahrscheinlichkeit der beobachteten Daten maximal ist) 

2 Ansätze:

1. Full-Maximum-Likelihood-FUnktion (FML, simultane Schätzung des festen und zufälligen Teils) &
2. Restricted-Maximum-Funktion (RML, zuerst Schätzung des zufälligen Teils, dann des festen Teils)