Multivariate Statistik und Datenanalyse: Mutliple Regression

1. verzerrte Schätzung der Regressionsgewichte

2. erhöhter Prognosefehler (PRESS Summe der quadrierten Abweichungen zwischen vorhergesagtem und beobachteten Wert)

3. verringerte Teststärke

4. falsche Schlussfolgerungen

- Glättungsverfahren zur Aufdeckung von underfitting

--> für jeden Wert xm werden z.B. 20% anderer Werte drumherum betrachtet und eine mini-Regressionsgerade hindurchgelegt

--> es entsteht im besten Fall ein der erwarteten Kurve entsprechendes Bild

Konsequenzen:

- Unterschätzung der wahren Regressionsgewichte (in einfacher Regression)

- verzerrte Schätzung der Regressionsgewichte (in multipler Regression)

Aufdeckung:

- Bestimmung der Reliabilitäten der UVs

Umgang:

Verwendung von Modellen mit latenten Variablen

= Gegenteil von Homoskedastizität = Varianz der Residuen in der Population hängt nicht von den Ausprägungen der UVs ab

Konsequenzen:

1. Schätzungen der Parameter weiterhin erwartungstreu

2. aber Standardfehler verzerrt

Bestimmung:

- Residuenplots (metrische UVs) oder Levene-test (kategoriale UVs, darf nicht signifikant werden, sonst Heteroskedastizität)

- Breusch-Pagan-Test

--> Nullhypothese = Homo- / Alternativhypothese = Heteroskedastizität

----> darf also nicht signifikant werden!

Bei sehr großen Stichproben und gravierender Verletzung:

Rückgriff auf das Gewichtete-Kleinste-Quadrate-Schätzverfahren (weightet least square, WLS)

-> jeder quadrierte Abweichungswert wird mit einem individuellen Wert w_m gewichtet und die Summe der gewichteten quadrierten Abweichungen minimiert

--> das Gewicht w_m entspricht 1 geteilt durch die Residualvarianz, die für die jeweilige Konstellation von Werten auf den UVs geschätzt wird (ziemlich aufwendig)

In Klumpenstichproben oder mehrstufigen Auswahlverfahren und

in Einzelfalluntersuchen, wo seriale Abhängigkeit vorliegt

Konsequenzen bei Verletzung:

1. Schätzung der Parameter weiterhin erwartungstreu

2. Standardfehler unterschätzt (sodass Effekte fälschlicherweise signifikant werden)

--> optimalerweise HLM verwenden!

--> bei wenigen Klumpen kann Zugehörigkeit auch anhand von Kodiervariablen kodiert und als UV aufgenommen werden

Autokorrelation = Korrelation eines Merkmals mit seiner zeitversetzt wiederholten Messung

Konsequenzen:

1. Regressionsgewichte werden unverzerrt geschätzt

2. Standardfehler nicht korrekt

--> optimalerweise zeitreihenanalytische Verfahren verwenden

Entweder Shapiro-Wilk-Test oder heuristische Verfahren, wie:

1. Histogramm der studentisierten Residuen

--> x-Achse: studentisiertes Residuum, y-Achse: Häufigkeit

2. Probability-Probability-Plot

--> x-Achse: geschätzte kumulierte Wahrscheinlichkeiten der studentisierten Residuen

--> y-Achse: gemäß Normalverteilung erwartete kumulierte Wahrscheinlichkeiten der studentisierten Residuen

3. Quantile-Quantile-Plot

--> wie PP-Plot, nur dass statt kumulierten Wahrscheinlichkeiten die Quantile der Verteilung verwendet werden

Konsequenzen:

- Regressionsgewichte unverzerrt geschätzt

- bei kleinen Stichproben Standardfehler nicht korrekt

--> wenn Fehlspezifikation des Modells ausgeschlossen, dann:

----> Datentransformation (logarithmische Transformation um Abweichung von Normalverteilung zu verringern)

----> Rückgriff auf andere Regressionsmodelle (Poisson-Regression bei individuellen Häufigkeiten)

Werte, die...

- sich stark von den restlichen Werten unterscheiden

- sowohl in UVs als auch in AVs auftreten

- Parameterschätzung verzerren können

--> Aufdeckung auf UVs durch Mahalanobis-Distanz und zentrierten Hebelwert

--> Aufdeckung auf AVs durch Betrachtung der Verteilung der Residuen (studentisiertes ausgeschlossenes Residuum sollte bei absolutem Wert > 3 genauer inspiziert werden)

...Wertekombinationene einer Person, deren Entfernung aus dem Datensatz die Schätzung der Regressionsparameter stark verändert

Aufdeckung durch:

1. Änderung der Regressionskoeffizienten (DfBETA, DfBETAS-Werte)

2. Änderung der vorhergesagten Werte (DfFIT, DfFITS-Werte)

3. Cooks Distanz (quadrierte DfFITS-Werte)

1. Ausschluss

- wenn Werte auf Fehler zurückführbar sind (z.B. Eingabefehler, Boykott, Missverständnisse)

- wenn für Person vermutlich andere Prozesse gelten als für Rest der Stichprobe (z.B. Bill Gates bei Einkommen)

2. Einschluss

- wenn Ausreißer selten, aber zulässig und wenig einflussreich ist

3. Klären:

- ob Modell fehlspezifiziert ist

4. Wahl eines robusten Regressionsverfahrens

- reagiert wenig sensitiv auf Ausreißer und einflussreiche Werte

= hohe multiple Korrelation einer UV mit anderen UVs

Kosequenzen: 

- führt zu großem Standardfehler des Regressionsgewichts

- unpräzise Schätzung

Aufdeckung:

- Toleranzfaktor (TOL) < .10

- Varianzinflationsfaktor (VIF) > 10

1. Zentrierung von UVs

2. Eliminierung von UVs

3. Aggregation von UVs

4. Faktorenanalytische Regression

- die Produktvariablen sind messfehlerbehafteter

-> führt zu Verringerung der Teststärke

---> vorhandene Moderatoreffekte werden manchmal nicht entdeckt

Referenzkategorie wird auf Null gesetzt

Referenzkategorie auf -1

Referenzkategorie wird auf berechneten Wert gesetzt

- mehrere UVs (Prädiktor)

- eine metrische AV (Kriterium)

Niedrige Werte auf einer UV können durch hohe Werte auf anderen UVs ausgeglichen werden.

- Die Regressionsgewichte entsprechen nur dann den Gewichten aus k separaten (einfachen) Regressionsanalysen, wenn die UVs unabhängig sind.

- Zur Bestimmung der Regressionsgewichte müssen daher Korrelationen der UVs mitberücksichtigt werden

- Bei mehr als zwei UVs ist die Bestimmung kompliziert und wird matrixalgebraisch vorgenommen

Y = b0 + b1 * X1 + b2 * X2 + ... + bj * Xj + ... + bk * Xk + E

bj * Xj = UV

b0 = Intercept

E = Residuum

Es werden griechische Buchstaben (Beta) verwendet

1. ...als Regressionsgewicht einer bedingten einfachen Regressionsanalyse

2. ...als Regressionsgewicht zweier Regressionsresiduen ("Partialregressionsgewicht")

Bei der Partial- und Semipartialkorrelation werden ungerichtete Zusammenhänge zwischen zwei Variablen bereinigt.

Bei der multiplen Regression werden gerichtete/systematische Zusammenhänge zwischen den Variablen bereinigt

--> Richtung = Prognose oder Erklärung

- standardisiertes Maß zu Güte der Vorhersage

- Anteil der aufgeklärten (systematischen) Varianz an der Gesamtvarianz

- entspricht der quadrierten multiplen Korrelation von beobachtetem und vorhergesagtem Wert (rxy^2)

- Anteil der Varianz der AV, der durch lineare Regression aufgeklärt werden kann

- Summe der quadrierten Semipartialkorrelationen zunehmend höherer Ordnung

- liegt zwischen 0 und 1

Nützlichkeit

- entspricht der inkrementellen Varianz (Delta R²)

- ergibt sich aus der quadrierten Semipartialkorrelation höchster Ordnung

- Anteil wahrer Varianz von Y, die eine Variable X1 zusätzlich über alle anderen Variablen hinaus erklärt

erwartungstreu:

1. Regressionskoeffizienten der Stichprobe sind erwartungstreue Schätzer der Populationsparameter (b0 = beta0, b1 = beta1)

erwartungstreu, nach Korrektur:

2. zur Schätzung des Standardschätzfehlers müssen Freiheitsgrade entsprechend der Anzahl der Regressiongsgewichte angepasst werden

nicht erwartungstreu:

3. multipler Determinationskoeffizient in Stichprobe kein erwartungstreuer Schätzer des Populations-Determinationskoeffizienten

- Schätzung durch multiple Regression

- Modellvergleich

- theoretische Relevanz

- kausale Priorität

- pragmatische Gesichtspunkte (z.B. Kostengünstigkeit)

Bei Aufnahme nicht signifikanter UVs kann "overfitting" an Stichprobendaten entstehen.

Die Stichprobe klärt dann zwar mehr Varianz in der AV auf,

-> die Prognosegüte aber verschlechtert sich!

1. Ziehen einer neuen Stichprobe (ideal, aber meistens zu aufwendig)

2. Kreuvalidierung

--> a)  "2-fold" Kreuzvalidierung

      b) "Leave-one-out" Kreuzvalidierung

- Die Nützlichkeit einer UV ist größer als ihre (quadrierte) Korrelation mit der AV.

- Die Supressorvariable ist eine Variable, deren Einbezug als Prädiktor in das Regressionsmodell dazu führt, dass sich das Regressionsgewicht einer anderen UV erhöht oder sich dessen Vorzeichen ändert.

1. Suppressorvariable X2 mit AV Y unkorreliert   -->   rX2Y = 0

2. Suppressorvariable X2 mit anderer UV X1 signifikant korreliert

3. quadrierte mutliple Korrelation (quadrierte Semipartialkorrelation) ist größer, als quadrierte bivariate Korrelation zwischen X1 und Y

heißt: eine UV ist zwar mit einer anderen UV korreliert, nicht aber mit der AV!

- b0 = Mittelwert der AV in Referenzkategorie

Bsp.: Einkommen und Schuhgröße --> Im Durchschnitt beträgt das Einkommen (AV) von Personen mit großer Schuhgröße 0 (0, da z-transformierte Variablen)

- b1 = Differenz zwischen Mittelwert der Kategorie mit X1 = 1 (Person mit kleiner Schuhgröße) und Mittelwert der Referenzkategorie

Bsp.: Das durchschnittliche Einkommen ist bei Personen mit kleiner Schuhgröße (X1) um 0.132 SD größer als bei Personen großer Schuhgrößen.

- b2 = Differenz zwischen Mittelwert der Kategorie mit X2 = 1 (Person mit mittlerer Schuhgröße) und Mittelwert der Referenzkategorie

Bsp.: Das durchschnittliche Einkommen ist bei Personen mit mittlerer Schuhgröße um 0.001 SD größer, als bei Personen großer Schuhgrößen.