MR

Gegenteil von Homoskedastizität: Heteroskedastizität.

--> Heteroskedastizität führt nicht zu einer Verzerrung der Punktschätzer der Regressionskoeffizienten, jedoch zu einer Verzerrung der Standardfehler (und damit zu einer Verzerrung des Alpha-Fehlers bei der inferenzstatistischen Absicherung).

mittels Residuenplot (Residuen gegen vorhergesagte Werte)

a) Unterschätzung des "wahren" Regressionsgewicht

b) Unter- oder Überschätzung des "wahren" Regressionsgewichts

• korrekte Spezifikation des Modells
• Messfehlerfreiheit der unabhägnigen Variablen bzw. Prädiktoren (Reliabilität)
• Homoskedastizität
• Unabhängigkeit der Residuen
• Normalverteilung der Residuen

Man sollte aus lineare Strukturgleichungsmodelle ausweichen, da diese Messfehler mitberücksichtigen

a) bedeutet, dass die Residuen stochastisch voneinander unabhängig sind: Das Residuum einer beliebigen Person kann nicht aufgrund des Residuums einer beliebigen anderen Person vorhergesagt werden.

b) ist verletzt bei abhängigen Daten (z.B. Mehrfachmessungen, Paarlingen etc.) und bei hierarchischen Datenstrukturen (z.B. Schüler(innen) in Klassen; Patient(inn)en in Therapiegruppen etc.)

c) Verletzungen der Unabhängigkeitsannahme haben zur Folge, dass die Standardfehler einer Parameterschätzung unterschätzt und die entsprechenden Tests zu liberal („zu schnell signifikant“) werden.

d) Lösung: Hierarchische lineare Modelle

a) bedeutet, dass die bedingten und auch die unbedingten Residuen in der Population einer Normalverteilung folgen sollten.

b) Diagnostik: die Annahme kann mit Hilfe von grafischen Tests (Histogramm; P-P-Plot; Q-Q-Plot) überprüft werden.

c) Ist die Annahme verletzt, erhält man dennoch unverzerrte Punktschätzer der Regressionskoeffizienten.

Verletzungen der Normalverteilungsannahme wirken sich zudem bei hinreichend großen Stichproben nicht gravierend auf die Standardfehler und somit auf die Ergebnisse inferenzstatistischer Tests aus. Bei kleinen Stichproben aber schon.
d) Nicht-normalverteilte Residuen können aber auch ein Hinweis auf fehlspezifizierte Modelle sein.

e) Möglichkeit: Transformation der Variablen (z.B. Logarithmus-Transformation).

LOWESS-Verfahren (LOcally WEighted Scatterplot Smoother)

• Für eine konkrete Merkmalsausprägung xm wählt man einen Teil der Messwerte (z.B. 10% aller Werte) aus, die um diesen Wert herum liegen.
• Für diese Werte fittet man eine lineare Regression und ordnet dem Wert xm einen vorhergesagten Wert ŷm zu
• Dies wiederholt man nun für alle anderen Werte.
• Die resultierende Funktion wird dann geglättet und kann inspiziert werden (z.B. darauf hin, ob sie mehr oder weniger linear ist).

Ausreißer und einflussreiche Datenpunkte:
--> Gemeint sind einzelne Fälle, die die Schätzung der Regressionskoeffizienten stark beeinflussen. Das sind typischerweise Fälle, deren Werte xm weit von ihrem Mittelwert abweichen.

--> Identifiziert werden können sie mit Hilfe der Mahalanobis-Distanz:

--> Auf der Basis dieser Distanz kann jeder Person ein „Hebelwert“ (leverage) zugeordnet werden (--> nur das muss man wissen) Hebelwerte über 3 mal k / n gelten als „auffällig“. bei großen Stichproben kann man auch 2 mal k / n nehmen

Ausreißer auf der abhängigen Variablen: Ausreißer auf der AV (Kriterium) können identifiziert werden, indem man die Residuen (ym – ŷm) inspiziert:

• Unstandardisierte Residuen
• Standardisierte Residuen (standardisiert an der geschätzten Populationsstandardabweichung der Residuen; dem Standardschätzfehler der Regression)
• Studentisierte Residuen (standardisiert am Standardschätzfehler, aber unter Berücksichtigung des Hebelwertes einer Person)
• Gelöschtes Residuen (der vorhergesagte Wert für eine Person wird ohne diese Person im Datensatz berechnet)
• Studentisierte ausgeschlossene Residuen (s.o.; folgt einer t-Verteilung mit df = n – k – 1 Freiheitsgraden; Werte > +/-3 gelten als „auffällig“)

Standardisierte Residuen (standardisiert an der geschätzten Populationsstandardabweichung der Residuen; dem Standardschätzfehler der Regression)

Studentisierte Residuen (standardisiert am Standardschätzfehler, aber unter Berücksichtigung des Hebelwertes einer Person)

sollte man verwenden für Ausreißer auf der Kriteriumsseite

der vorhergesagte Wert für eine Person wird ohne diese Person im Datensatz berechnet

Ausmaß, in dem sich die Schätzung der Regressionskoeffizienten durch Ausschluss von einzelnen Fällen verändert: kann für jede Person auf jeder Prädiktorvariablen berechnet werden. Werte mit DifBetaS > +/-2 gelten als auffällig

Ausmaß, in dem sich die vorhergesagten Werte durch Ausschluss von einzelnen Fällen verändern

kann für jede Person berechnet werden. Werte mit DifFitS > +/- 1 sind auffällig.
Cooks Distanz (approximativ F-verteilt mit df1 = k + 1 und df2 = n − k − 1; kritische Schwelle: 0,50-Quantil)

F-verteilt, bezieht sich auf das 50% Quantil

a) Ausmaß, in dem sich die Schätzung der Regressionskoeffizienten durch Ausschluss von einzelnen Fällen verändert

b) Ausmaß, in dem sich die vorhergesagten Werte durch Ausschluss von einzelnen Fällen verändern

a) DifBetaS > +/- 2

b) DifFitS > +/- 1

Beispiel – polytomer kategorialer Prädiktor
--> Experimentelles Design: EG1, EG2, KG
-->  c = 3; 3 − 1 = 2 Kodiervariablen erforderlich

Prinzip der Effekt-Kodierung:
(1) Wähle eine der c Kategorien des Prädiktors als Basiskategorie aus. Beispiel: KG

(2) Bilde die erste Kodiervariable E1, Personen, die in der „EG1“ sind, erhalten in dieser Variablen eine "1", Mitglieder der "Basiskategorie" eine "-1", alle anderen eine „0“

(3)Bilde die zweite Kodiervariable E2, Personen, die in der „EG2“ sind, erhalten in dieser Variablen eine „1“, Mitglieder der "Basiskat." eine "-1", alle anderen eine „0“.
Hinweis: Eine Kodiervariable für die „Basiskategorie“ wird nicht benötigt, da die Zugehörigkeit zu dieser Kategorie aus einer „-1“ in beiden Kodiervariablen folgt

(4) Die beiden Kodiervariablen werden als Prädiktoren in die multiple Regression aufgenommen

(5) Der Intercept bildet den Gesamtmittelwert ab, das Regressionsgewicht von E1 bildet die Differenz zw. „EG1" und dem Gesamtmittelwert aller Kategorien ab, das Regressionsgewicht von E2 bildet die Differenz zw. „EG2" und dem Gesamtmittelwert aller Kategorien ab.

Beispiel – polytomer kategorialer Prädiktor
--> Experimentelles Design: EG1, EG2, KG
-->  c = 3; 3 − 1 = 2 Kodiervariablen erforderlich

Prinzip der Dummy-Kodierung:
(1) Wähle eine der c Kategorien des Prädiktors als Referenzkategorie aus. Beispiel: KG

(2) Bilde die erste Kodiervariable D1, Personen, die in der „EG1“ sind, erhalten in dieser Variablen eine „1“, alle anderen eine „0“

(3) Bilde die zweite Kodiervariable D2, Personen, die in der „EG2“ sind, erhalten in dieser Variablen eine „1“, alle anderen eine "0"

Hinweis: Eine Kodiervariable für die Referenzkategorie wird nicht benötigt, da die Zugehörigkeit zu dieser Kategorie aus einer „0“ in beiden Kodiervariablen folgt

(4) Die beiden Kodiervariablen werden als Prädiktoren in die multiple Regression aufgenommen

(5) Der Intercept bildet den Mittelwert der Referenzkategorie „KG“ ab, das Regressionsgewicht von D1 bildet die Differenz zw. „EG1“ und der Referenzkategorie „KG“ ab, das Regressionsgewicht von D2 bildet die Differenz zw. „EG2“ und der Referenzkategorie „KG“ ab.