Multivariate Statistik und Datenanalyse: Logistische Regression

→ drei Möglichkeiten die AV „metrisch zu skalieren“:

Bedingte Wahrscheinlichkeitsfunktion:

– Beispiel: Hängt die Wahrscheinlichkeit, schon einmal Tiere gequält zu haben, von der Empathiefähigkeit ab?

Bedingte Wettquotientenfunktion

– Beispiel: Hängt die Chance (bzw. der Wettquotient), schon einmal Tiere gequält zu haben, von der Empathiefähigkeit ab?

Bedingte Logitfunktion

– Beispiel: Hängt der Logit (d.h. der logarithmierte Wettquotient), schon einmal Tiere gequält zu haben, von der Empathiefähigkeit ab?

Würde man eine lineare Funktion verwenden, ergäben sich bei einer metrischen UV mit unbeschränktem Wertebereich theoretisch unmögliche Werte (d.h. bedingte Wahrscheinlichkeiten < 0 oder > 1)

-> Im Unterschied dazu strebt die Exponentialfunktion gegen 0, wenn X gegen minus unendlich strebt, und gegen 1, wenn X gegen plus unendlich strebt

Die Residuen von dichotomen Variablen können nicht normalverteilt sein (da es nur zwei Ausprägungen gibt)

Die bedingten Varianzen der Residuen hängen bei dichotomen AVs von der Ausprägung der UV ab (d.h. die Annahme der Homoskedastizität ist verletzt)

Ein Wettquotient bzw. eine Chance („odds“) ist dasVerhältnis aus der

- Wahrscheinlichkeit eines Ereignisses P (Y = 1 | X) und

- seiner Gegenwahrscheinlichkeit 1 − P(Y=1| X).

Das Modell der logistischen Regression lässt sich auch als bedingte Wettquotientenfunktion darstellen (siehe Abbildung)

_b1 = Steigung der Wahrscheinlichkeitsfunktion (KEINE Interpretation wie üblich)

e^b₁ = Veränderung der Chance um den Faktor, wenn X (UV) um eine Einheit steigt. 

_{b1 =} Erwartete Veränderung des Logits, wenn X (UV) um eine Einheit steigt. 

Die Parameter (d.h. die Regressionskoeffizenten) sowie ihre Standardfehler werden mit der Maximum-Likelihood-Methode geschätzt.

Einzelne Parameter können mit dem z-Test, Wald-Test oder Likelihood-Ratio-Test auf Signifikanz geprüft werden

-> z-Test und Wald-Test führen zum selben Ergebnis, haben bei großen Ausprägungen der Parameter (in der Population) oder kleinen Stichproben aber eine geringere Teststärke als der Likelihood-Ratio-Test

Mehrere oder alle Parameter können mit dem multivariaten Wald-Test oder dem Likelihood-Ratio- Test auf Signifikanz geprüft werden.

Es gibt kein generell anerkanntes, globales Maß für die Modellgüte (sondern nur verschiedene Vorschläge):

- McFadden-Index: Erklärungskraft des Modells im Vergleich zu einem perfekten(„saturierten“) Modell

- Cox-Snell-Index: Erklärungskraft des Modells im Vergleich zu einem Nullmodell (d.h. einem Modell ohne UVs)

- Nagelkerke-Index: Auf einen Wertebereich von 0 bis 1 reskalierter Cox-Snell-Index

 Da sich die AV nicht in eine Linearkombination aus UV und Residualvariablen zerlegen lässt

Häufig wird daher zur Bewertung der Effektstärke auf die Koeffizienten (e hoch Beta 1; die odd ratios) fokussiert.

Die logistische Regression kann auch zur Klassifikation von Personen herangezogen werden!

- Hierzu werden anhand der Regressionsgleichung und der Werte der UVs die Wahrscheinlichkeiten geschätzt, mit der für eine Person die beiden Kategorien der AV jeweils zutreffen

- Die Person wird dann der Klasse von Personen (bzw. der Ausprägung der AV) zugeordnet, für die ihre Wahrscheinlichkeit maximal ist

Anhand der Trefferquote (d.h. anhand dem Anteil der Personen, die richtig klassifiziert wurden)

Die Trefferquote sollte vor dem Hintergrund der Trefferquote eines Modells ohne UVs, d.h. der relativen Häufigkeiten der beiden Kategorien beurteilt werden.

Modells ohne UVs --> Nullmodell

- Korrekte Spezifikation des Modells (d.h. alle relevanten UVs sind enthalten und die Form der bedingten Wahrscheinlichkeitsfunktion ist korrekt)

- AV ist bedingt binomialverteilt gegeben die Ausprägungen der UVs

- unabhängige Beobachtungen 

- hinreichend große Stichprobe (möglichst n >100)

Die Verletzung von Voraussetzungen kann anhand von Methoden der Regressionsdiagnostik überprüft werden (weitgehend analog zur linearen Regression)

Spezifisch für die logistische Regressionsanalysen sind:

– Methoden zur Prüfung der Gültigkeit der Form der bedingten Wahrscheinlichkeitsfunktion (z.B. Hosmer-Lemeshow-Test)

– Methoden zur Aufdeckung von vollständiger Separierbarkeit, d.h. perfekter Vorhersage (z.B. Kontingenztabellen)

Im Unterschied zur linearen Regression ist die Bestimmung von standardisierten Koeffizienten nicht so einfach möglich.

-> Hierzu müsste man die Logit-Variable standardisieren, was kompliziert ist

Wenn überhaupt, werden bei der logistischenRegression „semi-standardisierte“ Regressionsgewichte angegeben, für die lediglich die UV z-transformiert wird

-> Sie geben an, inwiefern sich der bedingte Logit verändert, wenn man den Wert der UV um eine Standardabweichung erhöht

Der Parameter b1 bestimmt die Steigung der Wahrscheinlichkeitsfunktion:

- bei b1 > 0 steigt die Funktion monoton an

- bei b1 < 0 fällt sie monoton ab

- bei b1 =0 ist sie eine Konstante

-> Unterschiede zwischen Werten auf X wirken sich am Wendepunkt stärker aus

-> Je größer der Betrag von b1, desto stärker wirken sich Unterschiede zwischen Werten auf X aus

-> Bei X= −b0/ b1 ist die bedingte Wahrscheinlichkeit gleich 0.5.

Der Parameter e^b1 gibt die Veränderung der Chance an, wenn die UV um eine Einheit erhöht wird

Er entspricht einem Wettquotientenverhältnis („odds ratio“), d.h. dem Faktor, um den sich die Chance bei Zunahme der UV (um eine Einheit) verändert (siehe Abbildung):

Der Parameter b0 bestimmt die Wahrscheinlichkeit, dass Y den Wert 1 annimmt, wenn X=0 ist

-> Je größer b0 , desto größer die Wahrscheinlichkeit

Eine Konfusionsmatrix gibt uns Auskünft über die Trefferquote bei einem bestimmten Schwellenwert.

Trefferquote: Wie viel Prozent der Personen wir auf Basis dieser Prognose ihrer tatsächlichen Kategorie zuordnen.

-> Trefferquoute sollte vor dem Hintergrund der Trefferquote des Nullmodells (ohne UVs) beurteilt werden. (D.h. der Trefferquote, wenn alle Probanden der häufigeren der beiden Kategorien zugeteilt werden.)

Sensitivität: Wie viel Prozent der tatsächlich Migrantenfeindlichen wurden als solche erkannt?

Spezifität: Wie viel Prozent der tatsächlich NICHT Migrantenfeindlichen wurden als solche erkannt?

Positive Predictive Value (PPV):Wie hoch ist die Wahrscheinlichkeit, dass ein als migrantenfeindlich klassifizierter, tatsächlich migranten-feindlich ist?

Negative Predictive Value (NPV): Wie hoch ist die Wahrscheinlichkeit, dass ein als nicht migrantenfeindlich klassifizierter, tatsächlich nicht migrantenfeindlich ist?

Bedingte Wahrscheinlichkeit für das Auftreten Merkmals für eine Person  (-> Vorhersage für eine Person)

Bedingten Wettquotienten: Verhältnis von Wahrscheinlichkeit zu Gegenwahrscheinlichkeit (Auftreten des Merkmals) z.B. bei Gruppenvergleich von Chancen

Auf eine Person mit Y=1 kommen N Personen mit Y=0.