Einführung Methoden Politikwissenschaft

- Repräsentationsproblem

- Eindeutigkeitsproblem

- Bedeutsamkeitsproblem

• Grundsätzlich: Ist ein bestimmtes Objekt überhaupt messbar?

• Dabei muss – damit Messung überhaupt möglich ist – zumindest ein
Homomorphismus vorliegen. Damit ist eine Repräsentation des
empirischen Relatives durch ein numerisches Relativ gewährleistet.

• Das Repräsentationsproblem fragt zudem nach den Bedingungen,
unter denen sich das empirische durch ein numerisches Relativ
repräsentieren lässt.

• Um beispielsweise eine Ordinalskala zu erhalten, muss etwa das
Transitivitätsaxiom erfüllt sein (weitere Relationen wie Äquivalenzund
Ordnungsrelation, symmetrische und reflexive Relation, etc.).

• Wie können Messwerte verändert werden, ohne dass die in ihnen
enthaltene Information verloren geht?

• Welche Transformationen sind zulässig? Damit eng verknüpft ist die
Bestimmung des Skalenniveaus einer Variablen.

• Ergibt sich eine zweite, strukturverträgliche Skala durch eine
bestimmte Transformation – zum Beispiel durch Multiplikation - aus
der ersten Skala, so ist diese Transformation zulässig.

• Multipliziert man beispielweise die numerischen Relative einer
Ordinalskala, so bleibt die Rangordnung bestehen. Multiplikation ist
also als Transformation für Rangfolgeskalen zulässig

• Problem: Welche mathematischen Operationen mit Messwerten
führen auch zu empirisch sinnvollen Aussagen?

• Das Bedeutsamkeitsproblem ist weniger ein theoretisches als
vielmehr ein praktisches Problem: es geht nicht um die Generierung
von Messwerten, sondern um ihre sinnvolle Weiterverarbeitung.

• Z.B.: welche Rechenoperationen (Addition, Division,
Logarithmierung, Bildung von Mittelwerten) mit Messwerten eines
bestimmten Skalenniveaus können durchgeführt werden, so dass
daraus empirisch sinnvolle Schlüsse resultieren.

• Konkretes Beispiel: Ist die Angabe des arithmetischen Mittelwertes
bei ordinalen Werten (Rangordnungsskalen, z.B.: Schulnoten,
Einstufungsskalen) sinnvoll?

- Nominalskala

- Ordinalskala

- Intervallskala

- Ratioskala

- Absolutskala

• Die Merkmalsausprägungen folgen keiner natürlichen Reihenfolge, sind demnach beliebig
(existieren gleichberechtigt nebeneinander; „Äquivalenzrelation“). (Bsp. Zahlen bei Fussballspielern, Reihenfolge ist willkürlich)

• Zuweisung der Werte zu den Objekten dient lediglich der Identifikation; damit sind nur
Aussagen zu Gleichheit/Ungleichheit möglich. (sagen nichts über Beziehungen aus)

• Zulässige Transformationen: so gut wie alle, so lange sie die Unterschiede beibehalten.

• Statistische Auswertungen: Häufigkeitsinformationen, Mittelwert = Modus (häufigster
Wert). (nur wenige Auswertungen, arithmetischer Mittelwert würde nichts bringen)

• Bsp.: Geschlecht, Beruf, Religionszugehörigkeit, aber auch Nummerierung von
Fussballspielern, Matrikelnummer

• Die Merkmalsausprägungen folgen einer natürlichen Rangfolge, aber die Abstände sind
nicht quantifizierbar (Voraussetzung: Transitivitätsaxiom). (nicht identisch)

• Zulässige Transformationen: alle rangerhaltenden Transformationen, d.h. monoton
steigende Transformationen (z.B. die Multiplikation). (Rangfolge darf nicht verändert werden)

• Statistische Auswertungen: Häufigkeitsinformationen, Mittelwert = ... + Median (der Wert,
der die untere von der oberen Hälfte der Messwerte trennt). (Modus, Medien, arithmetischer Mittelwert machen keinen Sinn)

• Bsp.: Noten, Windstärke, Einstufungsskalen („sehr einverstanden“, „eher einverstanden“ ,
etc.)

• Die Merkmalsausprägungen folgen einer natürlichen Rangfolge, die Abstände sind
quantifizierbar (sind identisch). Mit anderen Worten: Die Differenzen zwischen den
Merkmalsausprägungen sind gleich. Damit sind Aussagen möglich wie: Heute ist es 10
Grad wärmer (nicht aber Verhältnisaussagen: heute ist es doppelt so warm wie gestern).
Intervallskalen haben keinen natürlichen Nullpunkt.

• Zulässige Transformationen: alle linearen Operationen. (Differenzen zwischen Merkmalsausprägungen müssen identisch bleiben)

• Statistische Auswertungsverfahren: ... + arithmetischer Mittelwert.

• Bsp.: Temperatur in Celsius oder Intelligenzquotient. (man kann keine Verhältnisaussage machen weil die Skala willkürlich ist)

• Die Merkmalsausprägungen folgen einer natürlichen Rangfolge, die Abstände sind
quantifizierbar und die Skala hat einen natürlichen Nullpunkt. Verhältnisaussagen sind
möglich.

• Zulässige Transformationen: alle Ähnlichkeitstransformationen (y=a*x; also z.B. Kilometer
in Meter). (proportionale Transformation)

• Statistische Auswertungen: alle, Mittelwert = ... + geometrisches Mittel.

• Bsp.: Temperatur in Kelvin.

• Die eindeutigste Skala ist die absolute Skala. Sie erlaubt keine
Transformationen mehr (mit Ausnahme der Identitätstransformation,
d.h. Multiplikation mit der Zahl Eins).

• Auch die Masseinheit ist vorgegeben.

• Beispiele: Alle Skalen, die auf Abzählen beruhen. Z.B. absolute oder
relative Häufigkeiten (etwa Geburts- Todesrate, Konsumquote, usw.), Wahrscheinlichkeiten

• Je höher das Messniveau, desto weniger Transformationen der
Messwerte sind zulässig. Aber: Je höher das Messniveau, umso mehr
mathematische Verfahren können auf die Messwerte angewendet
werden. Generell: mit steigendem Messniveau steigt auch der
Informationsgehalt.

• Lösung des Repräsentations- und Eindeutigkeitsproblem in den
Sozialwissenschaften selten.

• Für die meisten sozialwissenschaftlichen Messverfahren liegen keine
entsprechenden Theoreme vor. Das liegt daran, dass die meisten
Messungen auf vermuteten Zusammenhängen zwischen latenter
Variable und interessierendem Merkmal beruht.

• Intervallskalen in den Sozialwissenschaften?

Grundgedanken: Fünf Axiome (daraus sind anschliessend die frei Testgütekriterein Objektivität, Reliabilität und Validität ableitbar)

1. Jede Messung weist auch Messfehler auf. Die Messung setzt sich
zusammen aus „wahrem“ Wert und einem Störterm. Beispiel:
Menschliches Verhalten ist grundsätzlich stochastisch.

2. Messfehler streuen um den wahren Wert, wobei der Erwartungswert des
Messfehlers null beträgt. Das heisst: Bei wiederholten Testanwendungen
heben sich die Messfehler auf, der Mittelwert der Fehler ist gleich Null.
Zum Beispiel: willkürliches, zufällig erfolgendes falsches Ablesen der Zeit.
Systematische Fehler = Frageeffekte bei Befragungen (z.B. soziale
Erwünschtheit, beeinträchtigt die Validität).

3. Die Höhe des Messfehlers ist unabhängig vom Ausprägungsgrad des
getesteten Merkmals, d.h. wahrer Wert und Fehlerwert sind unkorreliert.

4. Die Höhe des Messfehlers zwischen zwei Messwertreihen ist nicht
korreliert. Beispiel: Messfehler bei den Motiven für Entscheid und dem
Inhalt der Vorlage korreliert nicht (könnte bei allg. Erinnerungsschwäche
aber so sein).

5. Der Messfehler einer Testanwendung ist unabhängig vom wahren Wert
einer zweiten Messung. Beispiel: Falschangaben bei der Teilnahme bei
Wahlen sollte nicht mit der

- Objektivität

- Reliabilität

- Validität

• Ergebnisse sollen unabhängig von der Person sein, welche die
Messung durchführt („Sind die Messergebnisse unabhängig von der
messenden Person?“).

• Vollständige Objektivität liegt dann vor, wenn – unabhängig von der
messenden Person – mit dem gleichen Testinstrument die gleichen
Resultate erzielt werden.

• Ein Objektivitätsmass ist der Korrelationskoeffizient, der bei
objektiven Messungen 1 oder zumindest nahe 1 betragen muss (z.B.
Korrektur der Prüfungsergebnisse).

• Zu unterscheiden sind Durchführungsobjektivität (DO) und
Auswertungsobjektivität (AO):

• DO: Verzerrungen, die durch die messende Person ausgelöst werden: z.B. Befragereffekte. Deshalb: standardisierte Befragungen (geringer Spielraum).
• AO: Verzerrungen, die bei der Auswertung entstehen (z.B. qualitative Bewertung eines Aufsatzes)

• Reliabilität ist ein Mass für die Reproduzierbarkeit von Messergebnissen
(„Misst das Instrument verlässlich, was es messen soll?“)

• Paralleltest: Messung mit zwei vergleichbaren Messinstrumenten (z.B.
Messung der Zeit mit analoger und digitaler Uhr). Problem: wirklich
parallele Tests zu finden.

• Test-Retest-Methode: wiederholte Messung mit demselben Instrument.
Setzt jedoch Stabilität des Messobjekts voraus (z.B. die Stabilität von
Einstellungen) und ein Paneldesign voraus (das Messobjekt muss
dasselbe sein). Meist: Unterschätzung, aber auch Überschätzung
möglich.

• Testhalbierung: Setzt sich ein Messinstrument aus mehreren Indikatoren
(z.B. Items bei einer Befragung) zusammen („Index“), können die Items in
zwei Hälften aufgeteilt werden, wobei die Korrelation der Messwerte der
zwei Messungen über ihre Reliabilität informiert.

• parallele, tau-äquivalente und
kongenerische Tests:

• Eine latente Variable wird durch je
drei Items gemessen.

• Paralleler Test: Die latente
Variable wirkt auf alle drei Items
gleich stark und die Störgrössen
ebenfalls.

• Tau-äquivalenter Test: Die latente
Variable wirkt gleich stark auf die
Items, aber die Störgrössen
wirken unterschiedlich.

• Kongenerischer Test: Latente
Variable und Störgrössen wirken
unterschiedlich.

• interne Konsistenz: Alle
Indikatoren eines aus mehreren
Indikatoren oder Items
bestehenden Messinstruments
messen dieselbe Dimension.

• Reliabilitätsschätzung auf der
Basis der internen Konsistenz:

• • Split-Half-Method: Korrelation der beiden Testhälften kann mittels Spearman-Brown die Reliabilität geschätzt werden.
• • Cronbach‘s Alpha: Der Mittelwert aller möglichen split-half-Koeffizienten

• Validität gibt an, ob das Instrument das theoretische Konstrukt misst,
das es messen soll („Misst das Instrument, was es messen soll?“).
Validität ist unabhängig von der Reliabilität oder der Objektivität.

• Nimmt man eine operationale Definition des theoretischen
Konstruktes vor („Intelligenz ist genau das, was der Intelligenztest
misst“), ist Validität zwar stets gegeben, aber nach wie vor unklar,
wofür das Konstrukt steht.

- Augenscheinvalidität (face validity): selbstevidente Messungen

- Inhaltsvalidität

- Kriteriumsvalidität

- Konstruktvalidität

• „Stichprobenmodell“: Angenommen wird einerseits eine unendliche
oder zumindest hohe Anzahl an möglichen Messinstrumenten
(Items, Indikatoren, etc.), aus denen eine repräsentative Stichprobe
gezogen wird.

• Angenommen wird ausserdem, dass das theoretische Konstrukt
mehrere, unterschiedliche Dimensionen aufweist.

• Inhaltsvalidität ist sodann gegeben, wenn eine genügend hohe Zahl
an repräsentativen Aspekten bei der Operationalisierung eines
Konzeptes berücksichtigt wurde.

• Beispiel: Der Intelligenztest im Sinne von Problemlösungsfähigkeit
misst nicht bloss die Rechenfertigkeit, sondern auch die Fähigkeit
des räumlichen Denkens, Artikulationsfähigkeiten, Logik, etc.

• Die Kriteriumsvalidität bezieht sich auf ein bestimmtes Aussenkriterium (in der
Regel eine vom eigenen Messinstrument unabhängiges, aber bewährtes
Messinstrument („benchmark test“)) und misst die Korrelation mit diesem
Aussenkriterium.

• Übereinstimmungsvalidität (gleicher Zeitpunkt, concurrent validity): siehe Beispiel oben. Aber auch: Umweltbewusstsein und Mitgliedschaft bei einer Umweltorganisation (Diekmann 2014: 259) oder Links-Rechts-Einstufung und Wahlverhalten.
• Vorhersagevalidität (unterschiedlicher Zeitpunkt, prognostische oder prädiktive Validität): In diesem Fall werden die Kriteriumsdaten zeitlich später erhoben und man misst die „Prognosekraft“ des Messinstruments. Beispielsweisel liessen sich die gemessenen Prüfungswerte von Absolventen des Methodenkurses mit ihrem späteren akademischen Erfolg (z.B. Abschlussnote) vergleichen. Hohe Übereinstimmung = hohe prognostische Validität.

• Problem: Selten ist einmal eine solche Kriteriumsvariable bekannt und wenn
ja, wozu denn eine neue Messung (Schnell, Hill & Esser 1999:150)?

Konstruktvalidität („Construct Validity“) nach Fiske und Taylor (1959):

– Konstruktvalidität gibt an, wie genau ein Messinstrument ein
spezifisches Konstrukt misst und nicht auch weitere, damit
verwandte bzw. gegensätzliche Konstrukte.

• Convergent validity ist ein Test, der belegen soll, dass Konstrukte, die mit dem eigenen Konstrukt nahe verwandt sind, auch empirisch stark mit diesem korrelieren (Beispiel: politisches Interesse, politisches Wissen, politische Involvierung).
• Discriminant validity ist ein Test, der belegen soll, dass Konstrukte, die mit dem eigenen Konstrukt nichts oder nur wenig zu tun haben, damit auch nicht korrelieren (liberal/ konservativ vs. „links/rechts“).

– Überprüfung mit Multitrait-Multimethod-Matrizen.

• Reliabilität und Objektivität sind notwendige, aber nicht hinreichende
Bedingungen für Validität.
• Ein Messinstrument ist umso reliabler, je weniger zufällige Fehler die
Messung beeinflussen.
• Ein Messinstrument ist um so valider, je weniger systematische
Fehler die Messung beeinflussen.