Vorlesung Methoden 6 - WiSe

- Zählen 

- Urteilen 

- Testen 

- Befragen

- Beobachten

Messwert für komplexes Merkmal (z.B. Aufsatzqualität bestehend aus verschiedenen Teilmerkmalen wie Rechtschreibung, Ausdruck, Inhalt etc.): gewichtet/ungewichtet, additiv/multiplikativ etc.

Stimmqualität, Weinqualität, künstlerisches Vermögen

1. Direkte Rangordnung (mit oder ohne Verbundränge): schwierig bei vielen Objekten, weniger genau als Paarvergleich 

2. Methode der sukzessiven Intervalle: wenn zu viele Objekte --> in Untergruppen sortieren lassen 

3. Law of categorial judgement: Nimmt (normalverteilte) Fluktuationen von Beurteilungen an: schwankende Rangkategoriegrenzen
- Verfahren: mehrere Rangurteile erheben (within/between subjects), z-standardisierte relative Häufigkeiten lassen sich dann sogar in Intervallskalenniveau „hochskalieren“

Law of comparative judgement (Thurstone, 1927):
Annahme: Empfindungsstärken um wahren Wert normalverteilt
Erstellung einer Intervallskala über z-standardisierte relative Häufigkeiten (kleinster z-Wert wird auf Null gesetzt)

Unterschiede: 

- einmal Beurteilungen und einmal Empfindungsstärken 

- letzteres basierend auf Paarvergleich und ersters auf Rangordnungen

- letzteres: Präferenzhäufigkeiten werden in relative Häufigkeiten transformiert und diese in z-Werte

Dominanzpaarvergleich: Vorlage von je zwei Objekten: „Welches dominiert (hinsichtlich eines Merkmals, z.B. Schönheit)?“

--> Dominanzmatrix

Optimal: vollständiger Paarvergleich

Nachteil: kann bei vielen Objekten ausufern, besonders „mit Messwiederholung“ bzgl. individueller Paarvergleiche

indirekte Rangordnung --> ergibt sich aus Anzahl der „Dominanzen“, verlässlicher als direkte Rangordnung

- zirkuläre Triaden: (A>B, B>C, aber C>A) 

- intransitive Urteile (A>B, aber B>A) 

Konsistenz: Widerspruchsfreiheit der Einzelurteile eines Beurteilers

Konkordanz: Übereinstimmung zwischen Beurteilern

- Ähnlichkeitspaarvergleich: Beurteilt werden soll globale Ähnlichkeit zwischen zwei Objekten (oder Paaren von Objekten), um relevante Merkmalsdimensionen nicht vorwegzunehmen, sondern erst zu extrahieren, z.B. MDS (mehrdimensionale Skalierung), NMDS (non-metrische MDS)
Beispiel: Ähnlichkeitsurteile bzgl. Berufe ergibt dreidimensionale Struktur (Unabhängigkeit, Prestige, Skill)

- Unterschied zum Dominanzpaarvergleich: Nicht Ähnlichkeit, sondern Dominanz hinsichtlich eines Merkmals steht im Vordergrund

SDT als Urteilsverfahren zur Trennung von sensorischer Diskriminationsfähigkeit (d‘) und Reaktionsschwelle (bias)

- uni - oder bipolar

- Verankerung: numerisch/verbal/symbolisch

- graphisches Rating? 

- Stufenanzahl (viel/wenig, gerade/ungerade)

Halo-Effekt, Milde/Härte, Extrem- oder zentrale Tendenz, Primacy/Recency, Ähnlichkeit/Kontrast zwischen Rater/Ratee, Self-Serving-Bias, Baseline-Error/Neglect (bei Auftretenswahrscheinlichkeiten)

- spezifisches Ratingverfahren zur Erfassung von konnotativer Bedeutungen von Objekten (Einordnung eines Begriffes mit zwei sich gegenüberstehenden Adjektiven als Anker, z.B. weich - hart)

- wird zum Beispiel bei Grid-Technik in der Persönlichkeitspsychologie verwendet

KTT (=Klassische Testtheorie)

- Testergebnis = wahre Merkmalsausprägung bei Person plus unabhängiger/unsystematischer Messfehler --> die meisten Tests beruhen auf KTT

PTT (=Probabilistische Testtheorie)

- Wahrscheinlichkeit einer Itemantwort basiert auf latent vorhandener Merkmalsdimension („Welche Merkmalsausprägung ist bei bestimmten Itemantworten am wahrscheinlichsten?“)
-->Betonung des engen Zusammenhangs zwischen Item-Lösungswahrscheinlichkeit und Person-Fähigkeit: logistische item characteristic curves (s. Abb.)
-->PTT-basierte Tests sind oft besser, da Hintergrundannahmen besser geprüft werden (Tauglichkeit der Items bzgl. ihres diagnostischen Werts)
-->gut nutzbar bei variabler Itemschwierigkeitsowie für adaptives Testen

Thurstone: Experten erhalten ausgewählte Items zu einer Dimension (z.B. „Ich besuche die Vorlesung nur sehr ungerne“, „Ich schaffe es vor lauter Interesse kaum, am Ende den Saal zu verlassen“) und sollen diese jeweils auf einer Skala von -5 bis +5 (Vorlesung gefällt gar nicht bis Vorlesung gefällt ausgezeichnet) einstufen. Jedes Item erhält so einen Mittelwert (= Skalenwert), Items mit hoher Standardabweichung (z.B. s > 1,5) werden entfernt. Der Wert einer mit dieser Skala getesteten Person entspricht der Summe der Skalenwerte der bejahten Items.

Likert: Behauptungen werden gesammelt und je von Eichstichprobe (statt Experten) bezüglich Skala von 1-5 („trifft eindeutig zu“ … „trifft eindeutig nicht zu“) eingestuft, wenig trennscharfe Items werden aussortiert (ansonsten ähnlich zu Thurstone)

Testskalengüte: 

- interne Konsistenz/Homogenität (Iteminterkorrelation) 

- Dimensionalität (z.B. Faktorenanalyse) 

Itemgüte: 

- Itemschwierigkeit (Anteil korrekter Lösungen) 

- Trennschärfe (Korrelation Item-Gesamtscore)

- Cronbach's alpha (= Maß für die interne Konsistenz)

- Verfahren, das sukzessive überprüft, inwieweit Ja/Nein-Antworten die Forderungen der Eindimensionalität eines Merkmals erfüllen

- erfordert, dass (z.B. zu mind. 90%) eine Person mit höherer Merkmalsausprägung mind. diejenigen Items löst/bejaht, die eine Person mit geringerer Ausprägung löst/bejaht

- Mündlich: Standardisierungsgrad; hart / weich(bzgl. Autorität des Befragers), Face-to-face vs. Telfon; Einzel / Gruppe

- Schriftlich: Fragenauswahl; Fragenformulierung; Fragebogenaufbau; Postalisch / Mail;

= hochstrukturierte Gruppenkommunikation zur Optimierung der Problemlösung (Vorteil gegenüber Gruppendiskussion/Brainstorming durch Anonymisierung der Beiträge und Verhinderung von Priming-Effekten, die zur Beitragseinengung führen)

= systematisches, mehrstufiges Befragungsverfahren mit Rückkopplung und Schätzmethode

- Alttagsbeobachtung vs. systematische Beobachtung (frei/(halb-)standardisiert

- Beobachtungskriterien: Relevanz, Definitionen, Protokoll

- teilnehmend/nicht teilnehmend

- offen/verdeckt 

- Selbst-/Fremdbeobachtung

- Ereignis-/Zeitstichprobe 

-Abweichungen von Linearität (--> Möglichkeit bei Auswahl statistischer Modelle und Verfahren beachten)

-Ausreißer (Ursache: Methode der kleinsten Quadrate --> Lösung: Statistik, die nicht auf quadrierten Abweichungen beruht)

-Unterbrochene Verteilung:

Extremgruppen führen zu Überschätzung eines Zusammenhangs (ODER

Range-Einschränkungen können zur Unterschätzung von Effekten führen
(prinzipiell ist auch eine Überschätzung denkbar)

- Einschränkung des Wertebereichs (siehe oben)

- Heterogene Unterstichproben