Methodenlehre Psychologie

Wie wahrscheinlich ist das zufällige Zustandekommen eines Stichprobenkennwerts? 

Ist er wahrscheinlich handelt es sich um eine Zufallsannahme, ist er weniger wahrscheinlich kann die Zufallsannahme verworfen werden und die Gegenhyoothese angenommen werden 

- Fragestellung: Wie wahrscheinlich ist es, dass bei zufälliger Betrachtung von 100 Studenten 10 depressiv sind?

- wenn man nun die Depressionsrate der Population kennt, kann man mit der Binomialverteilung arbeiten

???

- wenn ich n- mal mit einer Münze werfe, ist die Wahrscheinlichkeit, dass k-mal "Kopf" fällt gleich p 

- besagt wie wahrscheinlich unter Zufallsannahme das Auftreten eines Stichprobenkennwertes ist oder ein extremerer Wert zu erwarten wäre 

- wenn p kleiner als alpha (z.B. = 5%) dann statistisch signifikanter Effekt 

JA!

Problem: Wie gewinne ich mit ca. 95% Wahrscheinlichkeit im Casino 10 Euro?

Lösung: z.B. Martingale / Verlustprogression:

1. im ersten Durchgang mit Eingangsbetrag anfangen (10 Euro) 
2. a) wenn gewonnen nach Hause gehen, sonst b) im zweiten Durchgang doppelten Betrag setzen (20 Euro) 
3. genauso weiter verfahren (schlimmstenfalls im 5. Durchgang 160 Euro setzen und beten...)

Nachteil:

- Interaktion von drei Variablen: Gewinnwahrscheinlichkeit (96,89%),  Gewinnhöhe (10 Euro), aber leider auch: Maximalrisiko (310 Euro)

- bei unendlich vielen Durchgängen: Nullsummenspiel (wenn das Casion nicht an der grünen "0" verdienen würde---) 

- Bootstrapping heißt aus den eigenen Stichprobendaten durch künstliche, immer neu gezogene Stichprobenzusammenstellungen (Resampling) eine Testverteilung basteln

- alle 10 Werte (n) in einen Hut werfen 

- möglichst oft zufällig die Werte auf zwei Gruppen aufteilen (oder alle möglichen Anforderungen erstellen= Permutationstest) und jeweils die Mittelwertsdifferenz berechnen (zur Erstellung einer Stichprobenkennwertverteilung: Abtragen, mit welcher relativen Häufigkeit welche Mittelwertsdifferenz vorkommt)

- Gehört die konkrete Mittelwertsdifferenz (=1.2) zu den 5% extremsten (=unwahrscheinlichsten) Mittelwertsdifferenzen unter Zufallsannahme?

- Wie wahrscheinlich ist eine konkrete Hypothese wahr auf der Basis eines Datenmusters?

- (bei NHST: wie wahrscheinlich ist das Auftreten eines Stichprobenkennwerts unter Zufallsannahme?)

- Typischerweise hat eine Hypothese eine bestimmte Wahrscheinlichkeit bereits vor der Untersuchung, die sich dann angesichts der Daten eines Experiments verändert

- auch geeignet, um zwei konkurrierende Modelle / Hypothesen gegeneinandner "antreten" zu lassen 

- Datentyp (qualitativ / quantitativ)

- Variablenanzahl (UV)

- Zusammenhang vs. Unterschied?

- Abhängige vs. unabhängige Messungen 

- Beispiel: Type od data (D), quantitative measurement, type of question (Z), differences, number of groups, multiple, relation between samples (A), independent, number of independent variables, multiple --> factorial ANOVA

--> um gesichtertes Wissen über Studien hinweg zu erreichen, sind statistische Metaanalysen sinnvoll

• Sammeln und Kategorisieren vin unabhängigen Experimenten / Studien 
• Bestimmung von Stichprobengröße und Effektgröße 
• Einbezug von Studien, die keinen Effekt gefunden haben 
• Errechnung einer "Über-Alles"- Effektgröße (inkl. Signifikanztest) 

- File-drawer-Problem / Publication bias: signifikante Studien werden oft selektiv berichtet, nicht-signifikante Befunde fallen unter den Tisch 

- Garbage-in-garbage-out Problem (Wie viel taugen die einzelnen Studien?)

- Apple-pears-Problem (Vergleichbarkeit der Studien gegeben?)

- geeignet für die Testung mehrerer UVn

- z.B. Testung von Einfluss des Geschlechts und Rauchgewohnheiten auf Intelligenz 

- zwei Haupteffekte und eine Interaktion

- diese Fragen kann die multifaktorielle Varianzanalyse (two way) beantworten (im Gegensatz zur unifaktoriellen, one way)

1. Varianzhomogenität: die Population hat in allen Bedingungen die jeweils gleiche Varianz (Homoskedastizität)
2. Normalverteilung: der Population in jeder Bedingung
3. Unabhängigkeit aller Beobachtungen 

- Quadratsummenzerlegung

- Freiheitsgradbestimmung

- Vergleich mit F-Tabellierung (Verteilung von F wenn H0 wahr)

Nein, die totale Varianz wird berechnet durch:

- quadrierte Abweichung aller Werte vom Gesamtmittelwert --> jeweils berechnen und dann aufsummieren

- das ergibt die Quadratesumme der totalen Varianz

- letztlich durch df (=Anzahl aller Werte minus eins) teilen 

- Zähler einer Varianz: Quadratesumme

- Nenner der Varianz: df

- Zähler: Quadratsumme von 2,3 ist 4+9=13

- Nenner: bei 3 Werten und gegebenem Mittelwert sind 2 Werte beliebig wählbar, der letzte ergibt sich automatisch (unfrei), daher df 2 

F(3,16)=12.41, p< 0.05 für: 

- Errechnung der Stichprobenstatistik "F": Treatmentvarianz / Fehlervarianz 

- (hier: F= (70/3) / (30/16) = 12.41)

- Nachschauen des kritischen F-Werts bei gegebenen Zähler- (hier: 3) und Nenner- (hier: 16) Freiheitsgraden für a=5% --> Fkrit(3,16) = 3.24 

- da der empirische F-Wert > Fkrit, ist eine 12,5x größere Treatmentvarianz im Vergleich zur Fehlervarianz aufgrund der H0 nicht wahrscheinlich zu erwarten, daher wird die H0 abgelehnt: mindestens zwei Mittelwerte zwischen den Gruppen unterscheiden sich signifikant 

- die AV ist keine Häufigkeit bei ANOVA, sondern intervallskalierte Variable

- getestet wird bei der ANOVA nicht nur die Interaktion, sondern auch die beiden Haupteffekte

- Ipsative Daten erstellen bedeutet, die Werte so zu ändern, dass die Mittelwerte pro Proband null sind

- im Gegensatz zur ANOVA für unabhängige Stichproben muss wegen der Umwandlung in ipsative Daten für jeden Proband ein df abgezogen werden, da der jeweilge Pbn-Mittelwert ja auf 0 fixiert wird und dadruch jeweils ein Wert weniger frei ist 

Multivariate ANOVA (>1 AV):

- die Daten der verschiedenen Messzeitpunkte werden als verschiedene AVn behandelt --> beide Prozeduren können daher zu verschiedenen Ergebnissen führen (z.B. gibt SPSS standardmäßig immer beide Ergebnisse aus) 

Linear mixed effect models:

- gewinnen zunehmend an Popularität 

- normale Annahme bei ANOVAs: UV als "fixed effect" (bedeutet Stufen der UV sind festgelegt und würden bei Replikation des Experiments genau gleich sein, z.B. Geschlecht)

- hier neu: UV als "random effect" spezifizierbar: Stufen der UV sind nicht festgelegt, sondern eine Zufallsauswahl (z.B. Wortfrequenzeffekt): konkret ausgewählte Wörter könnten in einem nächsten Experiment ganz anders sein

- erlaubt auch Multilevel-Analysen: (Schüler- Klasse- Stadt- Bundesland)

- kann besser mit missing data und Sphärizitätsverletzungen umgehen als Messwiederholungs-ANOVA

- vier Haupteffekte

- sechs Interaktionen 

- (?)

... funktioniert im Prinzip wie bi der einfaktoriellen ANOVA, z.B. bei zwei Faktoren:

- Berechnung von QS(tot): wie gehabt (df=N-1)

- Berechnung von QS(Treatment des Faktors 1): so als ob Faktor 2 nicht existiert (df= Faktorstufen-1)

- Berechnung von QS(Treatment des Faktors 2): so als ob Faktor 1 nicht existiert (df= Faktorstufen-1)

- Berechnung von QS(error): summierte quadrierte Abweichungen der Einzelwerte von ihrem Zellenmittel (df= N-Zellenanzahl)

- was noch übrig bleibt bis zur QS(tot), wenn man die letzten drei QS addiert, entspricht QS(Interaktion): df= df(Treat1)*df(Treat2)

--> für den jeweiligen F- Bruch setzt man dann die jeweils interessierende MS ins Verhältnis zu MS(error)

- ordinale Interaktion: eine EHE größer als der andere, aber beide in gleicher Richtung 

- disordinale Interaktion: ein EHE in anderer Richtung als der andere --> beim Vorliegen disordinaler Interaktionen sind die Haupteffekte nicht mehr sinnvoll zu interpretieren 

- hybride Interaktionen: ordinal bzgl. einer und disordinal bzgl. der anderen Variablen 

Effektstärken

- Effektstärken müssen zur Hypothesenbeurteilung immer mitberücksichtigt (und mitberichtet) werden!

- für ^{_{Haupt- und Interaktionseffekte}} (Varianzanteile, als sog. r-Maße): 

1. n^2/w^2 (Schätzer für Anteil der jeweiligen QS an QStot) wie bei One-way ANOVA
2. Partielles n^2/w^2: im Nenner nicht die gesamte Varianz, sondern die Summe aus der interessierenden Treatment- plus der Fehlervarianz 

- Idee: partielle Maße sind unabhängig davon, wie viele zusätzliche Faktoren in Experiment / ANOVA vorhanden 

- für einzelne Kontraste:

- d-basierte Effektmaße (wie bei t-Tests)

Funktionen ANCOVA:

- ANCOVA zur post hoc-Kontrolle von Störvariablen (z.B. Herausrechen des Alters) 

- ANCOVA zur Teststärkenerhöhung 

Vorgehen

- Regression rechnen, bei der man aufgrund der Kovariate (z.B. Alter), die AV (z.B. Lernleistung) vorhersagt

- Originaldaten der AV durch Residuen ersetzen (also den Teil, der nicht schon durch das Alter vorhergesagt / erklärt wird)

- ANOVA über die Residuen rechnen (--> Auspartialisieren der Variable "Alter") 

Berücksichtigung der Qualität von: 

• Operationalisierung
• SV-Kontrolle
• Stichprobe (Generalisierbarkeit)
• Versuchsplan
• Hypothese (Hintergrundwissen) 
• statistische Verfahren 

Gütekriterien des Experiments (bzgl. o.g. Aspekte)

• interne Validität bzw. CP-Validität (SV-Kontrolle?)
• externe Validität (Generalisierbarkeit bzgl. Probanden/Situationen?)
• Konstruktvalidität (bzgl. UV/AV?)
• statistische Validität (Angemessenheit der eingesetzten statistischen Prozeduren zum Schluss auf die Sachhypothese?)

- Diskussion möglicher Ursachen erwartungskonträer Ergebnisse

- Verbesserungsvorschläge für die Zukunft

- neue interessante Fragestellungen?

- Fazit: Was wissen wir jetzt mehr?

- Modelle helfen, komplexe Daten und Zusammenhänge verstehbar zu machen 

- Beispiele für Modelloptionen:

• mathematisch / komputational
• metaphorisch / konzeptionell 
• Modell, das empirische Vorhersagen erlaubt (falsifizierbar) vs. Modell, das Vokabular zum Reden über einen Gegenstandsbereich zur Verfügung stellt (analytisch)
• Box / Arrow
• neuronale Netze 

- Nein, aber sie versuchen die Realität so annähernd wie möglich abzubilden

- Bericht --> dient der Veröffentlichung des Experiments

KRITERIEN

- Standardisierung (z.B. APA-Regeln)

- Reproduzierbarkeit möglichst perfekt gewährleisten

- Transparenz (bzgl. aller Entscheidungen & Argumente)

- Einfachheit, Eindeutigkeit & Verständlichkeit 

GLIEDERUNG

- Titel/ Autor/ Schlüsselwörter/ Zusammenfassung (Abstract)

- Einleitung & theoretischer Hintergrund

- Methode (Probanden, Apparatur & Materialien, Versuchsplan, Durchführung) 

- Ergebnisse

- Diskussion

- Literaturverzeichnis (References) 

PUBLIZIEREN

1. Manuskript erstellen (APA-style)
2. Journal wählen 
3. Editor bei Journal überfliegt Paper: prinzipiell geeignet? 
4. Editor wählt Experten als Gutachter: Peer-review-Prozess 
5. Editor wägt aufgrund Reviews ab, ob Ablehnung (80% der Fälle) oder Überarbeitungsmöglichkeit 
6. Autoren überarbeiten und gehen "point-by-point" auf alle Review-Anmerkungen ein, revidiertes Manuskript inkl. "point-by-point-responses" geht wieder an Gutachter
7. Prozessschritt 6 wiederholt sich bis endgültige Ablehnung/ Acceptance (typisch: 3 Runden)
8. Paper ist erst "in press" (nach Korrekturlesen), dann publiziert (mit Jahreszahl, Volume-Nummer und Seitenzahl)
9. Paper wird hoffentlich von Kollegen rezipiert 

"Impact factor" (IF) eines Journals: 

- wie oft ein Paper in dem Journal im Schnitt pro (Referenz-)Jahr zitiert wird (Modalwert typischerweise = 0!) --> relevante Spanne: 2 oder 5 Jahre vor Referenzjahr 

- Beispiel: "experimentelle Grundlagenpsychologie": 

• IF zwischen 1-2 ist "Mittelklasse"
• über 2 "Spitzenklasse"
• über 4 "Top Journal" 
• aber z.T. ganz andere Referenzwerte für angewandte Psychologie, Neuropsycholohie etc.!

- IF nicht nur von Qualität abhängig, sondern auch von Journaltyp (z.B. Journals, die Übersichtsarbeiten publizieren, grundsätzlich häufiger zitiert) 

- Probleme: Selbstzitationen, Maßnahmen von Journals zur IF-Erhöhung etc. 

Peer-review-Prozess:

- Editor (meist ehrenamtlich arbeitender Wissenschaftler) wählt Experten als Gutachter (typ. 2-3 ehrenamtliche Reviewer)

- peer-review als Qualitätskriterium 

- Google Scholar

- Harzing's Publish or Perish 

- Thomson Reuters Journal Citation Reports