Vorlesung Methoden 11 - WiSe

Berücksichtigung der Qualität von 

- Operationalisierung

- SV-Kontrolle

- Stichprobe (Generalisierbarkeit)

- Versuchsplan

- Hypothese (Hintergrundwissen)

- statistische Verfahren inkl. Signifikanz & Effektgröße

- Gütekriterien des Experiments

• Interne bzw. CP-Validität (SV-Kontrolle?)
• Externe Validität (Generalisierbarkeit bzgl. Probanden/Situationen?)
• Konstruktvalidität (bzgl. UV/AV?)
• Statistische Validität (Angemessenheit der eingesetzten statistischen Prozeduren zum Schluss auf die Sachhypothese?)

 
- Diskussion möglicher Ursachen erwartungskonträrer Ergebnisse

- Verbesserungsvorschläge für die Zukunft

- neue interessante Fragestellungen?

Wozu? 

- Modelle helfen, komplexe Daten und Zusammenhänge verstehbar zu machen

Welche Arten kann man unterscheiden? 

- Mathematisch/Komputational

- Metaphorisch/Konzeptionell

- Modell, das empirische Vorhersagen erlaubt (empirisch falsifizierbar) vs. Modell, das Vokabular zum Reden über einen Gegenstandsbereich zur Verfügung stellt (analytisch)

- Box/Arrow

- Neuronale Netze

- sie versuchen es zumindest 

- auch abhängig davon, ob man überhaupt eine vom Individuum unabhängige Realität annimmt 

- Annäherung an die Realität

• Standardisierung (z.B. APA-Regeln, siehe z.B. http://www.uwsp.edu/psych/apa4b.htm)
• Reproduzierbarkeit möglichst perfekt gewährleisten
• Transparenz (bzgl. aller Entscheidungen & Argumente)
• Einfachheit, Eindeutigkeit & Verständlichkeit

- Titel/Autoren/Schlüsselwörter/Zusammenfassung (Abstract) 

- Einleitung & theoretischer Hintergrund 

- Methode (Probanden, Apparatur & Materialien, Durchführung, Versuchsplan) 

- Ergebnisse 

- Diskussion 

- Literaturverzeichnis (References)

1. Manuskript erstellen (APA-style) 

2. Journal wählen 

3. Editor (meist ehrenamtlich arbeitender Wissenschaftler) bei Journal überfliegt Paper: Prinzipiell geeignet?
 
4. Editor wählt Experten als Gutachter (typ. 2-3 ehrenamtliche Reviewer):  Peer-review-Prozess (peer review als Qualitätskriterium)
 
5. Editor wägt aufgrund Reviews ab, ob Ablehnung (oft ca. 80% der Fälle!) oder Überarbeitungsmöglichkeit („revise & resubmit“)
 
6. Autoren überarbeiten und gehen „point-by-point“ auf alle Review-Anmerkungen ein, revidiertes Manuskript inkl. „point-by-point responses“ geht wieder an Gutachter
 
7. Prozessschritt 6 wiederholt sich bis endgültige Ablehnung/Acceptance  (typisch: 3 Runden)
 
8. Paper ist erst „in press“ (nach Korrekturlesen), dann publiziert (mit Jahreszahl, VolumeNummer und Seitenzahlen)
 
9. Paper wird hoffentlich von Kollegen rezipiert (= zitiert, die meisten Papers allerdings nicht…); Maß: Zitationshäufigkeit (vgl. Google Scholar, Harzing‘s Publish or Perish, Thomson Reuters Journal Citation Reports etc.) --> number of citations als Qualitätskriterium für Papers/Autoren (allerdings gibt es vielfältige Validitätslimits!)

• Wie oft ein Paper in dem Journal im Schnitt pro (Referenz-)Jahr zitiert wird (Modalwert typischerweise = 0!) relevante Spanne für Papers: 2 oder 5 Jahre vor Referenzjahr Beispiel „experimentelle Grundlagenpsychologie“: 
• IF zwischen 1-2 gilt manchmal als „Mittelklasse“, über 2 „Spitzenklasse“, über 4 „Top Journal“ (aber: z.T. ganz andere Referenzwerte für angewandte Psychologie, Neuropsychologie etc.!)
• IF nicht nur von Qualität abhängig, sondern auch von Journaltyp (z.B. Journals, die zu einem Thema Übersichtsarbeiten (Reviews zum Forschungsstand) publizieren, werden typischerweise häufiger zitiert (--> hoher IF))