WAAF 2 7-14

A/B Testing (online auch Split Testing) ist ein Verfahren, um eine oder mehrere Varianten von Webartefakten zu vergleichen. Das Verfahren bedient sich experimenteller Methoden (Randomisierte Zuteilung, Variation der unabhängigen Variablen und statistische Tests zwischen den Gruppen bzgl. Auswirkungen auf die abhängige Variable).

z.b.

• eCommerce (z.B. Kaufentscheid (Konversionsraten), Lagerbestände anzeigen)
• Online-Marketing (z.B. Optimierung von Bannerwerbung oder Click-Through-Rates)

Nachteile:

• Komplexe Versuchsanordnungen entstehen je nach Kontext sehr rasch
• Simultane Massnahmen (z.B. Marketingkampagnen) gleichzeitig im Feld im Einsatz
• Hintergründe des Verfahrens setzen Grundkenntnisse statistischer Methoden voraus
• Störvariablen vielfältig

Schritte

1. Experiment Setup vollständig konkretisieren (z.B. Sampling, Conceptual Model, faktorielles Design) inkl. Festlegung von Kontroll- und Experimentgruppen (Manipulation)

2. Pre-Test durchführen -> Anpassungen vornehmen

3. Datenerhebung -> Anschliessend weiter zur Analyse / Auswertungsphase übergehen

WAAF:

Wenn ich einen statistischen Test durchführen will, muss ich vorher wissen, ob meine Daten normalverteilt sind oder nicht. Sind sie normalverteilt, so kann ich einen parametrischen Test verwenden. Sind sie es nicht, so muss ein nichtparametrischer her. Für den Vergleich zweier Gruppen wäre das bei Normalverteilung der berühmte t-Test. Wenn keine Normalverteilung vorliegt, der Mann-Whitney-U Test.

nicht parametrisch: Analysieren -> Nicht parametrische Tests -> Unabhänige Stichproben NPAR TESTS

parametrisch: Analysieren -> Mittelwerte vergleichen -> T-Test für unabhänigige Stichproben T-TEST GROUPS= unabhängige Variable

Zu lesen:

1. Levene nicht signifikant Varianzen unterscheiden sich nicht

2. T-Test ist zweiseitig signifikant mit 0.016 und liegt damit über (übererfüllt Anforderung

5%) bzw. unter (Wert kleiner 0.05) dem «ülichen» Signifikanzniveau von 5% (0.05)

Hypothesen prüfen

1. Signifikante Unterschiede (Ja/Nein)

2. Hypothese annehmen oder ablehnen

(hypothetisierte Zusammenhänge UV (Manipulation) / AV)

3. Schlussfolgerung / Handlungsempfehlung daraus

-

Nominalskala: kategorial Variablen -> 1=weiblich 2= männlich mögliche Eigenschaft: = /nicht gleich

Ordinalskala: Reihenfolgen möglich -> 1= bis 24J.; 2= 25 J.bis 34 J.; 3= 35J.-50J. mögliche Eigenschaft: = /nicht gleich; </>

Intervallskala: Temperatur, Noten, IQ, mögliche Eigenschaft: = /nicht gleich; </>; +/-

Verhältnisskala: Verhältnisse können gebildet werden. zb Länge, Alter, Gewicht -> Wie alt sind Sie? ___Jahre; mögliche Eigenschaft: = /nicht gleich; </>; +/-; */:

Normalverteilung: Die Normalverteilung ist ein Verteilungsmodell der Statistik. Ihr Kurvenverlauf ist symmetrisch, Median und Mittelwert sind identisch. Die Normalverteilung findet häufig bei großen Grundgesamtheiten ihre Anwendung

Mean=Mittelwert

Modus:Er ist der häufigste Wert, der in der Stichprobe vorkommt und hat im Gegensatz zu anderen Lagemaßen den Vorteil, dass er immer existiert.

Median:  Zentralwert ist ein Mittelwert in der Statistik und ein Lageparameter. Der Median einer Auflistung von Zahlenwerten ist der Wert, der an der mittleren (zentralen) Stelle steht, wenn man die Werte der Größe nach sortiert.

Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Sie werden insbesondere verwendet, wenn Zusammenhänge quantitativ zu beschreiben oder Werte der abhängigen Variablen zu prognostizieren sind.

Quartil

Aufteilung nach 25, 50, 75 und 100% aller Beobachtungen

1. Quartil = 25%, 2. Quartil = 50%, 3. Quartil = 75%, 4. Quartil = 100%

Interquartilsabstand (siehe Boxplot): Differenz zwischen 1. und 3. Quartil

Spannweite: Höchster beobachteter Wert - tiefster beobachteter Wert

Perzetil: Perzentile sind inhaltlich analog zu den Quartilen.

Das Perzentil jedoch eine beliebige Prozentzahl annehmen. P₄₀ (40% der beobachten Werte liegen unterhalb dieses Wertes)

 Ausreissser: Nicht mögliche Angaben, Unsinnige Angaben

Varianz ist die Streuung um den Mittelwert und durchschn. quadrierte Abweichung vom Mittelwert

Standardabweichung: Wurzel aus der obigen Varianz. Eine Stand.ab. 68%; zwei Standabw.95% Drei Standabw.=99%

Varianzanalyse (Analysis of Variance ANOVA)

Mehrere Gruppen gleichzeitig analysieren

Unterscheiden sich die Varianzen zwischen den Gruppen oder nicht

Gibt es Unterschiede zwischen Smartphonemodell und studentischer Leistung?

• Listenweiser Ausschluss
• Paarweiser Ausschluss
• lobales Ersetzen mit dem Mittelwert
• Lokales Ersetzen mit dem Mittelwert/Median
• Lineare Interpolation
• Linearer Trend am Punkt

Umkodieren

• Alter (metrisch) zu Altersklassen (z.B. der Vergleichbarkeit mit anderen Studien wegen) -> SPSS (Umkodieren in andere Variable / Umkodieren in dieselben Variablen)
• Berechnung eines Totals (z.B. Vertrauen-Items 1-3 zu Vertrauen-Total) -> (Item 1 + Item 2 + Item 3) / 3 = Vertrauen Total (als Konstrukt aus 3 Items)

Transformieren

• Median Split -> Erzeugung einer Dummy Variable (z.B. Kauf Dummy Variable aus Kaufabsicht)
• I SPSS: Transformieren -> Umcodieren in andere Variable

Eine binäre Variable mit den Ausprägungen 1 und 0 (ja-nein-Variable), die als Indikator für das Vorhandensein einer Ausprägung einer mehrstufigen Variablen dient

•  Mehrere Variablen für Haustier (Hund, Katze …)
  •  Dummy Variable z.B. Haustier Ja/Nein
  •  Umkodieren: Wenn Haustier vorhanden, dann 1, sonst 0
  •  Analysen mit Dummyvariable (z.B. als AV) machen

f

Nullhypothese (h0): Es gibt keinen Produktivitätsunterschied zwischen OEC / WIN Studierenden.

Alternativhypothese (h1 / h A): Es gibt einen Produktivitätsunterschied.

Bei Tests (Hypothesentests) wird nun die Nullhypothese überprüft und je nach Testergebnisse angenommen (Hypothesentest signifikant) oder abgelehnt (Hypothesentest nicht signifikant) und damit die Alternativhypothese angenommen.

Muss bei allen Tests festgelegt werden (ex ante). Wird in aller Regel mit dem griechischen Buchstaben Alpha angegeben (=0.05 5% Signifikanzniveau). Bei 5% der Tests lehnen wir die Hypothese ab, obwohl diese richtig gewesen wäre (Fehler 1. Art).

So bedeutet α = 0 , 05 {\displaystyle \alpha =0{,}05} : Falls die Nullhypothese richtig ist, darf die Wahrscheinlichkeit dafür, dass sie fälschlich abgelehnt wird (Fehler 1. Art), nicht mehr als 5 % betragen.

Ergibt die Anwendung des statistischen Verfahrens, dass der geprüfte beobachtete Unterschied statistisch nicht signifikant ist, kann man daraus keine definitiven Schlüsse ziehen. Auch ist in diesem Fall meist noch nicht einmal die Wahrscheinlichkeit eines Fehlers 2. Art (Pr ( H 0 | H ¯ 0 ) = β {\displaystyle \operatorname {Pr} (H_{0}|{\overline {H}}_{0})=\beta } ) bekannt, eine falsche Nullhypothese für richtig zu halten.

r= Korrelationskoeffizient

0.1= Schwacher Effekt

0.3= Mittlere Effekte

0.4= Starke Effekte

Eine Beziehung zwischen zwei oder mehreren Merkmalen, Ereignissen, Zuständen oder Funktionen. Zwischen Merkmalen, Ereignissen oder Zuständen braucht keine kausale Beziehung zu bestehen: manche Elemente eines Systems beeinflussen sich gegenseitig nicht; oder es besteht eine stochastische (= vom Zufall beeinflusste) Beziehung zwischen ihnen.

Regression

Methode der kleinsten Quadrate (Ordinary Least Square)

Abstände der Kurve zu den Datenpunkten wird minimiert

Regressionsgerade wird durch die Datenpunkte gelegt, so, dass es am besten passt bzgl.

Abweichung (OLS).

Dient dazu, aus empirischen Beobachtungen vieler verschiedener manifester Variablen (Observablen, Statistische Variablen) auf wenige zugrunde liegende latente Variablen („Faktoren“) zu schließen. Die Entdeckung dieser voneinander unabhängigen Variablen oder Merkmale ist der Sinn des datenreduzierenden (auch dimensionsreduzierenden) Verfahrens der Faktorenanalyse.

Die Faktorenanalyse ist ein universell einsetzbares Werkzeug, um von den sichtbaren Erscheinungen auf die diesen Erscheinungen zugrunde liegenden unbeobachtbaren Ursachen zu schließen. So sind zum Beispiel Konstrukte wie „Intelligenz“ oder „Ehrgeiz“ nicht messbar, werden aber als Ursache vieler Verhaltensweisen angesehen. Allerdings setzt die Faktorenanalyse, um keine fehlerhaften Ergebnisse zu liefern, für die verwendeten Daten mindestens Intervallskalenniveau voraus.

Moderation:

• Lineare Regression verwenden mit standardisierten Variablen
• Interaktionstherm bilden
• Anlyse inwiefern R-Squared sich ändern
• Entscheid über moderierenden Effekt fällen

Mediationsanalyse

• Regressionsanalysee durchführen
• Sobel z-Test verwenden
• Regressionspfade/Standardfehler aus SPSS nehmen
• Werte überprüfen

Grundgesamtheit (auch Population)

• Gesamtheit der potenziellen Personen / Untersuchungsobjekte die hinsichtlich der Fragestellung relevant sind. (z.B. In der Schweiz wird mehr Sport betrieben als in Frankreich. CH / FR Bevölkerung wären die Grundgesamtheit)

Transaktionskostentheorie=TCT

• Austausch von Produkt oder DL über eine technologisch differenzierbare Schnittstelle
• Bei der Abwicklung von Transaktionen entstehen Kosten
  • Ex-ante Transaktionskosten (zum Erstellen der Transaktion) (Informations-,Verhandlungs-, Vertragskosten)
  • Ex-post Kosten (nach der Transaktion)( Absicherungs-, Durchsetzungs-,m Anpassungskosten)

Wireframe tools make the process of knowing how to create an app or website fundamentally easier, by visually stripping the product down and enabling all involved to focus purely on functions and user interactivity. Clients need to understand how your proposed app or website will work. (Mockup) zb mockflow.com

Metriken: Metrik ist ein Begriff aus der Web Analytics, der sich auf die verschiedenen Meßgrößen bezieht, die über eine Website erhoben werden können.

• Hits
• Eindeutige Seitenzugriffe
• Seitenzugriffe (Menschen ohne Bots)
• Durchschnittliche Anzahl an Seitenzugriffen
• Absprungrate
• Page Stickiness (Wie lange bleiben User auf der Seite)
• Eindeutige Besucher
• Wiederkehrende BNesucher

Transaktionesmetriken:

• Häufigkeit, Volumen, Tageszeit, letzter Kauf,.....

Mobile Metriken

• Woe oft Besucher zur App zurückkehren, Anzahl gesehener Screens, Anzal gesehener Screens..

Server Side und Client Side

Server Side (auf Webserver)

• Logfileanalyse (URL/Zeitpunkt/ IP/ User Agent)
  • Vorteil: Schnell verfügbar, Standardtools, z.b. PIWIK
  • Nachteil: Datenqualität (zb Bots) Kein Vollständiges Bild zum Nutzerverhalten

Client Side (auf Gerät des Users)

• Mouse Tracking
  • Bewegung, Events und Position der Maus werden erfasst.
• Tracking Tools, Cookies, Page Tagging
• Vorteile:Verhqalten auf einzelner Seite wird sichtbar
• Nachteile: Änderung an Website, Sicherheitsaspekte (oft geblockt), Aufwand

Web Content Accessibility Guidelines documents explain how to make web content more accessible to people with disabilities

• Zugang zu Inhalten möglichst nicht einschränkten (Brail Terminal)
• CSS Styles zb rössere Schrift
• Kontraste

Häufige Einschränkungen die auftreten: Sehen, Hören, Motorisch, Kognitiv

• Struktur von Informationen
• Welche Inhalte sind wo zu finden?
• Wie «heissen» die Inhalte?
• Welche Inhalte gehören zusammen?
• Alles wird aus Benutzersicht betrachtet
  •  Nach welchen Inhalten wird gesucht
  • Welche Beziehungen werden zwischen Inhalten erwartet?

Schritte zur Erstellung einer Informationsarchitektur nach Moser

1. Klären von Zweck und Rahmenbedingungen

2. Zusammentragen der Inhalte

3. Denkweisen der Benutzer untersuchen

4. Struktur und Ordnung Schaffen

5. Verständliche Beziehungen suchen

Navigationsarchitektur

• Welche Navigationselemente werden benötigt?
• Welchen Navigationsplan ist geeignet, um Benutzenden die 4 Fragen nach Moser zu beantworten?
  • Wo bin ich?, Woher komme ich?, Wohin kann ich gehen?`, Warum sollte ich da hingehen?

Summative Evaluationen

• Kennzahlen und Performance stehen im Vordergrund
•  Evaluation eines Szenarios (so realistisch wie möglich)
• Abgleich ob Artefakt die Spezifikationen erfüllt
• Auch Abgleich ob Artefakt Ziele (z.B. bzgl. Zufriedenheit User) erfüllt
•  Benchmark wird erstellt / herangezogen, um Vergleiche zwischen Artefakten anstellen zu können
• Pendant zu Formativer Evaluation

Formative Evaluation

• Fokus liet auf qualitativer, inhaltlichen Aspekten
• Oft durch Einbezug vo Entwickler, Designer und Kunden

Methoden Usability Inspection (formativ)

• Think aloud
• Cognitive Walkthrough

Eyetracking, A/B Testing, Email Survey, Interviews, Customer Feedback, Ethnographic Field Studies,...siehe Bild

Discover, Decide, Make, Validate -> Diverse Methoden dafür.

Ein mentales Modell immer nur ein Ausschnitt, ein „verkleinertes“ Abbild eines Teils der Wirklichkeit.

• Erwartung wie ein Produkt aussehen und sich verhalten soll
• Basiert auf Erfahrung oder Vergleich zuähnlichen Produkten
• Farbschemen / Symbole können eine grosse Rolle spielen
•  Selten ist das Wissen vollständig oder exakt (Vergessenskurve / Biases / Wahrnehmung)
•  Sehen = Conceptual Model
•  Erwarten = Mental Model

• Goldener Schnitt 1/3: 2/3 Verhältnis
• Intensität: Reize werden durch ein Elemente zuerst angesprochen, da intensiverer Reiz vorhanden
• Ausnahme: Ein Element hebt sich ganz bestimmt von anderen ab
• Nähe: Zusammenstehende Elemente werden als Einhzeit wahrgenommen
• Fortsetzung: Angefangene und gedachte Linien werden fortgesetzt
• Ähnlichkeit

• Informationsasymmetrie (Agent weiss mehr als Principal) A und P wollen Nutzenmaximierung. A beauftragt P etwas zu leisten. Informationen sind nicht gleicht. z.b. bei Verträgen
• Adverse Selection (ex ante Asymmetrie) Prozess, in dem es auf einem Markt aufgrund von Informationsasymmetrie systematisch zu Ergebnissen kommt, die nicht pareto-optimal sind. -> Reduzierung durch Signallig, Screening, Self-Selection
• Moral Hazard (ex post Asymmetrie)  Individuen aufgrund ökonomischer Fehlanreize verantwortungslos oder leichtsinnig verhalten und damit ein Risiko verstärken. - > Reduktion durch Monitorin, Anreizsysteme, Sanktionen

siehe Word

Relevance (Praxis), Conceptual Model (Konstrukte und Hypothesen) Theorien (relevante)

Forschungsfragen& Ziel (induktiv), Forschungsfragen& Ziel( deduktiv)

Methoden (Quand, Qual) VOR (Güte( Ggf. Triangulation)

Auswertung aller Ergebnisse

Correlational:  64 Teilnehmer für one tailed hypothese, 82 T für two tailed hypotheses

Causal-Comparative:  51 T pro Gruppe für one tailes Hypothese; 64 für two tailed Hyp.

Experimental:  21 T pro Gruppe für one tailed Hypothese

Case Study: 3--5 T

Phenomenological: <=10 interviews

Grounded Theory:  15-20

Ethnography:  Eine kuluturelle Gruppe

Ethological:  100.200 Beobachtungseinheiten

Subgruppe Sampling: >=3 T pro Subgruppe

Nested Sampling Design >=3 pro Subgruppe

Interview: 12 Teilnehmer

Fokusgruppe: 6-9 Teilnehmer je nach Quelle variert es. 

Synthese verschiedener Ansätze zur Validität von Mixed mathods. Dieses Framework versucht, Forschern eine gemeinsame Sprache und Anleitung zu geben, wie sie auf die Qualität von Metainferenzen zugreifen können.

8 Domänen der Qualität: Planungsqualität, Designqualität. Datenqualität. Deutungsschärfe, Inferenzübertragbarkeit (Wo kann das Faizit angewendet werden), Reportingqualität, Synthetisierbarkeit (Of sufficient quality for inclusion in systematic reviews), Nützlichkeit

• Was ist über das Thema aus früheren qualitativen, quantitativen und mixed methodUntersuchungen bekannt?
• Was ist unbekannt?
• Welche kenntnisse werden benötigt?
• Müssen gewisse Aspekte einer Theorie genertiert und getestet werden?
• Ist ein Fragetyp oder eine Methode unzureichend um die Frage zu beantworten
• Welche Fragen stehen im Einklang mit dem gepanten mixed method design?
• Welche Fragen werden beantwortet mit der integration von wuantitative und qualitative Methoden
• sind die angegebenen Forschungsfragen untersuchbar?

Von Thema/Problem -> Zweck/Absicht -> Forschungsfrage-> Subquestions/Hypothese.

• Vollständigkeit: Stelle sicher, dass von der Untersuchung ein vollständigess Bild abgebildet wird. Das ganze Bild hat mehr bedeutung. Es wird mehr beleuchtet
• Kompensation:MMR ermöglicht dem Forscher die Stärken und die Schwächen von Qual bzw Quan auszugleichen
• Diversität: Man erhoft sich unterschiedliche Bilder vom selben Phenomen, welche Verglichen werden
• Grössere Validität
• Erklärung ( Eine Methode ergänzt andere zb. Quan-> Qual)
• Unerwartete Ergebnisse (Können durch eine oder andere MEthoden erklärt werden)
• Samplin (Quan kann zb verwendet werden, um Probanden für Qual zu generieren. 
• Glaubwürdigkeit
• Illustration  (qual. Ergebnisse für die Beschreibung von quant. verwenden)

Morse

Different Pradigms: Qual+quan; Qual -> quan; Quan+ qual; Quand -> qual

Same Paradigms: Qual+qual; Qual -> qual; Quan+quan; Quan->Quan

• QUAL + QUAN (gleiche Priorität)
• qual + QUAN (Priorität auf quantitativer Methode)
• quan -> QUAL (Priorität auf qualitativer Methode)
• 6 Mögliche Formen der Kombination