Business Intelligence and Data Mining

OLAP-Server

• Ansatz zur interaktiven, multi-dimensionalen analyse von Unternehmensdaten
• Ergänzung eines starren Berichtswesens
• Operationen zur definition und Manipuation von Dimensionen und Konsolidierungshierarchien

Metadatenbanksystem

• Technische Angaben (Datenmodell, Datenursprung)
• Fachliche Angaben (Hilfe zum Auffinden von Daten, Dokumentation vordefinierter ANFRAGEN und Erläuterung von Fachbegriffen

Das ETL System ist zuständig für die Integration von Daten aus verschiedenen (heterogenen) Quellen ins DWH

• Extraktion
  • Datenbank und Dateispeicherung
  • Dokumentation v. datenstrukturen und Schnittstellen in Quellsystemen
  • Datenauswahl (Identifikation geändeter Daten; Zeitstempel, trigger DB-Logfiles)
• Transformation
  • Harmonisieren (Verknüpfen Schlüssel/Attribute & Vereinheitlichung Währung, Maßeinheiten..)
  • Bereinigen ( Fehler)
  • Zuordnen (Mapping von Ausgangsstruktur zu Zielstruktur
• Laden
  • physischer Datentransport
  • Anreicherung (kennzahlen)

subjektorientiert (oder auch themenorientiert)

• die Daten sind fokussiert auf inhaltliche Kernbereiche im Unternehmen und es wird eine nutzenorientierte Vorselektion zu Themenschwerpunkten vorgenommen
• z.B. können die Daten auf die verschiedenen Subjekte Kunden, Produkte, Lieferanten,... fokussiert sein

Vereinheitlicht

• Die Daten aus den operativen Systemen werden übernommen und die vorhandenen heterogenen Daten vereinheitlicht bzw. harmonisiert z.B. Namensgebung und Kodierung, damit sich ein konsistenter Datenbestand ergibt

Bei einem Data Mart ist der Datenspeicher nach der selben Philosophie wie bei einem DWH aufgebaut, aber Data Marts sind nur auf ein Subjekt ausgerichtet, enthalten als nur einen Teilbereich der Daten und nicht alle Subjekte des Unternehmens

Subjekte: DWH hat mehrere, DM eines

Datenquellen: DWH hat viele verschiedene, DM hat dagegen nur wenige

Größe: DWH hat mehrere TB, DM ist wesentlich kleiner

Implementationsdauer: DWH dauert Monate-Jahre, DM weniger

Fokus: DWH unternehmensweise, DM begrenzter

Bei der Datenintegration sollen die Daten mehrerer betrieblicher Funktionsbereiche aus verteilten, unterschiedliche strukturierten Datenbeständen vereinheitlicht und in ein zentrales Datenlager integriert werden.
Das Ziel ist es, dieselben Daten unmittelbar für verschiedene Aufgaben nutzbar zu machen und eine globale Sicht auf die Quelldaten ermöglichen.

Beispiel: ETL-Prozesse

- Berichtswesen: Klassisches Instrument der Infoversorgung, lediglich Datenanalyse und -darstellung, z.B. Standardbericht, Abweichungsbericht, Bedardsbericht

- Dashboards: stark verdichtete Infos mit Fokus auf benutzerfreundliche Darstellung, hohe Spezifität

- Portale: zentraler Zugang zu ausgewählten Infos, Suchkosten des Anwenders werden reduziert, verschiedene Formen, z.B. als BI/Enterprise/Knowledge-Portal im Webbrowser oder als SW

- Data Mining: Neugewinnung von Informationen aus den vorhandenen Daten, Konzept zur (teil)automatisierten Analyse großer Datenmengen, Ursache-Wirkung-Probleme

- OLAP Frontend: interaktive, multidimensionale Analyse; Würfelstruktur

Benutzergruppen

Informationskonsumenten: Portale, Dashboards und Berichtssysteme

Analytiker: OLAP

Spezialisten: Data Mining

Für alle drei stellt das DWH die Datenbasis dar.

Das Berichtswesen und OLAP stellen beides Aufbereitungs/Auswertungs- und Darstellungsmöglichkeiten von Informationen dar

• Das betriebliche Berichtswesen ist ein klassisches Instrument der Informationsversorgung und umfasst Datenbeschaffung, Infoerzeugung, Infoübermittlung und Nutzung.
• Dagegen ist OLAP interaktiv und durch dieMultidimensionale Datenanalyse aus verschiedenen Perspektiven anwendbar und gilt als Ergänzung zum starren Berichtswesen.

DM dagegen stellt die Analyse und Neugewinnung von Informationen dar:

• Data Mining umfasst den Prozess der Gewinnung neuer, valider verständlicher und handlungsrelevanter Informationen aus großen DBs und der Nutzung dieser Infos für BWL-Entscheidungen. DM ist ein Konzept zur (Teilautomatisierten) Analyse großer Datenmengen mit formalen Algorithmen und klar spezifizierten Problemen.

• Logische Datenrepräsentation
• Speichertechnologien siehe unten

Leicht verständliche Datenrepräsentation
Betrachtung betriebswirtschaftlichen Zahlenmaterials
• aus unterschiedlichen Perspektiven
• mit unterschiedlichem Detaillierungsgrad

Operatoren:

Rotation/Pivotisierung: Drehen des Würfels und dadurch Vertauschen der Dimensionen

Roll-Up: Verdichtung von Werten (z.B. Tag-Monat-Quartal-Jahr)

Drill-Down: Detaillierung, Gegensatz zu Roll-Up

Slice: Herausschneiden eine Scheibe des Würfels

Dice: Herausschneiden eines Teilwürfels

ROLAP (=Relationales OLAP)

• Relationale Speicherung der Daten in Tabellen, Würfel wird dynamisch im Hauptspeicher aufgebaut

+ einfache Realisierung

+ gute Skalierbarkeit

+ Updateperformance

- Abfrageperformance

MOLAP (multidimensional)

• Speicherung in multidimensionalen Arraystrukturen

+ hohe Abfrageperformance

- Update Performance

- nicht ausgereifte Speichertechnologie

- Skalierbarkeit

Desktop OLAP (DOLAP)
- Import von Basisdaten auf dem Client
- Lokale Analyse

Hybrides OLAP (HOLAP)
- Mischform aus ROLAP und MOLAP

1. MOLAP, wegen hoher Performance die bei hoher Abfragefrequenz wichtig ist. Einbußen in der Update-Performance eher weniger wichtig, da Vergangenheitsdaten im Fokus stehen. Lokal nicht möglich, weil verschiedene Leute Zugriff haben wollen.

2. DOLAP weil nur die Inhaberin lokal bei sich Analysen tätigt.

3. ROLAP weil geringe Geschwindigkeit beim Einspielen neuer Daten und einfache Realisierbarkeit.

4. MOLAP wegen der Abfrageperformance

5. ROLAP weil geringe Geschwindigkeit beim Einspielen neuer Daten

Prognosemodelle

• erstellen auf der Basis von Daten und einer gegebenen Zielvariablen eine Entscheidungsregel, die auf neue unbeannte Daten angewendet wird. Die Art und Anzahl der Klassen, in die neue Objekte zugeordnet werden, ist hier vorgegeben. Die Strukturierung ist unabhängig von den verwendeten Daten.

Beschreibungsmodell

• dient zur Strukturierung von Daten. Eine Zielvariable ist nicht vorhanden, sondern durch das Beschreibungsmodell wird Zielvariable ermittelt. Die Strukturierung ist hier von den verwendeten Daten abhängig.

Prognosemodell

• Methodische Zielsetzung: Vorhersagen der Klassenzugehörigkeit eines neuen Objektes wenn bei einer Menge von Beobachtungen die Klassenzugehörigkeit bekannt ist.

• Anwendung in BWL: zB die Überprüfung von der Kreditwürdigkeit einer Person

• Data Mining Verfahren: Klassifikation

• Dazu passende Methode: Entscheidungsbäume, CART Algoritmus?

Beschreibungsmodell

• Methodische Zielsetzung: Assoziationsregeln finden, die Gemeinsamkeiten und Regelmäßigkeiten in einer Menge von Daten beschreiben.
• Anwendung in BWL: Warenkorbanalyse
• Data Mining Verfahren: Assoziation

• Dazu passende Methode (Algorithmus): Apriori Algorithmus

- fällt in den Bereich der Prognosemodelle und in die Unterkategorie Regressionen. Es kann eine lineare Regression durchgeführt werden. Daten hierfür wäre der Preis und Absatz.

Beschreibungsmodelle:

Assoziation: Apriori Alg.

Prognosemodell:

Klassifikation: Entscheidungsbäume, CART Alg.

• potentielle Kunden: Warenkorbanalysen: Identifikation von Verknüpfung von Waren, dadurch können potentielle Kunden durch gute Produktplatzierung besser erreicht werden
•  
• aktive Kunden: Clustering Verfahren: Kundengruppensegmentierung z.B. nach Kaufkraft und Produktpräferenzen. Dadurch können diese speziell behandelt werden und eine Umsatzsteigerung erreicht werden
•  
• verlorene bzw. reaktivierte Kunden: Klassifikation durch Entscheidungsbäume profitable vs unprofitable Kunden. Diese können u.a. mit  Sonderangebote und Extraleistungen zurückgewonnen werden. Bei den unprofitablen Kunden würden sich Extraangebote nicht rechnen.

Das Modell wird auf Basis der Trainingsdaten abgeleitet

• Wurzelknoten des Baumes enthält alle Instanzen, anschließend Teilung anhand Kriterien (zb für Klassifikation Gini/ Entropy Impurity oder wähle das Merkmal mit dem höchsten Information Gain=Reduktion der Mischung von Klassen)
  Beispiel des Simpsons Entschiedungsbaum. Es soll das Geschlecht eines neuen Objekts entschieden werden. Kriterien sind Alter>40, Gewicht>80 und Haarlänge>5. Gewicht hat den höchsten Information Gain, danach Haarlänge , danach wird der Entscheidugsbaum aufgebaut.
• Es droht die Gefahr des Überlernens, dh es werden unsinnige Regeln abgeleitet. Besonders bei kleinen Datensätzen ist die Gefahrt groß. z.B. trägt grüne Hose oder blaue Schuhe ist keine Trennung für das Geschlecht, sondern Zufall
• Dann Pruning: Zurückschneiden von Zweigen zur Vermeidung von Überlernen

+ übersichtlich, verständlich, in der Praxis akzeptiert, flexibel weil numerische und kategoriale Merkmale

- Anfällig für Überlernen, leichte Änderungen in den Daten führen zu sehr unterschiedlichen Entscheidungsbäumen

1 - (Anzahl Elemente Klasse A/ Alle Elemente zum quadrat + Anzahl Elemente Klasse B / alle Elemente zum quadrat)

Gini Index besser je näher an 0 oder 1 dran, da das die Homogenität  einer Klasse darstellt

Pruning allgemein vermeidet das Überlernen, also das Ableiten unsinniger Regeln

Pre-Pruning
• Vorzeitiges Beenden der Teilung
– Schwellenwert: Minimale Anzahl von Instanzen pro Blatt
– Schwellenwert: Maximale Anzahl von Ebenen
– Signifikanztest: Ist die Entropie-Reduktion signifikant?
• Nachteile
– Berücksichtigt nur den aktuellen Knoten (horizon effect)
– Bestimmung der Parameter?

Post-Pruning
• Zweige werden rekursiv wieder entfernt bzw. zusammengeführt
• Gegenteil von Teilung
– Überwachung der Prognosegüte auf separater (hold-out) Datenmenge
– Zurückschneiden von Zweigen, so dass die Unreinheit möglichst wenig ansteigt
– Zusammenfassung von Zweigen, die immer nur eine Klasse prognostizieren

Ensembleklassifikatoren gehören zu den Prognosemodellen, da diese nur eine Aggregation aus Einzelprognosen aus einzelnen Klassifikationsmodellen sind.

• Vorgehen: Erstellung mehrere Klassifikationsmodelle und anschließende Aggregation der Einzelprognosen
   
• Die Prognosegüte wird gesteigert, da Einzelprognosen aggregiert sind und Synergien ausgenutzt werden

• Zufallsschwankungen (Varianz) wird durch Kombinationen ausgeglichen

• Kombination verschiedener einzelner Modelle ermöglicht die Approximation komplexer Zusammenhänge

Nein!

Weil: wenn die Prognosegüte nur minimal besser ist, dann lohnt sich evtl. der größere Aufwand bei der Erstellung eines Ensembleklassifikators nicht.

Diversifikation ist bei Ensembles wichtig, da sonst ihre Prognose nur genauso gut

wäre, wie eins der verwendeten Modelle! Alle Modelle würden bei Gleichartigkeit

den selben Output prognostizieren und somit die Prognosegüte nicht verbessern!

Homogen: Es wird nur ein Klassifikationsverfahren verwendet.

Bagging: Aus verschiedenen Stichproben werden verschiedene Bäume erstellt und diese aggregiert.

Boosting: Das Gewicht der Fälle, die sich schlecht klassifizieren lassen, wird erhöht

Random Forrest: Es werden zufällig Splitvariablen aus einer Teilmenge der Variablen ausgewählt und eine Mehrheitsentscheidung getroffen.

Hetereogen: Kombination aus verschiedenen Klassifikationsverfahren, Einsatz verschiedener Klassifikatoren

Stacking: Es werden mehrere unterschiedliche Learningalgorithmen mit verschiedenen Stärken und Schwächen auf das selbe Problem angesetzt. Deren Ergebnis wird mit einem weiteren learning algothm, dessen Aufgabe es ist, zu lernen, welcher Algorithmus in welchen Fällen gute Entscheidungen trifft, zu einem Ergebnis zusammengefasst. Es werden zwei Klassifikatoren eingesetzt: Base-Level und Level-0

Ensemble Selektion: Hier wird mit dem besten Basismodell begonnen und weitere Basismodelle zum Ensemble hinzugefügt, solange sich dabei die Prognosegüte verbessert.

1. Stichwort Diversifikation, verschiedene Klassifikatoren

2. zB Bagging, Boosting, Random Forrest

Diversifizierte Basismodelle = verschiedenartige Einzelmodelle, instabile Basis-Klassifikatoren --> Klassifikatoren müssen sich ergänzen

Beim Bagging wird aus aus N Beobachtungen eine Stichprobe MIT zurücklegen gezogen, dabei werden Daten teilweise mehrfach oder gar nicht gezogen und auf diese Stichproben wird der Klassifikator trainiert. Es wird versucht eine unendliche Menge von Datensätzen zu simulieren. Es werden viele Bäume aus verschiedenen Bootstrap Stichproben erstellt und diese aggregiert.

Klassifikatoren müssen sich ergänzen, z.B. unkorrelierte Fehler

- Erweiterung von Bagging: transponierte Verfahren zu Bagging

- Mehrheitsentscheidung

Stichprobe der Merkmale: In jedem Baum wird an jedem Knoten eine bestimmte Anzahl an Merkmalen zufällig ausgewählt und der beste Split unter diesen Merkmalen bestimmt. Die Ergebnisse aus allen Bäumen werden aggregiert.

Boosting mit dem AdaBoost Algorithmus:

Hier wird das Gewicht der Fälle erhöht, die sich schlecht klassifizieren lassen.

• Jede Iteration verwendet unterschiedliche Gewichte für die Trainingsinstanzen
• Nach jeder Iteration werden die Gewichte aktualisiert , indem das Gewicht von falsch klassifiierten Instanzen erhöht wird, um auf diese zu fokussieren
• Aggregation der Ergebnisse aller Iterationen und Gewichtung der Klassifikatoren anhand ihrer Fehler

es handelt sich hierbei um einen heterogenen ansatz, da verschiedenen klassifikationsverfahren zum einsatz kommen.
es wird die ensemble selektion empfohlen. hier wird zunächst das beste basismodell ausgewählt und weitere hinzugefügt solange die prognosegüte steigt.

Varianz = Zufallsschwankungen

Bias = statistische Verzerrung

Man möchte sowohl Bias als auch Varianz minimieren, jedoch existiert ein Trade-off zwischen beiden. Es kann nie Bias und Varianz gleichzeitig reduziert werden.

Bagging Effekt

• Bei gut angenäherten Bootstrap Stichproben kann Bagging die Varianz reduzieren ohne den Bias zu verändern
• in der Praxis kann je nach Klassifikator entweder Bias oder Varianz reduziert werden

Boosting

• In frühen Iterationen wird Bias reduziert
• in späteren Iterationen wird die Varianz reduziert

- Geschwindigkeit in Bezug auf die Erstellung eines Klassifikators (Training)

- Geschwindigkeit in Bezug auf die Anwendung eines Klassifikators

- Robustheit: Datenrauschen, Irrelevante Merkmale, Fehlende Werte, Aktualisierung

- Interpretierbarkeit: nur Prognose oder auch neue Erkenntnisse?

- Einfachheit: z.B. Anzahl Ebenen in EBaum o Anzahl Parameter in Modell

Das Prinzip: die Modelldaten werden in zwei sich gegenseitig ausschließende Mengen aufgeteilt, in eine größere (die Trainingsmenge) und eine kleinere (die Testmenge) --> Split-Sample-Setup

Ziel: Realistische Abschätzung der Prognosegüte.

• Problem: Überanpassung an die Trainingsdaten

• Bewertung anhand der Trainingsdaten zu optimistisch!
• Alle Verfahren sind optimal an die Trainingsdaten angepasst!
• Wenn das Verfahren entsprechend „mächtig“ ist (z.B. Entscheidungs-baum ohne Pruning), können Trainingsdaten immer mit 100% Genauig-keit klassifiziert werden. Überlernen („Auswendiglernen“)

Daher wurde das folgende Vorgehen entwickelt: Die größere Datenmenge wird dazu verwendet, ein Modell aufzustellen, während die kleinere Datenmenge dazu dient, das Modell zu bestätigen, indem man das Modell auf die kleinere Datenmenge anwendet und die Ergebnisse mit den tatsächlichen Werten vergleicht. Dieser Prozess wird mit verschiedenen Untermengen so lange wiederholt, bis jedes Objekt der Datenmenge einmal für die Testmenge verwendet wurde.

- Daten werden in 10 Mengen a 100 Fälle aufgeteilt

- Ein Klassifikationsmodell wird auf den ersten 900 Fällen erstellt (Trainingsmengen)

- Das Modell wird auf den letzten 100 Fällen bewertet (Testmenge)

- Das wird 10 mal wiederholt, sodass jede der 10 Mengen einmal Validierungsmenge war

- Die 10 Prognosegüten werden gemittelt.