Business Intelligence Prüfungsvorbereitung

Ansatz der rekursiven Partitionierung:

• „Greedy Search Strategie“ (sucht lokales Optimum für jeden Schritt)
• Trainingsdaten (zu Beginn) im Root Node
• Ein Attribut ausgewählt zum Aufteilen
• Rekursive Partitionierung: Wdh. der Schritte
  (bis alle in derselben Klasse, keine Attribute mehr, Abbruchbedingungen)

Zwei wichtige Entscheidungen:

• Splitting Rule                              Wie wird ein Knoten aufgeteilt?                                                                                                                           Ziel: Reinheit der Datenmengen, Vermeiden unnötiger Splits
• Stopping Rule                             Wie wird entschieden, dass ein Knoten ein Leaf Node ist?                                                                           Ziel: Vermeidung zu vieler „Blätter“/ zu hoher Komplexität

Problem des Overfitting:

• Jedes Model enthält Struktur und Rauschen
• Aber Rauschen ist spezifisch für das Datenbeispiel
• Keine Generalisierung

Lösung: Pruning

• Pre-Pruning
  • Baumaufbau früh stoppen
    • max. Baumtiefe festlegen
    • Schwelle bei zu geringem Wachstum
• Post-Pruning
  • Baum vollständig aufbauen und löschen der „kleinen Äste“

• Zufällige Aufteilung der Daten in zwei Sätze (Training und Test)
• Ein Modell übernimmt Abschätzung und andere die Modellbewertung

Vorteile

• Simulierte Anwendung des Vorhersagemodells
• Einfach zu implementieren
• Vermeidet Verallgemeinerungsfehler

Nachteile

• Ineffizient (Verschwenden von 20-40% der Daten)
• Hohe Varianz bei kleinen Datenmengen

• Zufällige Aufteilung der Daten in N Untermengen
• Eine Untermenge dient der Validierung
• N-1 Untermengen werden zur Modellbildung verwendet
• Wiederholung bis jede Untermenge zur Validierung gedient hat
• Durchschnittsberechnung

Vorteile

• Vermeidet Verallgemeinerungsfehler
• Geringe Varianz
• Hohe Robustheit

Nachteile

• Hoher Ressourcenaufwand

siehe Blatt

Was ist eine Cluster-Analyse?
àDatenobjekte werden in multidimensional Datenräume eingeordnet (Attribute bilden die Koordinaten)

Cluster-Analyse:

• findet Gruppen von Objekten
• Objekte in verschieden Gruppen stehen nicht in Beziehung zueinander

Problemstellung:

• Objekte in Gruppen möglichst groß und homogen
• Gruppen/ Segmente möglichst heterogen
• Lösungen: deskriptives Data Ming und unsupervised Learning
   

Hierarchisches Clustern

Iterative Algorithmen

• Schleifen
• Bilden gemittelte Clusterlösungen

Divisive (trennendes) Clustering

• Top-Down-Ansatz
• Globales Cluster in Sub-Cluster trennen

Agglomerative Clustering

• Bottom-Up-Ansatz
• Iteratives Zusammenführen von Clustern
   

Exklusives Clustering

• Jeder Case wird einem Cluster zugeordnet
• Z.B. K-Means

Nicht-exklusives Clustering

• Fälle werden irgendeinem Cluster zugeordnet mit bestimmter Wahrscheinlichkeit
• Z.B. Gaussian Mixture

• nicht-hierarchisches Clustern
• Anzahl der Cluster (K) warden im Vorraus spezifiziert
• Algorithmus:
  • Jeder Punkt wird mit einem Centroid
  • zufällig oder durch Berechnung zugeordnet
  • Wiederholung bis alle Centroiden und Cluster stabil sind (bzw. maginale Änderungen bei Durchlauf der Schleife)
     

=Sum of Squared Errors

• Bekannteste Maß um Clustering zu bewerten
• Fehler = Distanz vom Punkt zum Centroiden
• SSE = alle Fehler eines Clusters werden quadriert und summiert
• K-Means zielt darauf ab, den SSE zu minimieren

Problem bei der Auswahl zufälliger Startpunkte:

• Wenn es k-natürliche Cluster gibt, ist dieChance einen Centroiden pro Cluster auszuwählen gering
• Iteration bewegt Centroiden nicht immer in die richtige Richtung

Lösung:

• Mehrfache Ausführung des Algorithmus mit zufälligen Centroiden (Selektion immer noch ein Problem)
• Mehr als k zufällige Centroiden (am weitesten entfernte auswählen)
• Manuelles Nachbearbeiten
   

siehe Blatt (=elbow-finding -> graphische Darstellung)

siehe Blatt

SELECT                Welche Attribute soll das Ergebnis enthalten
                               DISTINCT löscht doppelte Ergebnisse

FROM                    Welche Tabellen werden betrachtet

WHERE                 Welche Bedingungen sollen erfüllt sein?
                               LIKE %xxx% schränkt enthaltene Worte ein

GROUP BY           Ergebnisse durch ein/mehrere Attribute gruppieren

HAVING                 Bedingungen, die nur für die Gruppe zählen

ORDER BY           Reihenfolge der Ergebnisse
                               DESC gibt absteigende Reihenfolge an

siehe Blatt

???

siehe Blatt

vgl Blatt

• nominal
• ordinal
• interval
• ratio

• Record
• Graph
• Ordered

• Feature Selection
• Feature extraction
• Sampling
• Encoding
• Outliers
• Missing Values
• Standardizing Data
• Discretization

Stufen der rationalen Entscheidungsfindung

• Intelligenz            -               Untersuchung der Umwelt; Definition des Problems
• Design                  -               mögliche Vorgehensweisen
• Choice                  -               Alternativen analysieren und auswählen und implementieren

Arten von Entscheidungsfindungsprozessen

• Strukturiert
• Unstrukturiert (neuartige Probleme)

Konzepte & Methoden zur Unterstützung von business decision making durch Verwendung von faktenbasierten Unterstützungssystemen

• Betonung liegt auf Logistik der Informationen
• Sammeln und Aufbewahren von Daten
• Anreichern von Daten
• Muster entdecken

• Algorithmen zentrierter Ansatz der Datenanalyse
• Automatisierte Analyse großer Datenmengen und Muster entdecken
• Methoden
  • Predictive/ vorhersagend
  • Descriptive/ beschreibend

Siehe Blatt (Tipp: Daten, Technologie, Zweck/Zielgruppe)

= Knowledge Discovery from Databases

Databases -> DWH -> Data Mining -> Evaluation& Presentation -> Knowledge

Data Warehouse

• Themenorientierte
• Integrierte
• Chronologisierte
• Persistente
• Sammlung von Daten
• Um das Management bei seinen Entscheidungsprozessen zu unterstützen

Data Warehousing: Prozess des Aufbauens und Nutzens eines DWH.

Traditioneller Weg zur Integration heterogener DB:

• Bauen von Wrappern
• Komplexe Informationsfilterung

DWH – Integration im Voraus:

• Informationen aus verschiedenen Quellen werden im Voraus integriert und im DWH gespeichert und stehen für Abfragen zur Verfügung
• Hohe Performance

OLAP = Online Analytical Processing

Online = Zugang zu “live”-Daten
Analytical = Analysieren der Daten für Reporting

Reports sind

• Multidimensional
• Voller Kalkulationen
• Zeitbasierte Analyse
• Ideal für ad-hoc-Anfragen

OLTP

• Hauptaufgabe traditioneller RDBMS
• Tägliche/ operative Aufgaben
• Komplexes Tabellendesign

OLAP

• Hauptaufgabe von DWH-Systemen
• Entscheidungsunterstützung
• Sternschema

• Hohe Performanz für beide Systeme
• Verschiedene Funktionen und verschiedene Daten
  • Entscheidungsfindung benötigt historische Daten (sind nicht im DBMS enthalten)
  • Unterschiedliche Quellen benutzen verschiedene Datenpräsentationen

DWH Modelle

• Enterprise DWH                  sammelt Informationen über Themen des gesamten Unternehmens
• Data Mart                            Teildatenstück, dass für bestimmte Nutzergruppen einen Wert besitzt

Architektur

• Operative Systeme           (Server)                                                maßgebende Aufzeichnung
• ETL                                        (Server)                                                Überführung ins DWH
• DWH                                     (Server)                                                Geschäftsprozessmessung
• Front End                             (Client und Services)                        Präsentation
• User
   

• Teildatenstück, dass für bestimmte Nutzergruppen einen Wert besitzt
• „abhängige Data Marts“ sind Teil eines DWH
• Meist auf low-cost Server implementiert

• Daten über Daten (Namen, Definition, Beschreibung)
• Definieren Warehouse-Objekte
• Beschreiben Felder, die aus ETL-Prozessen entstehen
   

Architekturentwicklung

Empfohlen: Implementierung inkrementell und evolutionär

1. Definieren eines high-level Datenmodells für das gesamte Unternehmen
2. Implementierung eines Enterprise Warehouse und von Data Marts
3. Verteilte Data Marts erstellen
4. DWH ist einziger Verwalter der Daten, welches Daten an Data Marts verteilt

Bedeutung von Datenqualität:

• Relevant
• Nützlich
• Akkurat
• zugänglich

Datenakkurates:

• korrekt
• eindeutig
• konsistent
• vollständig

• Extraktion            Auswahl der Daten aus OLTP Datenbank
• Transformation   Validieren, Säubern, Integrieren, Zeitstempel der Daten
• Laden                   Schreiben der Daten in das DWH

ETL bezieht sich auch auf umfassende Prozesse

• Gewünschte Daten werden aus Quellen identifiziert & extrahiert
• Einige Transformationen werden bei Extraktion ausgeführt
• Laden der extrahierten Daten in DWH oder eine Staging Area

ETL – Extraktion aus internen Quellen:

Quellen:                                OLTP, ERP, CRM, Fertigung,...
Arten von Daten:                Produktion, Planung, Verkauf, Marketing
Formate:                              RDBMS, Data Marts, Tabellen, Textdokumente

ETL – Extraktion aus externen Datenquellen:

• Probleme mit der Regelmäßigkeit, Formate und Vorhersagbarkeit
• Gekaufte DB, Marktforschung, Vorhersagen, …
   

Transformation – Data Staging Area

• Ermöglicht verbesserte Qualität der Daten
• Staging = säubern & anreichern von Daten
• Weiterleiten in ein DWH

Gründe zur Nutzung von Data Staging Areas

• Reduzierte Last auf operativen Systemen und DWH
• Back-Up ohne Quellen zu belasten
• Dokumentation der Transformation