Business Intelligence Prüfungsvorbereitung

Was ist eine Cluster-Analyse?
àDatenobjekte werden in multidimensional Datenräume eingeordnet (Attribute bilden die Koordinaten)

Cluster-Analyse:

• findet Gruppen von Objekten
• Objekte in verschieden Gruppen stehen nicht in Beziehung zueinander

Problemstellung:

• Objekte in Gruppen möglichst groß und homogen
• Gruppen/ Segmente möglichst heterogen
• Lösungen: deskriptives Data Ming und unsupervised Learning
   

Hierarchisches Clustern

Iterative Algorithmen

• Schleifen
• Bilden gemittelte Clusterlösungen

Divisive (trennendes) Clustering

• Top-Down-Ansatz
• Globales Cluster in Sub-Cluster trennen

Agglomerative Clustering

• Bottom-Up-Ansatz
• Iteratives Zusammenführen von Clustern
   

Exklusives Clustering

• Jeder Case wird einem Cluster zugeordnet
• Z.B. K-Means

Nicht-exklusives Clustering

• Fälle werden irgendeinem Cluster zugeordnet mit bestimmter Wahrscheinlichkeit
• Z.B. Gaussian Mixture

• nicht-hierarchisches Clustern
• Anzahl der Cluster (K) warden im Vorraus spezifiziert
• Algorithmus:
  • Jeder Punkt wird mit einem Centroid
  • zufällig oder durch Berechnung zugeordnet
  • Wiederholung bis alle Centroiden und Cluster stabil sind (bzw. maginale Änderungen bei Durchlauf der Schleife)
     

=Sum of Squared Errors

• Bekannteste Maß um Clustering zu bewerten
• Fehler = Distanz vom Punkt zum Centroiden
• SSE = alle Fehler eines Clusters werden quadriert und summiert
• K-Means zielt darauf ab, den SSE zu minimieren

Problem bei der Auswahl zufälliger Startpunkte:

• Wenn es k-natürliche Cluster gibt, ist dieChance einen Centroiden pro Cluster auszuwählen gering
• Iteration bewegt Centroiden nicht immer in die richtige Richtung

Lösung:

• Mehrfache Ausführung des Algorithmus mit zufälligen Centroiden (Selektion immer noch ein Problem)
• Mehr als k zufällige Centroiden (am weitesten entfernte auswählen)
• Manuelles Nachbearbeiten
   

siehe Blatt (=elbow-finding -> graphische Darstellung)

siehe Blatt

SELECT                Welche Attribute soll das Ergebnis enthalten
                               DISTINCT löscht doppelte Ergebnisse

FROM                    Welche Tabellen werden betrachtet

WHERE                 Welche Bedingungen sollen erfüllt sein?
                               LIKE %xxx% schränkt enthaltene Worte ein

GROUP BY           Ergebnisse durch ein/mehrere Attribute gruppieren

HAVING                 Bedingungen, die nur für die Gruppe zählen

ORDER BY           Reihenfolge der Ergebnisse
                               DESC gibt absteigende Reihenfolge an

siehe Blatt

???

siehe Blatt

vgl Blatt

• nominal
• ordinal
• interval
• ratio

• Record
• Graph
• Ordered

• Feature Selection
• Feature extraction
• Sampling
• Encoding
• Outliers
• Missing Values
• Standardizing Data
• Discretization

Stufen der rationalen Entscheidungsfindung

• Intelligenz            -               Untersuchung der Umwelt; Definition des Problems
• Design                  -               mögliche Vorgehensweisen
• Choice                  -               Alternativen analysieren und auswählen und implementieren

Arten von Entscheidungsfindungsprozessen

• Strukturiert
• Unstrukturiert (neuartige Probleme)

Konzepte & Methoden zur Unterstützung von business decision making durch Verwendung von faktenbasierten Unterstützungssystemen

• Betonung liegt auf Logistik der Informationen
• Sammeln und Aufbewahren von Daten
• Anreichern von Daten
• Muster entdecken

• Algorithmen zentrierter Ansatz der Datenanalyse
• Automatisierte Analyse großer Datenmengen und Muster entdecken
• Methoden
  • Predictive/ vorhersagend
  • Descriptive/ beschreibend

Siehe Blatt (Tipp: Daten, Technologie, Zweck/Zielgruppe)

= Knowledge Discovery from Databases

Databases -> DWH -> Data Mining -> Evaluation& Presentation -> Knowledge

Data Warehouse

• Themenorientierte
• Integrierte
• Chronologisierte
• Persistente
• Sammlung von Daten
• Um das Management bei seinen Entscheidungsprozessen zu unterstützen

Data Warehousing: Prozess des Aufbauens und Nutzens eines DWH.

Traditioneller Weg zur Integration heterogener DB:

• Bauen von Wrappern
• Komplexe Informationsfilterung

DWH – Integration im Voraus:

• Informationen aus verschiedenen Quellen werden im Voraus integriert und im DWH gespeichert und stehen für Abfragen zur Verfügung
• Hohe Performance

OLAP = Online Analytical Processing

Online = Zugang zu “live”-Daten
Analytical = Analysieren der Daten für Reporting

Reports sind

• Multidimensional
• Voller Kalkulationen
• Zeitbasierte Analyse
• Ideal für ad-hoc-Anfragen

OLTP

• Hauptaufgabe traditioneller RDBMS
• Tägliche/ operative Aufgaben
• Komplexes Tabellendesign

OLAP

• Hauptaufgabe von DWH-Systemen
• Entscheidungsunterstützung
• Sternschema

• Hohe Performanz für beide Systeme
• Verschiedene Funktionen und verschiedene Daten
  • Entscheidungsfindung benötigt historische Daten (sind nicht im DBMS enthalten)
  • Unterschiedliche Quellen benutzen verschiedene Datenpräsentationen

DWH Modelle

• Enterprise DWH                  sammelt Informationen über Themen des gesamten Unternehmens
• Data Mart                            Teildatenstück, dass für bestimmte Nutzergruppen einen Wert besitzt

Architektur

• Operative Systeme           (Server)                                                maßgebende Aufzeichnung
• ETL                                        (Server)                                                Überführung ins DWH
• DWH                                     (Server)                                                Geschäftsprozessmessung
• Front End                             (Client und Services)                        Präsentation
• User
   

• Teildatenstück, dass für bestimmte Nutzergruppen einen Wert besitzt
• „abhängige Data Marts“ sind Teil eines DWH
• Meist auf low-cost Server implementiert

• Daten über Daten (Namen, Definition, Beschreibung)
• Definieren Warehouse-Objekte
• Beschreiben Felder, die aus ETL-Prozessen entstehen
   

Architekturentwicklung

Empfohlen: Implementierung inkrementell und evolutionär

1. Definieren eines high-level Datenmodells für das gesamte Unternehmen
2. Implementierung eines Enterprise Warehouse und von Data Marts
3. Verteilte Data Marts erstellen
4. DWH ist einziger Verwalter der Daten, welches Daten an Data Marts verteilt