Datawarehouse Technologien

FASMI steht für „Fast Analysis of Shared Multidimensional Information“ und besagt im Einzelnen:

1. Fast:
   Abfragen sollen durchschnittlich fünf Sekunden dauern dürfen. Dabei sollen einfache Abfragen nicht länger als eine Sekunde und nur wenige, komplexere Abfragen bis zu 20 Sekunden Verarbeitungszeit beanspruchen.
2. Analysis:
   Ein OLAP-System soll jegliche benötigte Logik bewältigen können. Dabei soll die Definition einer komplexeren Analyseabfrage durch den Anwender mit wenig Programmieraufwand zu realisieren sein.
3. Shared:
   Ein OLAP-System soll für den Mehrbenutzerbetrieb ausgelegt sein. Dies bedingt eine Verfügbarkeit geeigneter Zugriffsschutzmechanismen.
4. Multidimensional:
   Als Hauptkriterium fordern Pendse und Creeth eine mehrdimensionale Strukturierung der Daten mit voller Unterstützung der Dimensionshierarchien.
5. Information:
   Bei der Analyse sollen einem Anwender alle benötigten Daten transparent zur Verfügung stehen. Eine Analyse darf nicht durch Beschränkungen des OLAP-Systems beeinflusst werden.

• Multidimensionales Datenmodell ist auf die Unterstützung der Analyse ausgelegt
• Datenanalyse im Entscheidungsprozess
  • Betriebswirtschaftliche Kennzahlen stehen im Vordergrund
    => Fakten (z.B. Umsatz, Kosten, Gewinn)
  • Betrachtung der betriebswirtschaftlichen Kennzahlen aus unterschiedlichen Perspektiven
    => Dimensionen (z.B. Zeit, Raum etc.)
  • Unterteilung der Auswertungsdimensionen möglich
    => Hierarchien / Konsolidierungsebenen (z.B. Jahr, Quartal, Monat)

• Qualifizierende Informationen
  • Repräsentiert durch Kategorienattribute
  • Daten zur Nutzung als Navigationsraster
  • Modelliert als Begriffshierarchien im Rahmen von Dimensionen
• Quantifizierende Informationen
  • Bilden Gegenstand der Auswertung
  • Zellen eines Würfels (mit Dimensionen als Kanten)

• Eine Dimension beschreibt eine mögliche Sicht auf assozierte Kennzahlen
• Endliche Menge von n Dimensionselementen, die eine semantische Beziehung aufweisen
• Dienen der orthogonalen Strukturierung eines Datenraumes
• Beispiele: Produkt, Filialstruktur, Geschäftsjahr

• Einfache Hierarchien
• Parallele Hierarchien

• Höhere Hierarchiebene enhält die aggregierten Werte genau einer niedrigen Hierarchiestufe
• Oberster Knoten: Top (Enthält nur einen Wert)

• Innerhalb einer Dimension sind mehrere unabhängige Arten der Gruppierung möglich
• Keine hierarchische Beziehung zwischen parallelen Zweigen
• Oberster Knoten ist immer noch Top

Kategorienattribute dienen zur inhaltlichen Verfeinerung durch unterschiedliche Rollen:

1. Primärattribut:
   • Kategorieattribut das alle anderen Attribute einer Dimension bestimmt
   • Definiert maximale Granularität
   • Beispiel: Auftragsposition
2. Klassifikationsattribut:
   • Element der Menge, das mehrstufige Kategorisierung bildet
   • Beispiel: Produkt, Produktgruppe, Produktkategorie
3. Dimensionales Attribut:
   • Element der Menge der Attribute, die vom Primärattribut oder einem Klassifikationsattribut bestimmt werden und nur Top bestimmen
   • Beispiel: Regalposition

Kennzahlen / Fakten:

• Verdichtete numerische Messgrößen
• Beschreiben betriebswirtschaftliche Sachverhalte

Fakt:

• Maßzahl

Kennzahlen:

• Aus Fakten konstruiert (abgeleitete Kennzahl)
• Durch Anwendung arithmetischer Operationen

Beispiele:

• Umsatz, Kosten, Gewinn
• Deckungsbeitrag, ROI
• Umsatzsteigerung

Eine Kennzahl M ist definiert durch

• Granularität G
• Berechnungsvorschrift f() über Fakten
  • Skalarfunktionen
  • Aggregatfunktionen
  • Ordnungsbasierte Funktionen
• Berechnung über nichtleere Teilmenge der im Schema existierenden Fakten

• Summierbarkeit
• Diksjunktheit
  => Jeder Wert geht bei der Berechnung nur einmal ins Ergebnis ein
• Vollständigkeit
  => Kennzahlen auf höherer Aggregationsebene lassen sich komplett aus Werten tieferer Stufen berechnen

OLAP-Würfel:

• Grundlage der multidimensionalen Analyse
• Dient zur logischen Repräsentation von Daten

Aufbau:

• Kanten → Dimensionen
• Zellen → Ein oder mehre Kennzahlen (als Funktion der Dimensionen)
• Anzahl der Dimensionen → Dimensionalität

1. Slicing:
   Ausschneiden von Scheiben aus dem Datenwürfel
2. Dicing:
   Gleichzeitige Slicing-Vorgänge in unterschiedlichen Dimensionen. Hierbei wird ein kleinerer Würfel erzeugt, der einen Teilbereich des Gesamtwürfels enthält.
3. Pivoting / Rotation:
   Drehen des Datenwürfels, so dass mindestens eine andere Dimension sichtbar wird
4. Drill-down:
   Aggregationen eines Informationsobjekts auf detaillierte Werte herunterbrechen; „Hereinzoomen“
5. Drill-Up/Roll-Up:
   Gegenoperation zu Drill-Down; Verdichten auf höhere Hierarchiestufe (z. B. von der Monats- auf die Jahressicht)
6. Drill-Across:
   Dimension auf der gleichen Hierarchiestufe; Betrachtung der benachbarten Dimensionselemente (andere Region, anderes Produkt, anderer Monat)
7. Drill-Through / Drill-In:
   Verfeinerung bis auf höchsten Detaillierungsgrad (z. B. Stammdatensatz, Transaktionsbeleg)
8. Split:
   Der Split Operator ermöglicht es, einen Wert nach weiteren Dimensionen weiter aufzuteilen, um weitere Detailstufen zu erreichen (z. B. den Umsatz einer Filiale für eine bestimmte Menge von Produkten)
9. Merge:
   Im Gegensatz zu Split wird hier die Granularität durch das Entfernen zusätzlicher Dimensionen wieder verringert.

Interne Verwaltung der Daten erfodert Umsetzung auf:

• Relationale Strukturen (Tabellen)
  → ROLAP (relationales OLAP)
• Multidimensionale Strukturen (direkte Speicherung)
  → MOLAP (multidimensionales OLAP)
• Hybride Struktur (Mischform)
  → HOLAP (hybrides OLAP)
  • Detaildaten werden relational gespeichert (ROLAP)
  • Aggregate werden multidimensional abgespeichert (MOLAP)
     

Ausgangspunkt:

Umsetzung des Datenwürfels ohne Klassifikationshierarchien

Aufbau:

• Dimensionen, Kennzahlen → Spalten der Relation
• Zelle → Tupel

• Snowflake-Schema
• Star-Schema
• Mischformen (Galaxy-Schema)

• Abbildung einer Klassifikationsstufe in einer eigenen Tabelle
• Dimensionstablle enthält
  • ID für Klassifikationsknoten
  • Beschreibendes Attribut (z.B. Marke, Hersteller)
  • Fremdschlüssel der übergeordneten Klassifikationsstufe
• Faktentabelle enthält:
  • Fremdschlüssel der jeweils niedrigsten Klassifikationsstufe
  • Fremdschlüssel bilden zusammengesetzen Primärschlüssel für Faktentabelle

• Snowflake-Schema ist normalisiert: Vermeidung von Update-Anomalien (Aber JOIN über mehrere Tabellen)
• Denomalisierung der zu einer Dimension gehörenden Tabellen
• Für jede Dimension genau eine Dimensionstabelle
• Redundanzen in der Dimensionstabelle für schnellere Anfragen

• Mit wachsender Anzahl von Dimensionen und Klassifikationsstufen braucht das Snowflake-Schema mehr Speicherplatz
• Anfrageformulierung ist beim Star-Schema deutlich kürzer als beim Snowflake-Schema, da JOINS vermieden werden
• Hohe Redundanz beim Star-Schema

Horziontale Darstellung:

• Spalten der Tabelle sind Stufen der Klassifikationshierarchie
• Vorteil:
  • Keine JOINS nötig
  • Höhere Performance
• Nachteil:
  • Hohe Redundanz

Vertikale Darstellung:

• Normalisierte Dimensionstabelle mit Attributen
  • Dimensions_ID: Schlüssel für Faktentabelle
  • Eltern_ID: Attributwert der Dimensions-ID der nächsthöheren Stufe
• Vorteile:
  • Einfache Änderung am Klassifikationsschema
  • Einfache Behandlung vorberechneter Aggregate
• Nachteile:
  • Self-Join für Anfragen einzelner Stufen (Bsp.: Produktgruppe
    innerhalb einer Kategorie)
  • Schlechtere Performance als bei horizontaler Darstellung

Kombiniert:

• Repräsentation der Klassifikationsstufen als Spalten (jedoch generische Bezeichnung)
• Speicherung der Knoten aller höheren Stufen als Tupel
• Zusätzliches Attribut „Stufe“ → Angabe der bezeichneten Klassifikationsstufe

• hohes Datenvolumen
• Datenmodellierung (da Zeitbezug -> mehrere Dimensionen)
• Integration verschiedener heterogener Datenbestände

Informationsbereitstellung:

• Daten und Informationen als Grundlage für betriebliche Entscheidungen
• Einfluss auf zukünftiges Betriebsergebnis und auf die Abwicklung von Geschäftsprozessen
• Anwender: Manager, Abteilungsleiter, Fachkräfte

Analyse:

• Detaillierte Analyse der Daten zur Untersuchung auf Abweichungen oder Auffälligkeiten
• Beliebtes Mittel: Szenariotechnik
• Anwender: Spezialisten (z.B. im Controlling, Marketing)

Planung:

• Unterstützung durch explorative Datenanalyse
• Aggregierung von Einzelplänen
• Prognoseverfahren (z.B. statistische saisonale Modelle)

Kampagnenmanagement

• Untersützung strategischer Kampagnen
• Kundenanalyse, Portfolioanalyse, Risikoanalyse

• Fachorientierung (subject orientation):
  Der Zweck der Datenbasis liegt nicht auf der Erfüllung einer spezifischen Aufgabe, sodern auf der Modellierung eines spezifischen Anwendungsziels.
• Integrierte Datenbasis (integration):
  Die Datenverarbeitung findet auf integrierten Daten aus mehreren (unabhängigen) Datenbanken statt.
• Nicht flüchtige Datenbasis (non-volatile):
  Die Datenbasis ist als stabil zu betrachten, d.h. Daten, die einmal in das Data Warehouse eingerbracht wurden, werden nicht mehr entfernt oder geändert.
• Historische Daten (time variance):
  In einem Data Warehouse werden Daten über einen längeren Zeitraum gespeichert.
   

Data Warehousing (Synonym: Data Warehouse Prozess) umfasst alle Schritte des Datenbeschaffungsprozesses, das Speichern und Analysieren von Daten.

Ein Data-Warehouse-System ist ein Informationssystem, bestehend aus allen für den Data-Warehouse-Prozess notwendigen Komponenten. Dies sind die Komponenten des Datenbeschaffungsprozesses und der Analyse, der Metadatenmanager, der Data-Warehouse-Manager und die Datenbanken.

Der Datenbeschaffungsprozess ist der Vorgang, bei dem Daten aus Quellsystem in die Basisdatenbank eingebracht werden. Er ist in die Teilschritte Extraktion, Transformation und Laden unterteilt (ETL-Prozess).

• Extraktion:
  Selektion eines Teils der Daten aus den Datenquellen, um sie der nachfolgenden Transformation zur Verfügung zu stellen.
• Transformation:
  Anpassung der Daten an vorgegebene Qualitäts- und Schemaanforderungen.
• Laden:
  Letzter Schritt des ETL-Prozesses, bei dem die Daten aus dem Arbeitsbereich in die Basisdatenbank oder von dort in das Data Warehouse physisch eingebracht werden. Zur Optimierung werden die Daten häufig aggregiert.

"Unter Business Intelligence wird ein integrierter, unternehmensspezifischer, IT-basierter Gesamtansatz zur betrieblichen Entscheidungsunterstützung verstanden."

Anhand dieser Definition könnnen zwei Abgrenzungen gegenüber dem Begriff "Data Warehouse" abgeleitet werden:

• Bei BI werden neben Daten auch Strategien, Prozesse, Anwendungen und Technologien integriert
• Neben der Analyse der Daten wird die Erzeugung von Wissen im Geschäftsumfeld gefordert

=> Damit kann Data Warehouse als Teil von Business Intelligence betrachtet werden.

Online Transactional Processing (OLAP):

• Erfassung und Verwaltung von Daten
• Verarbeitung uter Verantwortung der jeweiligen Abteilungen (z.B. Personalabteilung)
• Transaktionelle Verarbeitung: kurze Lese-/Schreibzugriffe auf wenigen Datensätzen

Online Analytical Processing (OLAP):

• Analyse im Mittelpunkt
• Lange und komplexe Abfragen auf vielen Datensätzen
• Integration, Konsolidierung und Aggregation der Daten

(siehe Abbildung)

(siehe Abbildung).

(siehe Abbildung).

Aus Sicht des Data Warehousing sind vor allem folgende Anforderungen relevant:

1. Unabhängigkeit
   Die Architektur muss unabhängig bezüglich laufender Änderungen in den Datenquellen sein. Außerdem muss es die Möglichkeit gebe, die Daten beliebig zu be- und verarbeiten, ohne dass sich das auf die Quellsysteme auswirkt.
2. Persistenz:
   Dauerhafte Bereitstellung integrierter Detail- und abgeleiteter Daten von Teilen der Quelldaten.
3. Mehrfachverwendbarkeit:
   Die bereitgestellten integrierten und transformierten Daten müssen mehrmals verwendet werden können.
4. Flexibilität:
   Möglichkeit mit den integrierten und abgeleiteten Daten prinzipiell beliebige Auswertungen vornehmen zu können.
5. Individuelle Sichten:
   Bereitstellung von anwenderspezifischen Datenbeständen mit Inhalt; Struktur und Dauerhaftigkeit, wie sie die Anwender für ihre Auswertungen benötigen
6. Erweiterbarkeit:
   Möglichkeit der Erweiterung ohne bestehende Ablagestrukturen des Data Warehouse verändern zu müssen (z.B. Integration neuer Quelldaten)
7. Automatisierung:
   Weitestgehende Automatisierung der Abläufe, Prozesse und Prozessschritte

(siehe Abbildung).

Der Data-Warehousing-Prozess besteht aus folgenden sechs Phasen:

1. Überwachung der Datenquellen auf Veränderungen (Monitore)
2. Kopieren der relevanten Daten mittels Extraktion in den temporären Datenbereinigungsbereich
3. Transformation der Daten im Datenbereinigungsbereich (Bereinigung, Integration)
4. Kopieren der bereinigten Daten in die Basisdatenbank als Grundlage für verschiedene Analysen
5. Befüllen der Datenwürfel (OLAP-Würfel)
6. Analyse

• Zentrale Komponente eines Data-Warehouse-Systems
• Zuständig für die Initiierung, Steuerung und Überwachung der einzelnen Prozesse (Ablaufsteuerung)
• Initiierung des Datenbeschaffungsprozesses
  • In regelmäßigen Zeitabständen
  • Bei Änderung einer entsprechenden Quelle
  • Auf explizites Verlangen des Anwenders
• Nach Auslösen des Ladeprozesses:
  • Überwachung der weiteren Schritte
  • Koordination der Reihenfolge der Verarbeitung
• Im Fehlerfall:
  • Dokumentation der Fehler
  • Wiederanlaufmechanismen einleiten
• Zugriff auf Metadaten aus dem Reposority
  • Steuerung des Ablaufs
  • Parameter der Komponenten

Datenquellen = Lieferanten der Daten für ein Data Warehouse

Eigenschaften:

• Gehören nicht direkt zum Data-Warehouse, sind jedoch Ausgangspunkt von Data Warehousing
• Können intern oder extern sein
• Heterogen bzgl. ihrer Struktur, Inhalt und Schnittstellen
• Auswahl der Quellen und Qualität der Daten von besonderer Bedeutung

• Der Zweck des Data-Warehouse-Systems
• Die Qualität der Quelldaten
• Die Verfügbarkeit der Quelldaten (rechtlich, sozial, organisatorisch, technisch)
• Der Preis für den Erwerb der Quelldaten

• Herkunft (intern / extern)
• Zeit (aktuell / historisch)
• Nutzungsebene (Primärdaten / Metadaten)
• Inhalt
• Darstellung (numerisch, alphanumerisch)
• Sprache und Zeichensatz
• Vertraulichkeitsgrad

(siehe Abbildung)