Datewarehouse


Mehdi Geiger
Diese Lernkarten bieten einen umfassenden Überblick über Data Warehouses und deren Anwendungen im universitären Kontext. Sie decken Themen wie Datenanalyse, OLAP, Data Mining, und Datenqualität ab, wobei Methoden, Vor- und Nachteile sowie praktische Anwendungen im Fokus stehen. Besonders nützlich für Studierende und Fachleute, die sich mit der Verwaltung und Analyse großer Datenmengen beschäftigen, um fundierte Entscheidungen zu treffen und effiziente Systeme zu entwickeln.
Cartes-fiches
50
Utilisateurs
2
Langue
Allemand
Catégorie
Informatique
Niveau
Université
Créé / Mis à jour
21.06.2014 / 29.06.2014

Cartes-fiches

Was ist Shallow Knowledge?

Dieses Wissen kann leicht durch den einsatz von Query Tools aus strukturierten Datenbeständen extrahiert werden

Was ist Multi-dimensional Knowledge?

Diese Informationen können durch gezielte Analysen mit Hilfe von OLAP-Tools in Marketingwissen umgewandelt werden

Was ist Hidden konwledge?

Dieses Wissen ist in Daten und Informationen versteckt und kann durch den Einsatz von Data Mining Techniken eruiert werden

Was ist Deep Knowledge?

Dieses Wissen ist nur Auffindbar, wenn Hinweise oder Anleitungen über sein Domizil vorhanden sind

Beschreiben Sie den Kundenlebenszyklus

1) Aquisation Welchr Kundenbedürfnisse sollen befriedigt werden
2) Corss/Up-Selling Welches Potenzial hat der Kunde
3) Service Differenzierung Wie kann die Kundenprofitabilität langfristig sichergestellt werden
4) Retentionsprogramme Welche Kunden haben ein hohes Abwanderungsrisiko
5) Rückgewinnungsprogramme Welche Kunden sollen zurück gewonnen werden

Definition von Data Mining:

1) Wird im Marketing zur Entdeckung von unbekannten Muster, Trend und Korrelationen mit Hilfe von bekannten Verhaltensschemata aus der Vergangenheit eingesetzt.
2) Spezielle Tools zur Entdeckung von unbekannten Wissen in vorhandenen Unternehmensdaten
3) Ziel ist, den Kunden besser zu verstehen, um bedürfnisgerechte Leistungen zu erbringen
4) Nutzt Datawarehouse als Datenbasis

Zwei Phasen bei der Entwicklung von Data Mining Modellen sind:

1) Trainingsphase
2) Validierungsphase

Methoden von Data Mining:

1) Neuronale Netze
2) Entscheidungsbäume
3) Clustering Algorithmen => Gruppierungen
4) Warenkorbananalysen => wer kauft A kauft auch B

3 wichtige Schritte der Data Mining Prozesse

1) Datenaufbereitung (Bereinigungsprozesse, Stichprobeziehung, Modifikation, Selektion)
2) Datenanalyse (Assoziationsanalyse, Multivariateanalyse, Klassifizierung, Prognose)
3) Datenintegration (Erkennung von Muster, Trend und Strukturen)

Vorteile von Data Mining Verfahren helfen dabei

1) Bestehende Kunden zu analysieren 2) Kundenprofile zu erstellen und diese mit potenziellen Kunden zu vergleichen 3) Für jeden potenziellen Kunden wird eine Reaktionswahrscheinlichkeit berechnet 4) Kontaktiert werden diejenigen Kunden mit der größten Wahrscheinlichkeit zu reagieren 5) Dadurch lassen sich Kosten senken, da nur ein Teil der Zielgruppe angeschrieben wird

Unterschiede zw. Data Mining und Datawarehouse:

Im Gegensatz zu Data Warehouses, in deren Mittelpunkt die zentrale Bereitstellung von Daten steht, konzentriert sich das Konzept des Data Minings auf die Nutzung der Information aus diesen Datenbeständen

Data Mining vs. OLAP:

Olap: die Warum-Frage; Analyse vorhandenen Daten Data Minig: die Einsicht, das Verständnis, der Zusammenhang; Gewinnung von neuem Wissen

Das Konzept des Data Warehousing:

Ist Basis für Berichts- und Controllingssysteme

Vorteile Data Warehousing:

1) Keine Beeinträchtigung der kritischen Applikationen
2) Zusammenführen verschiedener Datenquellen (Single Point of Information)
3) Bereinigung der Daten (ETL-Prozess) ermöglicht eine einheitliche Sicht auf die Daten
4) Aggregation der Daten für Analysezwecke
5) Basis für tiefergehende Analyse: Data Mining, Scenarios, What?if, OLAP, Drilldown, Slice&Dice
6) Mehr Wissen – Konkurrenzvorsprung

Nachteile Data Warehousing:

1) Prozess, kein Projekt
2) Enorme Größe; inkrementelles Vorgehen
3) Kosten, v.a. für ständige Pflege
4) Nutzung / Akzeptanz der Endbenutzer
5) Strategien im Bezug auf Technologien und Tools, Einschränkungen
6) Up-to-date, Aktualität der Daten

Definition von Business Intelligence:

Alle Werkzeuge und Anwendungen mit entscheidungsunterstützendem Charakter zählen, die zur besseren Einsicht in das eigene Geschäft und damit zum besseren Verständnis in die Mechanismen relevanter Wirkungsketten führen

Business Intelligence umfasst

1) Systemkomponenten, die Informationen aufbereiten und speichern

2) Werkzeuge für die Wissensgenerierung

3) Auswertungs- und Präsentationsfunktionalität

OLAP (Online Analytical Processing):

Ist die Technologie, die Managern wie qualifizierten Mitarbeiter interaktive und vielfältige Zugriffe auf relevante und konsistente Informationen ermöglichen soll. D.h. analytische Auswertung von Daten und Informationen

OLTP (Online Transaction Processing):

Unterstützt transaktionsorientiert die Abwicklung operativer Geschäftstätigkeit. D.h. operative laufende Tagesgeschäft

Was sind CRM-Systeme?

Konzentrieren sich auf die Ablage und Verwaltung aller Kunden die beim Kundenkotakt anfallen. Hier werden Kundendaten analysiert, um Kunden besser zu verstehen Anwendungsfelder sind: Kundensegmentierung, Kampagnemanagement, Churn Management, Kundenwert

DSS (Decision Support Systems):

Liefern wichtige Informationen, damit Managers Situationsanalyse durchführen und darauf basierend Entscheidungen treffen können

KDD (Knowledge Discovery in Databases and Data Mining):

bietet prozessorientierten Rahmen an, um aus Rohdaten neues und gültiges Wissen abzuleiten, welches sich verständlich und nachvollziehbar erweist

BSCS (Balanced Scorecard Systeme):

Werden als Führungsinstrumente eingesetzt, um Entscheidungsträgern einen raschen und nachvollziehbaren Einblick in aktuelle Unternehmens- und Marktsituation zu verschaffen.
Hat 4 zentralen Themen:
- Kunden,
- Finanzen,
- Prozesse und
- Innovationen und bildet diese durch Kennzahlen ab.

Der ETL-Prozess:

1) Extraktion: In diesem Schritt erfolgt die Selektion der Daten in eine oder mehrere Zwischenspeicher. Es lassen sich 2 Vorgehen unterscheiden:
• Die Daten des operativen Systems werden 1:1 in die Zwischenspeicher kopiert.
• Eine untermenge der benötigten Datensätze werden übernommen. (selten!)

2) Transformation: In diesem Schritt wird das syntaktische (Anpassung der Formate) und semantische (Eliminierung von sinnlosen Feldern) bereinigen der Daten und Datenstrukturen vorgenommen.

3) Laden: Nach Abschluss der Transformationen können die Daten in die entsprechenden Data Warehause-Strukturen geladen werden

In einem Data Warehouse werden aus betrieblicher Sicht folgende Datenarten abgelegt

1) Daten des Leistungserstellungsprozesses aus den operativen Systemen => Daten aus Produktion, Marketing
2) Externe Daten => Daten zu potenziellen Kunden, soziodemografische oder mikrogeografische Daten, Markforschungsdaten
3) Alle Arten von transformierten Daten
4) Metadaten => sehr differenzierte Datenbeschreibungen bzgl. Quelle, Lage, Bedeutung, Struktur, Inhalt
5)Anwendungsdaten => von Abfragen und Data?Mining?Prozessen

Kundendaten lassen sich in drei unterschiedliche Gruppen unterteilen:

1) Adressdaten z.B. Name, Vorname, Titel, Beruf usw.
2) Zusatzdaten z.B. Telefonnummer, Alter, Kaufkraft, Wohnsituation
3) Reaktionsdaten z.B. Gewinnungsweg, Käufe, Zahlungsinformationen usw.

Was ist Datenqualität?

Qualitätsdaten sind Daten, deren Eigenschaften den Anforderungen der Verwendung in Betrieb, Entscheidungsfindung und Planung entsprechen.

5 Phasen der Datenbereinigung:

1. Incoming Data Sources
2. Parsing(syntaxanalyse), Correction, Standardization, Enhancement(Anreicherung)
3. Matching (Anpassung)
4. Consolidation (Zusammenführen)
5. Data Warehouse

Überwachung der Datenqualität: (EDQM)

Enterprise Data Quality Management (EDQM) ist ein Standardprozess und hat folgende Merkmale: d.h. der Prozess muss: 1) klar definiert sein 2) wiederholbar sein 3) einen Prozess – Owner haben 4) hat als Resultat wiederverwendbare Daten 5) erfasst Daten so nah an der Quelle wie möglich 6) beinhaltet eine Fortschrittskontrolle 7) unterstützt die Verbesserung fas Datenmodells und die unternehmensweiten Datensichten

Die Konsistenzprüfung besteht aus drei Schritten:

1) Prüfung auf Vollständigkeit und Format
2) Prüfung innerhalb des Datensatzes
3) Prüfung innerhalb des Data Warehouse

Die Schlüsselfaktoren für eine gute Datenqualität sind:

1) Fundierte Analyse der Datenquellen
2) Definition der Kennwerte und Qualitätsattribute
3) Robuste und performante Infrastruktur
4) Klare Verantwortung und Kompetenzen definieren
5) Enge Zusammenarbeit von IT – und Business-Abteilung

OLAP (Online Analytical Processing):

Abfragemethode, die Endbenutzern einen mehrdimensionalen schnellen Zugriff und eine benutzerfreundliche interaktive Analyse auf Data Marts ermöglicht.

Vorteile von OLAP:

Benutzerfreundlich, mehrdimensional, detaillierend und zusammenfassend, analysierend, schnell, Data Mart orientiert

OLAP zeichnet sich aus durch:

1) Filtern: Datenauswahl
2) Drilling Down and Up: Zusammenfassung entlang einer beliebigen Dimension
3) Drilling Through: Detailzugriff auf Produktionsdaten
4) Drilling Across: Zugriff auf mehrere Data Marts
5) Slicing and Dicing: Wahl und Abwahl beliebiger Dimensionen

Methoden des Data Mining:

1) Churn Entscheidungsbaum
2) Neuronale Netze
3) Warenkorbanalyse
4) Clustering
5) Web Mining

Das Kernstück der Gesamtarchitektur ist eine EAI-Komponente (Enterprise Application Integration), die alle wesentlichen Dienste im Bereich der Datenlogistik bereitstellt:

1) Versorgung des Data Warehouse mit Daten aus den operativen Systemen
2) Versorgung der Data Marts mit Daten aus dem Data Warehouse
3) Datentechnische Verknüpfung von Front-End-Applikationen mit operativen Systemen
4) Versorgung der Front-End-Applikationen aus den Data Marts
5) Versorgung eines Operational Data Store (ODS) mit Daten aus den verschiedenen operativen Applikationen

Vorteile einer Datenintegrierenden Architektur:

1) Integration von analytischen und operativen Daten
2) Minimierung der Schnittstellen
3) geringere Wartungskosten
4) Integration der Metadaten

Entwicklungsphasen eines Data Warehouse

1) Spezifikation (Anforderungsdefinition): Was ist das Ziel? • Ist?Analyse • Soll?Analyse
2) Realisierung: Wie soll das Ziel erreicht werden? • Entwurf Logische Datenmodellierung Physische Datenmodellierung Dialogentwurf Modularisierung • Implementation Deklarative Implementation (Daten, Abfragen) Prozedurale Implementation (Prozeduren) Modul? und Systemtest • Betrieb Installation Wartung
3) Planung und Kontrolle

Allgemeine Anforderungen eines Data Warehouse

1) Abbildungstreue : einfache Abbildung betrieblicher Fakten und Dimensionen
2) Benutzerfreundlichkeit : Mehrdimensionalität, Drilling, Slicing and Dicing, Visualisierung, Views
3) Flexibilität : Ausbaubarkeit von Clients, Servern und Netz, vordefinierte und ad hoc?Abfragen
4) Performance : Durchsatz, Laufzeiteffizienz, Speichereffizienz
5) Verfügbarkeit : Multiprozessoren, Festplattenspiegelung
6) Wartbarkeit : Synchronisation mit OLTP, Metadatenverwaltung
7) Kompatibilität : Data Mining Tools, Produktionsdatenbanken, Anwendungssoftware

Systemownership Modell für DWH:

Dataowner: ist verantwortlich für folgende Aufgaben seines Teilmarktes:
1) Sicherstellung der Datenqualität: welche Daten, Definition der Q?Standarts
2) Sicherstellung der Wirtschaftlichkeit
3) Nutzung der Daten für Auswertungs? und Marktbearbeitungsprozesse
4) Entscheidet wie die Daten anhand der spezifischen Bedürfnisse erweitert bzw. verdichtet werden
5) Stellt sicher, dass der Dateninhalt den aktuellen und zukünftigen Bedürfnissen gerecht wird Dataownership: wird von den Dataowners wahrgenommen Strategische Ausrichtung: strategische Positionierung des Systems
1) Abstimmung mit der Unternehmensstrategie
2) Entwicklung des Systems bezüglich Kundenorientierung vorantreiben
3) Markt? und Technologische Trends
4) Planung der Weiterentwicklung im Auftrag des Systemowners

Étudier