Business Intelligence und Data Mining - Ensembles
Klausurvorbereitung Uni Hamburg 2014 Kapitel: Ensembles
Klausurvorbereitung Uni Hamburg 2014 Kapitel: Ensembles
-
- 1 / 9
-
Cartes-fiches
Was ist der Unterschied zwischen homogenen und heterogenen Ensembles?
Welches sind die Verfahren aus der Vorlesung?
Homogen:
Es werden nur Klassifikationsmodelle eines Typs kombiniert
-Bagging
-Random Forrest
-Boosting (AdaBoost-Algorithmus)
Hetereogen:
Kombination aus verschiedenen Klassifikationsmodellen, Einsatz verschiedener Klassifikatoren
-Stacking
-Ensemble Selection
Beschreiben Sie die Vorgehensweise beim Bagging
1. Aus n Beobachtungen wird eine Stichprobe der Größe n mit Zurücklegen gezogen
2. Der Klassifikatior wird auf diese Stichprobe trainiert
3. Mehrheitsentscheidung zur Prognose neuer Objekte
Wie wird beim Bagging diversifiziert?
Die Diversifikation ist Datengetrieben und erfolgt anhand der Trainingsstichprobe.
Unterschiedliche Daten müssen unterschiedliche Modelle ergeben.
Wann ist Bagging besonders gut geeeignet?
Bagging führt im Fall von instabilen Modellen (Modelle bei denen sich die Struktur stark in Abhängigkeit von den Stichproben ändert) meist du deutlich besseren Vorhersagen.
Bagging hilft nämlich Schwankungen zwischen unterschiedlichen Trainingsdaten auszugleichen.
Erklären Sie die Vorgehensweise beim Boosting.
Zum aktuellen Enselbe werden Klassifikatoren hinzugefügt, die speziell auf die Prognose der derzeitigen Fehlklassifikation trainiert sind. Die endgültige Prognose ist somit ein gewichtetes Mittel.
Die Umsetzung erfolgt mit dem AdaBoost- Algorithmus:
1. Es gibt mehrere Iterationen und jede verwendet unterschiedliche Gewichte für die Trainingsinstanzen.
2. Am Ende werden die Ergebnisse aller Interationen aggregiert, indem die Klassifikatioren anhand ihrer Fehler gewichtet werden.
Was ist Random Forest und wie wird vorgegangen?
Random Forest ist ein Algorithmus speziell für Entscheidungsbäume
In jedem E-Baum wird an jedem Knoten eine bestimmte Anzahl an Merkmalen zufällig ausgewählt und der beste Split unter diesem Merkmalen bestimmt
Danach wird eine Mehrheitsentscheidung getroffen
Wie wird bei Random Forest diversifiziert?
Datengetriebene Diversifikation durch Merkmalauswahl:
Einzelmengen nutzen zufällig ausgewählte Untermengen als Merkmale.
Was ist Stacking und wie wird vorgegangen?
Stacking ist die Gewichtung gemäß der Güte der Einzelmodelle und keine Mehrheitsentscheidung.
Es werden mehrere unterschiedliche Learningalgorithmen mit verschiedenen Stärken und Schwächen auf das selbe Problem angesetzt.
Deren Ergebnis wird mit einem weiteren learning Algorithmus, dessen Aufgabe es ist, zu lernen, welcher Algorithmus in welchen Fällen gute Entscheidungen trifft, zu einem Ergebnis zusammengefasst.
Was ist Enseble Selection und wie wird vorgegangen?
Hier wird mit dem besten Basismodell begonnen und weitere Basismodelle zum Ensemble hinzugefügt, solange sich dabei die Prognosegüte verbessert.
Der Algorithmus wird Hill-Climbing genannt:
1. Beginne mit dem Basis Modell (BM)
2. Füge weitere BMs zum Ensemble hinzu, bis dich die Prognosegüte verbessert hat
3. Durch die Mehrfachziehung von BMs wird eine Gewichtung erlernt
4. Mittelwert der Iterationen bilden
5. Mean-Square-Error (MSE) berechnen
