dl4g
dl4g
dl4g
Was ist Regularisierung?
• zur loss-Funktion wird eine penatly-Funktion addiert
• penatly-Funktion ist abhängig von den Gewichten
Was ist L2 Regularisierung?
• Quadrat der Gewichte zur loss-Funktion addieren
• Ensemble method:
– Abstimmung von mehreren separat trainierten Netzwerken
• Dropout:
– Zufällig Knoten mit 0 multiplizieren
– Netzwerk muss mehrere Wege finden
• Early stopping:
– Stoppen wenn Fehler des Validation-Sets beginnt zu wachsen
– Lernen der benötigten Anzahl Trainingsschritte (Hyperparameter)
Was ist der Unterschied zwischen einem non-deep und deep neural network?
• deep neural network erkennt die Features selbständig
• es werden nur noch die Daten benötigt
Was ist ein convolutional neural networks?
• es sind nicht alle Knoten mit dem vorherigen Layer verbunden
• die Gewichte werden für jede Position geteilt
Was bedeutet Regularisierung und wieso wird es gebraucht?
• Penatlty auf den Gewichten
• z.B. Quadrate der Gewichte zur Loss-Funktion addieren
• um eine glättere Kurve zu bekommen
• verhindert overfitting
Was bedeutet Dropout und wieso wird es gebraucht? (RL)
• verwirft zufällig Knoten (auf 0 setzen)
• zwingt das Netzwerk Alternativen zu finden
• gibt stabileres Netzwerk
Was ist die Idee hinter Inception und Res-Net?
• Inception
– mehrere Layer nebeneinander und dann addieren
• Res-Net
– Shortcut zwischen einzelnen Knoten
– einfacheres Lernen von komplizierten Netzwerken
Was ist reinforcement learning?
• Ziel: Reward maximieren
• Reward kann durch Aktionen verändert werden
• Aktionen beeinflussen die Umgebung
Was ist reinforcement learning nicht?
• supervised learning
– es gibt keinen Supervisor der sagt was richtig ist
• unsupervised learning
– es werden auch keine Strukturen gesucht
Was sind die Eigenschaften von Reinforcement Learning?
• Verzögertes Feedback
• Zeit ist relevant
• Aktionen beeinflussen die Umgebung und die Daten
Was ist das Ziel von Reinforcement Learning?
Ein Reward Rt ist ein Feedback das angibt, wie gut sich der Agent zum Zeitpunkt t verhält
Welche Arten von RL Agenten gibt es?
• Value based: No Policy (implicit), Value Function
• Policy Based: Policy, No Value Function
• Actor Critic: Policy, Value Function
• Model Free: Policy and/or Value, No Model
• Model: Policy and/or Value Function, Model
Welche Varianten von greedy Algorithmen gibt es?
• greedy:
– Aktion wählen mit dem Maximalen geschätzten Wert
• non greedy:
– Zufällige Aktion wählen
• E-greedy
– mit Wahrscheinlichkeit beliebige Aktion auswählen
– mit 1 - Wahrscheinlichkeit maximale Aktion wählen
Wie kann eine Policy ausgearbeitet werden?
• Beginnen mit einer zufälligen Policy
• Berechnen der Value-Function v unter Berücksichtigung der aktuellen Policy
• Policy verbessern durch greedy-Auswahl der Aktionen aus v
• Wiederholen bis sich die Policy nicht mehr verändert
Wie funktioniert Backward Induction?
Wie funktioniert der Minimax-Algorithmus?
Was ist die Formel für UCB?
Erklären Sie den Algorithmus, welcher 1997 in Schach gewonnen hat.
Wie heissen die 4 Phasen von MCTS und wie würden diese visuell aussehen?
Was sind die Eigenschaften von endlichen-sequenziellen Spielen?
• eine endliche Anzahl Spieler mit einer endlichen Anzahl Aktionen
• die Aktionen werden sequenziell ausgewählt
• es wird eine endliche Anzahl Runden gespielt
• spätere Spieler sehen die Aktionen vorheriger Spieler
Was wird unter perfect recall verstanden?
perfekte Erinnerung an alle vorherigen Züge
Was ist eine Strategie?
sagt einem Spieler welche Aktion in diesem Zug auszuführen ist
Was ist eine Strategie Profil?
die ausgewählte Strategie eines Spielers
Was ist eine utility oder payoff function?
berechnet das Resultat für jede Aktion
Was sind die Komplexitätsfaktoren bei einer Spielanalyse?
• Anzahl Spieler
• Grösse des Suchraums (Anzahl gespielte Züge und Anzahl mögliche Aktionen)
• Kompetitiv vs. Kooperativ
• Stochastische Spiele (mit Zufall) vs. Deterministisch
• Perfekte vs. Nicht perfekte Information
Was ist nicht perfekte Information?
• das Spiel konnte nur teilweise beobachtet werden
• z.B. kennt man nicht die Karten der anderen Spieler
Was sind Beispiele von Spielen mit perfekte und nicht perfekter Information?
• Perfekt (Schach)
• Nicht perfekt (Jass)
Was ist ein Suchbaum?
• Knoten sind Spielpositionen / Spielzustände
• Kanten sind Aktionen / Spielzüge
• Blätter werden durch payoff functions definiert
Wie funktioniert Backward Induction?
• Baum von unten nach oben durcharbeiten
• immer bester Weg für den aktuellen Spieler markieren
• für sequenzielle endliche Spiele mit perfekter Information geeignet
Was bedeutet Rationalität?
Spieler nimmt nicht die schlechtere Alternative
Welche Arten von Lösungen werden bei endlichen-sequenziellen Spielen unterschieden?
• ultraschwach
– hat der erste Spieler ein Vorteil
– beispielsweise durch Existenzbeweise in Mathe
– Wissen das erste Personen einen Vorteil hat
– ohne genaue Strategie zu kennen
• schwache Lösung
– kann ein komplettes Spiel durchspielen
– Annahme dass der Gegner sich rational verhält
• starke Lösung
– immer durchsetzbar auch wenn nicht erster Spieler
– kann von jeder Position aus gewinnen
Was wird unter einem Nullsummenspiel verstanden?
• Vorteil für einen Spieler ist zum Nachteil des anderen Spielers
• Punktesumme für zwei Strategien ist immer 0
Was sind die Charakteristiken des Minimax-Algorithmus?
• gilt nur für einen Nullsummenspiel
• zwei Möglichkeiten / Ziele
– eigenen Gewinn maximieren
– Gewinn des Gegners minimieren
Wie funktioniert der Minimax-Algorithmus?
• wenn der Knoten mir gehört: Aktion wählen die den payoff maximiert
• wenn der Knoten dem Gegner gehört: Aktion wählen die den payoff minimiert
• wenn es einen Endknoten ist: payoff berechnen
Was versteht man unter Search Tree Pruning?
• nicht relevante Teilbäume weglassen
• Reduzierung des Rechenaufwands
Was ist der Vorteil von Alpha-Beta-Pruning?
• b = Anzahl Kanten pro Knoten
• m = Tiefe des Baumes
• von O(bˆm) nach O(bˆ(m/2))
• halbieren der Tiefe des Suchbaume
Wieso werden Random Walks eingesetzt? (TreeSearch)
• Suchraum ist oft zu grosse für eine vollständige Suche
• die Idee bei minimax ist bei einer bestimmten Tiefe zu stoppen und zu raten
• eine alternative ist der Monte Carlo Tree Search
-
- 1 / 95
-
Flashcards
Was bedeutet Regularisierung und wieso wird es gebraucht?
• Penatlty auf den Gewichten
• z.B. Quadrate der Gewichte zur Loss-Funktion addieren
• um eine glättere Kurve zu bekommen
• verhindert overfitting
Was bedeutet Dropout und wieso wird es gebraucht? (RL)
• verwirft zufällig Knoten (auf 0 setzen)
• zwingt das Netzwerk Alternativen zu finden
• gibt stabileres Netzwerk
Was ist die Idee hinter Inception und Res-Net?
• Inception
– mehrere Layer nebeneinander und dann addieren
• Res-Net
– Shortcut zwischen einzelnen Knoten
– einfacheres Lernen von komplizierten Netzwerken
Was ist reinforcement learning?
• Ziel: Reward maximieren
• Reward kann durch Aktionen verändert werden
• Aktionen beeinflussen die Umgebung
Was ist reinforcement learning nicht?
• supervised learning
– es gibt keinen Supervisor der sagt was richtig ist
• unsupervised learning
– es werden auch keine Strukturen gesucht
Was sind die Eigenschaften von Reinforcement Learning?
• Verzögertes Feedback
• Zeit ist relevant
• Aktionen beeinflussen die Umgebung und die Daten
Was ist das Ziel von Reinforcement Learning?
Ein Reward Rt ist ein Feedback das angibt, wie gut sich der Agent zum Zeitpunkt t verhält
Welche Arten von RL Agenten gibt es?
• Value based: No Policy (implicit), Value Function
• Policy Based: Policy, No Value Function
• Actor Critic: Policy, Value Function
• Model Free: Policy and/or Value, No Model
• Model: Policy and/or Value Function, Model
Welche Varianten von greedy Algorithmen gibt es?
• greedy:
– Aktion wählen mit dem Maximalen geschätzten Wert
• non greedy:
– Zufällige Aktion wählen
• E-greedy
– mit Wahrscheinlichkeit beliebige Aktion auswählen
– mit 1 - Wahrscheinlichkeit maximale Aktion wählen
Wie kann eine Policy ausgearbeitet werden?
• Beginnen mit einer zufälligen Policy
• Berechnen der Value-Function v unter Berücksichtigung der aktuellen Policy
• Policy verbessern durch greedy-Auswahl der Aktionen aus v
• Wiederholen bis sich die Policy nicht mehr verändert
Wie funktioniert Backward Induction?
Wie funktioniert der Minimax-Algorithmus?
Was ist die Formel für UCB?
Erklären Sie den Algorithmus, welcher 1997 in Schach gewonnen hat.
Wie heissen die 4 Phasen von MCTS und wie würden diese visuell aussehen?
