Deep Learning

Deep Learning bezeichnet eine Methode des maschinellen Lernens, die künstliche neuronale Netze (KNN) mit zahlreichen Zwischenschichten (hidden layers) zwischen Eingabeschicht und Ausgabeschicht einsetzt und dadurch eine umfangreiche innere Struktur herausbildet.

Die Aktivierung eines Knotens in einem neuronalen Netzwerk wird wie folgt bestimmt:

output = activation_function (dot_product (Gewichte, Eingaben) + bias)

Dies bedeutet, dass bei der Berechnung der Ausgabe eines Knotens die Eingaben mit Gewichten multipliziert werden und dem Ergebnis ein Bias-Wert hinzugefügt wird. Mit dem Bias-Wert kann die Aktivierungsfunktion nach links oder rechts verschoben werden, um die Daten besser anzupassen. Änderungen an den Gewichten verändern daher die Steilheit der Sigmoidkurve (Funktion mit einer S-förmigen Kurve), während die Vorspannung sie ausgleicht und die gesamte Kurve so verschiebt, dass sie besser passt. Beachten Sie auch, dass der Bias nur die Ausgabewerte beeinflusst und nicht mit den tatsächlichen Eingabedaten interagiert.

Tensoren sind Grössen, mit deren Hilfe man Skalare, Vektoren und weitere Grössen analoger Struktur in ein einheitliches Schema zur Beschreibung mathematischer und physikalischer Zusammenhänge einordnen kann.

Zum Beispiel:

scalar = [1] (rank 0)
vector = [1,1] (rank 1)
matrix = [[1,1], [1,1]] (rank 2)
3-tensor = te[ [[1,1],[1,1]] , [[1,1],[1,1]] ] (rank 3)
n-tensor... (rank n)

Der Gradient ist ein mathematischer Operator, genauer ein Differentialoperator, der auf ein Skalarfeld angewandt werden kann und in diesem Fall ein Vektorfeld liefert, das Gradientenfeld genannt wird.

Zum Beispiel, ein Problem in der Bildverarbeitung ist es, in einem Bild zusammenhängende Flächen zu erkennen. Da ein Bild diskrete Werte enthält, benutzt man Filter wie den Sobel-Operator, um ein Gradientenfeld des Bildes zu erhalten.

Ein Hyperparameter ist ein Parameter, der zur Steuerung des Trainingsalgorithmus verwendet wird und dessen Wert im Gegensatz zu anderen Parametern vor dem eigentlichen Training des Modells festgelegt werden muss.

Eine Hyperebene wird im n-dimensionalen Raum durch einen Stützvektor und n-1 Richtungsvektoren dargestellt. Eine Hyperebene, die zwei Klassen mit maximaler Entfernung teilt, wird als optimale Hyperebene bezeichnet.

Für manche Lernalgorithmen ist es möglich, den Gradienten in Bezug auf die Hyperparameter zu berechnen und sie durch das Verfahren des steilsten Abstiegs zu optimieren. Ein anderer Ansatz, Gradienten in Bezug auf Hyperparameter zu erhalten, besteht darin, die Schritte eines iterativen Optimierungsalgorithmus automatisch zu differenzieren und sodurch die Kostenfunktion zu minimieren.

Es ist eine Methode zur Bewertung, wie gut ein spezifischer Algorithmus die angegebenen Daten modelliert. Wenn die Vorhersagen zu stark von den tatsächlichen Ergebnissen abweichen, würde die Verlustfunktion eine sehr große Zahl auslöschen. Mit Hilfe einiger Optimierungsfunktionen lernt die Verlustfunktion nach und nach, den Fehler in der Vorhersage zu reduzieren.