Robotik 3 - Digitale Bildverarbeitung

findet charakterisierende Keypoints:

Punktmerkmale (engl.
Interest Points)

Punkt, von dem
aus sich die Intensität in alle Richtungen stark verändert

Der Begriff wird manchmal auch nicht nur für das Verfahren/Methode, sonder auch für die erstellte Repräsentation selbst verwendet

Prewitt
Sobel
Laplace, Laplacian of Gaussian

Kanten entsprechen Diskontinuitäten in der Bildfunktion.
Extrema der ersten Ableitung der Bildfunktion.
Nullstellen der zweiten Ableitung der Bildfunktion.

Laplaceoperator: Summe der Quadrate der partiellen Ableitungen (hier der Bildfunktion g(x, y))
∂² g(x, y)
/ ∂² x 
+ ∂² g(x, y)
   / ∂² y

Angenähert durch die Faltungsmatrix 
0  1  0
1 -4  1
0  1  0

Laplacian of Gaussian (Erst Gaussfilter dann Laplacefilter)

Blob Detektor

erkennt Blob nur bei passender Skalierung

Elimination von Ausreissern (-robust)

1. Sortiere die Werte

2. Nimm den Wert in der Mitte der Liste

charakteristischer Bildausschnitt

Beschreibung eines Punktes mit seiner lokalen Umgebung (durch einen Deskriptor)

bildet Durchschnittswert

Glättung von Rauschen aber Ausreisser werden nicht erkannt

Verwischte Kanten

detektiert Punktmerkmale (Interest Points)

Ein Punktmerkmal wird als ein Punkt definiert, von dem
aus sich die Intensität in alle Richtungen stark veränder

1977 von Hans P. Moravec

Betrachtung eines kleinen, quadratischen Fensters (z.B. 3×3 oder
5×5) mit dem Punkt (u, v) als Zentrum

Verschieben vom Fenster mit anschließendem Vergleich in vier
vordefinierte Richtungen (horizontal, vertikal, entlang Diagonalen).

Als Maß für den Unterschied zwischen Ursprungsfenster und Verschobenem
wird SSD (Sum of Squared Differences) verwendet:

1. Ableitung nach x- und y-Richtung approximiert durch
Differenzenquotient

Filtermatrix entspricht Faltung von
Mittelwertfilter und Differenzenquotient: 
-1 0 1
-1 0 1
-1 0 1

Previtt-Operator: sqrt( P_x² + P_y² )

Bestimmung der Orientierung jedes Keypoints mittels Gradientenhistogramm liefert Koordinaten-System für Winkel der Gradienten (für Invarianz der Features von der Orientierung des Bildes)

16x16 Umgebung eines Keypoints zerlegen in 4x4 Fenster (zu 4x4 Pixel) mit jeweils einem 8 Klassen(Richtungen, Winkel)-Hisstogramm = 128 dimensional feature vector

Gaussian weighting around center( is 0.5 times that of the scale of 
a keypoint)

128-dimensionaler Merkmalsvektor wird normalisiert

Gradientenhistogramms mit 10°
Diskretisierung (36 Bins) über Winkel θ der Gradienten der Keypoint-Umgebungspixel mit Betrag m als Gewichtung

globales Maximum: Ausgabe dessen
und aller Einträge mit Werten 85% des Maximums sind
Richtungen

ermöglicht relative Orientierungsangaben durch Winkel Phi

Berechnung des x- und y-Gradienten für ein Pixels bezogen auf quadratisches (16x16)
Fenster

Berechnung des Betrags 
m = sqrt(gx² + gy²) 

und der Richtung
θ =arctan( gy / gx )

1. Herstellung der Octaven und der DoG Zwischenbilder
2. Extrema ihrer 3x3-Umgebung und der des vorhergehenden und nachfolgenden Gauß Verarbeitungsschritt;   Verfeinerung der Extrema auf die Subpixelebene durch Extrapolation mit quadratischer Funktion (Taylor-Reihe)
3. Schwellwert (magischer Parameter)
    

Skalenraum wird aufgebaut durch Faltung mit der Gauß-Funktion

Zwischen je zwei Ebenen der Verarbeitung DoG(Difference of Gaussians), DoG erkennt Blob nur bei passender Skalierung:

Jedem Bildpunkt wird so eine Bewertung der Eignung als Keypoint zugewiesen

effiziente Approximation des

skalennormalisierten

LoG-Operators

Innerhalb einer Octave angewandt

Skalierung:
Der Merkmalsdetektor skaliert und passt die Auflösung (mit der Gaußfunktion) sowieso so an, dass die Features gefunden werden. Auf dieser Basis arbeitet dann auch der Deskriptor.

Rotation, Verzerrung:
Mittels Histogramm über die Gradienten um einen Keypoint wird für jeden Keypoint die richtige Orientierung bestimmt

Helligkeit:
Nur Gradienten werden verwendet und Normalisierung des Merkmalsvektors fürt zu relativierung

Zwischen aufeinanderfolgenden octaves werden die
Bilder auf halbe Breite und halbe Höhe verkleinert

Gauss-Glättung innerhalb einer octave

Verfahren, das Detektor und Deskriptor zu Verfügung stellt um Punktmerkmale zu generieren

heute sehr beliebt, 1999 von David G. Lowe

Invarianz bzgl. Rotation,
Skalierung, in einem kleinen Bereich bzgl. Verzerrung (bzgl. Affiner Abbildung), Helligkeit

Scale Invariant Feature Transform

Filtermatrix entspricht Faltung von
Gaußfilter und Differenzenquotient:
-1 0 1
-2 0 2
-1 0 1

1. Ableitung nach x- und y-Richtung approximiert durch
Differenzenquotient

Sobel-Operator: sqrt( P_x² + P_y² )

Korrelationverfahren

Medianfilter
Mittelwertfilter
Gauß-Filter

Der SIFT Descriptor erstellt Repräsentationen von Histogrammen von Gradienten in der Umgebung der Keypoints

Der Keypoint ist der Ort des Features (z.B. der Mittelpunkt)

Dient dazu, von den aktuellen und vergangenen Sensordaten auf den tatsächlichen inneren
Systemzustand zu schließen

Systemwissen/Verständniss: Modell zur Schätzung des nächsten Systemzustands basierend auf
dem aktuellen (geschätzten) Systemzustand (und den Sensordaten)

Zustand(-Schätzung) - Messung - Messvorhersage

A-priori Zustandsschätzung, basierend auf vorherigem
Zustand

A-posteriori Zustandsschätzung, unter Einbeziehung der
Messung

Berechnung aus a-priori Schätzung und gewichteter
Differenz zwischen Messung und Messvorhersage

Kalman-Gain: Gewichtung