Objekterkennung und Szenenanalyse

Institut für Mess- und Regelungstechnik (MRT) des Karlsruher Institut für Technologie (KIT)

Die Aufgabe der Objekterkennung und Szenenanalyse ist es, semantische Informationen aus den Kameradaten zu extrahieren, die nachfolgend genutzt werden um akustisches Feedback für den Benutzer zu generieren.

Semantische Informationen umfassen unter anderem Hindernisse im Bewegungsraum des Benutzers, welche aus den Tiefendaten des Stereokamerasystems lokalisiert und mit Hilfe der Bildinformation weitergehend analysiert werden können, etwa hinsichtlich der Art des Hindernisses (z.B. statisch/dynamisch) oder der Einordnung in bestimmte Objektklassen (z.B. Fußgänger, Radfahrer).

Durch das eingeschränkte Sichtfeld des Kamerasystems ist es notwendig diese Daten in einem lokalen Umgebungsmodel des Benutzers zusammenzuführen, aus welchem auch Informationen entnommen werden können, die zum aktuellen Zeitpunkt für das Kamerasystem nicht mehr erfassbar sind. Zum Aufbau dieses Umgebungsmodelles wird die Bewegung der Kamera aus den Bilddaten geschätzt und mit den Informationen aus der Inertialmesseinheit fusioniert.

Das entwickelte Softwareframework erlaubt die echtzeitfähige Umsetzung dieser Schritte auf einer tragbaren Hardwareplattform.

Kameraeingangsbild

Tiefenkarte: Für jeden Bildpunkt ist der Abstand zur Kamera farblich kodiert


Lokalisierung von Hausfassaden: als Fassade erkannte Bereiche sind grün eingefärbt.

Objekdetektion und zeitliche Verfolgung: jedes erkannte Objekt ist farblich hervorgehoben. Die Bewegung eines Objektes ist durch eine Linie dargestellt