RobustEs, Markerloses Tracking von Personen Und Gesten für interaktive Systeme (REMUS)

Eigenentwicklung

  • Entwicklungszeitraum: seit 2008
  • Größe der Codebasis: ca. 300.000 Codezeilen

Im Projekt REMUS setzen wir eigene Ideen um. Durch die Kooperation mit dem IGD Rostock der FhG erhalten wir den Bezug zum aktuellen Stand der Forschung. Unsere Erfahrungen aus dem Bereich der optischen Fahrerassistenzsysteme helfen uns, moderne Verfahren in Echtzeit und mit minimalem Ressourceneinsatz zu realisieren.

Problembeschreibung

Die Vision einer natürlichen Interaktion zwischen Mensch und Maschine kommt ohne technische Hilfsmittel in Form von Zeigegeräten oder speziellen Markierungen aus. Eine Vielzahl potentieller Anwendungen - etwa im Umfeld der digitalen Beschilderung - ist anders auch nicht vorstellbar.

Eine der hoch entwickelten menschlichen Interaktionsfähigkeiten sind Gesten, die auch von einer Maschine optisch erfasst werden können. Vor der Erkennung von Gesten müssen jedoch eine Vielzahl von Teilproblemen gelöst werden, die damit beginnen, aus den 2D-Signalen der Bildsensoren ein 3D-Modell der Umwelt zu bilden. Auf Basis des 3D-Modells können wir Personen, ihre Köpfe und Hände wirksam von ihrer Umgebung unterscheiden, auch wenn sich diese schnell verändert.

Projektergebnisse

REMUS Demonstrator Vergrößern

Im Projektverlauf wurden in Video-Echtzeit ablaufende Algorithmen entwickelt, die aus den Daten eines Stereo-Kamera-Systems folgende Informationen gewinnen:

  • Erkennung einer variablen Anzahl von Personen in einem konfigurierbaren Beobachtungsvolumen
  • Bestimmung der 3D-Positionen und Bewegungsvektoren von Köpfen und Händen der Personen im Beobachtungsvolumen
  • Stabile Selektion einer interagierenden Person aus einer Gruppe
  • Bereitstellung der Köpfe und Hände enthaltenden Bildausschnitte zur Verarbeitung in nachfolgenden Verfahrensschritten

Das Fraunhofer IGD Rostock implementierte auf dieser Basis eine Verarbeitungskette zur Erkennung von statischen und dynamischen Handgesten der selektierten Person.

Alle Algorithmen laufen in einem ebenfalls im Projektkontext entwickelten, datenfluss-orientierten Framework ab. Die Eigenschaften des Frameworks sind für die Realisierung einer größeren Klasse von Echtzeit-Bildverarbeitungslösungen interessant:

  • Synchronisation beliebiger, auch sporadischer Datenquellen auf einen gemeinsamen Zeittakt
  • Integration beliebiger Verarbeitungsalgorithmen in Form von COM-Komponenten
  • generische Tracking-Komponente zur parallelen Verfolgung von Alternativhypothesen
  • Unterstützung synchroner und asynchroner Datenflusselemente
  • automatische Skalierung auf Multicore-Systemen
  • optimale Performance auch in Überlastszenarien 
  • robustes Verhalten bei Sensorstörungen

Einen gemeinsamen Demonstrator zeigten wir auf unserem Auftritt auf der embedded world 2011 sowie den begleitenden Ausstellungen der Konferenzen Go-3D 2010 und Go-3D 2011.

Algorithmische Bibliotheken aus REMUS wurden in Zusammenarbeit mit der Hochschule Augsburg erfolgreich für die Ausbildung eingesetzt.