Situiertes Sehen zur Erfassung von Objektform und Affordanzen

Das Ziel dieses Forschungsprojekts ist es, Modelle und Methoden zu erarbeiten, um die dreidimensionale Form und Affordanzen von alltäglichen Objekten zu erfassen und zu kategorisieren. Zur Lösung entwickeln wir das Paradigma des "situierten Sehens" - die 3D Wahrnehmung der Umgebung aus der Sicht der Aufgabe des Roboters. Dieser Ansatz verwendet neue Erkenntnisse der Kognitions- und Neurowissenschaften: durch die Fusion von qualitativen und quantitativen 2D und 3D Bildmerkmalen wird es möglich, 3D Formelemente zu extrahieren und zu gruppieren und sie in Relation zu Affordanzkategorien zu stellen. Die Ausnutzung visueller Aufmerksamkeit und aufgabenorientierter Suche lassen den Roboter elementare Bewegungen ausführen, die die wahrgenommen Affordanzen ausnützen. Die Analyse der Formelemente wird verwendet, um semantische 3D Konzepte wahrzunehmen, wie zum Beispiel stellbare Fläche oder begrenzende Fläche. Aus diesen räumlichen Konzepten kann gelernt werden welche Elemente Affordanzkategorien bilden. Wir zeigen die allgemeine Gültigkeit des Ansatzes anhand einer Evaluierung in drei Wohnungen und variieren die Komplexität mit der Anzahl der verschiedenen Objekte um die Zielobjekte. Zur Lösung dieser Aufgabe ist Wissen aus verschiedenen Bereichen notwendig, sodass sich vier Forschungsgruppen für dieses Vorhaben zusammengeschlossen haben: visuelle Aufmerksamkeit (Uni Bonn), Kategorisierung (RWTH Aachen), Wahrnehmung von Form (TU Wien) und Lernen (IDIAP) sind notwendig um diesen Ansatz als neues Paradigma der Wahrnehmung für kognitive Systeme eingehend zu erforschen.

Erklärtes Ziel im Projekt Vision@Home ist das Entwickeln von Algorithmen zur Beschreibung bzw. Detektion von Objekten und deren Funktionalitäten. Dazu werden bildgebende Sensoren verwendet welche zusätzlich zu den Farbbildern auch Tiefeninformation liefern. Im Weiteren werden funktionelle Aspekte von Objekten auch als Affordanzen oder Affordanzmerkmale bezeichnet. Zum Beispiel erlaubt die Wahrnehmung eines konkaven Containers als Teil eines Bechers durch einen Menschen den Schluss dass sich innerhalb der zylindrischen Grenzen feste oder flüssige Substanzen befinden können. Umgekehrt erlaubt das Erkennen dieser Affordanz den Schluss dass es sich um einen Becher, eine Tasse oder im allgemeinen Fall um ein Gefäß handelt. Ähnlich, wie eben beschrieben können eine Vielzahl von geometrischen Formen zur Beschreibung von Funktionalitäten von Objekten verwendet werden. Im Zuge dieses Projekts wurden an der TU Wien Algorithmen entwickelt, welche es erlauben in Farb- und 3D-Bildern Objektteile zu detektieren, um durch deren Geometrien Funktionalitäten dieser Teile und folglich der Objekte zu ermitteln. Durch einen konkreten und rigorosen Ansatz zur Definition von Affordanzen und durch die Entwicklung von Algorithmen zur Detektion dieser, ist es nun erstmals möglich Funktionen in einer direkten Art und Weise zu erfassen. Neben den entwickelten Algorithmen wurde eine öffentlich zugängige Datenbank mit über 200 typischen Haushaltsobjekten, deren Geometrien und Funktionsmerkmalen, beschrieben mit nur 35 Affordanztypen erstellt. In diesem Projekt wurde der Grundstein für weiterführende und nachhaltige Forschung gelegt. Der kognitive Ansatz zum Verstehen von Szenen und deren Objekten als Schlüssel zu künstlichen intelligenten Systemen erlaubt es kognitive Probleme in realistischen von Menschen gestalteten Umgebungen zu lösen. Diese Technologie ermöglicht die Entwicklung von Roboterassistenten sowohl für Szenarien in Wohnungen als auch für industrielle Umgebungen. Im Weiteren unterstützt die Betrachtungsweise von Objekten charakterisiert durch deren Form und Funktionen die Designphilosophie Form folgt Funktion und erlaubt dadurch Schlussfolgerungen Anwendbar in Architektur und im Bauingenieurswesen.