Photo-Guide: Bildbasierte Stadterkundung

Die Kernidee des Projekts ist die Verbesserung der gegenwärtigen Navigationssysteme durch visuelle Information, die aus geo-bezogenen Fotographien heraus eingeholt werden. Diese Fotos sind zurzeit eine schnell wachsende Tendenz des neuen Internets (Web 2.0) und werden um uns alltäglich. Die großen Vorteile dieser Art der visuellen Information sind ihre niedrigen Kosten, schnelle Übertragung, einfaches Updates und breite Verfügbarkeit, um einige zu nennen. Mit anderen Worten wird sie allgegenwärtig und erlauben uns, uns fast jede Ecke der Welt innerhalb der Sekunden von der Frontseite unseres Schreibtisches vorzustellen. Die eigentliche Hypothese dieses Projektes ist die Annahme, dass für die Navigation, besonders für Fußgänger, die Ich-Perspektive intuitiv ist und zur natürlichen Orientierung führt. Im Projekt möchten wir die Möglichkeiten erforschen, wie man die Ich-Perspektive aus Datenbanken von einfachen Photographien erzeugt. Die Hauptzielsetzung ist ein System, das dem Benutzer erlaubt mit Hilfe der Ich-Perspektive-Bildern durch eine Stadt und sogar durch den Innenraum eines Gebäudes zu navigieren. Dabei wird diese Abfolge von Bildern automatisch on-demand erzeugt. Die wissenschaftlichen Herausforderungen des Antrages können in drei Hauptrichtungen aufgeteilt werden: Modellieren der Bild-Datenbank, Modellieren des Navigationsraumes und das Navigieren und Darstellen der Pfade selbst. Es gibt bereits Arbeiten in dieser Richtung, jedoch stellt keine dieser Ansätze eine befriedigende Lösung zu dem tatsächlichen Problem: der Kombination der genauen geo-bezogenen Karten mit den orientierten und geo- registrierten Bildern. Wir behandeln ausdrücklich dieses Problem und erwarten mit neuen Beiträgen zu seiner Lösung beizutragen. Möglicherweise ist die größte Herausforderung im Projekt die Idee des semantischen Graphen. Er stellt die Verbindung der geo-referenzierten Karte mit den Photos und semantischen Objekten im realen Raum dar. Um dieses Problem zu lösen, greifen wir auf Graphentheorie und lineare Algebra zurück. Für den dritten Forschungsfokus sehen wir die Herausforderungen in fortschrittlichen Bildverarbeitungsmethoden. Diese Richtung der Computergrafik ist hochaktuell. Besonders innovative Algorithmen wie das Poisson-Image-Editing und Graph- Cut-Segmentation öffneten die Tür für viele nützliche Anwendungen. In diesem Zusammenhang erwarten wir, zum State-of-the-art mit neuen Algorithmen für das Bildsegmentieren beizutragen. Die Verbindung der Forschungsresultate zusammen mit pädagogischen Initiativen wirkt sich auf ein breites Publikum aus. Beispiele der Felder, die von der vorgeschlagenen Forschung profitieren können, sind Tourismus und allgemeine Unterhaltungsindustrien, Stadtplaner, Gemeindeverwaltungen, Simulations- und Sicherheitstraining sowie Katastrophen- und Notfallmanagement und Zivilschutz um einige zu nennen. Schließlich können die folgenden wissenschaftlichen Felder von der vorgeschlagenen Forschung profitieren: Computergrafik mit Bildverarbeitung, maschinelles Sehen, Computerfotographie, Mustererkennung, Photogrammmetrie und der Fernerkundung, Kartographie, computergestütztes Entwerfen und Geowissenschaften. Wir denken, dass unsere Resultate zu einer erfolgreichen Kommerzialisierung innerhalb von drei zusätzlichen Jahren führen können.

Geographische Navigationssysteme haben sich in den letzten Jahren rasant verbreitet, vor allem aufgrund der allgemeinen Verfügbarkeit von Kartenapplikationen auf mobilen Endgeräten. Diese Systeme bieten derzeit entweder 2D Kartenansichten oder sehr grobe 3D-Ansichten aus Luftbildern. Google Streetview kann auch an ausgewählten Kartenpositionen Bilder aus Bodensicht anzeigen. Generell gibt es aber großen Verbesserungsbedarf bei der visuellen Qualität dieser Lösungen. Deshalb beschäftigt sich das Photo-Guide Projekt damit, Photos zur Verbesserung von Navigationslösungen einzusetzen. Das Projekt verfolgt zwei Hauptrichtungen: einerseits die Erstellung von 3D-Modellen aus Photos, welche dann in Navigationsapplikationen aus Bodensicht verwendet werden können. Andererseits die Verbesserung der klassischen 2D-Karten-Navigation durch die bessere Aufteilung von Information sowie durch Photos.Bezüglich der ersten Richtung haben wir neue interaktive Methoden entwickelt, um detaillierte 3D-Modelle von echten Objekten zu erstellen. Wir zeigen, dass man mit der richtigen Mischung aus Benutzereingaben und automatischer Berechnung bessere und effizientere Rekonstruktionen erstellen kann als mit rein automatischen oder rein manuellen Methoden. Außerdem haben wir Methoden zur Vervollständigung von fehlenden Daten entwickelt, sowohl für Bild- als auch Geometriedaten. Bildbasierte Details werden durch Texturen auf die Oberflächen der Modelle aufgetragen, die durch neue Bildbearbeitungsmethoden und Optimierungsmethoden aus den Photos erstellt werden können sowie auch noch nachbearbeitet werden können.Die resultierenden 3D-Modelle können verwendet werden, um Navigationshilfen aus der Ich-Perspektive anzuzeigen, die sich auch korrekt in die 3D-Welt einfügen. Die 3D-Modelle sind aber auch für Architekten, Archäologen und Kartographen von großem Interesse.Bezüglich der zweiten Richtung haben wir ein neues System entwickelt, das klassische 2D-Karten und Photos verbindet. Dieses kann entweder gedruckte Touristenkarten erstellen, auf denen man leichter zu Sehenswürdigkeiten findet, oder auch dynamische Navigationshilfen auf mobilen Geräten anzeigen.Zusammenfassend hat dieses Projekt neue Wege für die Verwendung von Photos zu Navigationszwecken sowie für die Rekonstruktion von Objekten der realen Welt beschritten, wobei sowohl geometrische als auch Bildinformation berücksichtigt wurde. Es bietet damit fruchtbaren Boden für weitergehende Forschung und die Entwicklung neuer Methoden und Anwendungen am letzten Stand der Technik.