Bilevel Lernen in der Computer Vision

Variationsmethoden gehören zu den erfolgreichsten Methoden um inverse Probleme in der Computer Vision und Bildverarbeitung zu lösen. Zu den typische Problemen gehören beispielsweise Aufgaben wie die Bildrekonstruktion, die Bewegungsschätzung sowie die Stereo- und 3D-Rekonstruktion. Bestehende Variationsmodelle in der Computer Vision sind überwiegend hand-designed und basieren daher auf einfachen Prinzipien welche von den intrinsischen Eigenschaften von Bildern abgeleitet wurden. Offensichtlich sind diese Modelle oft zu einfach, um die komplexen physikalischen Eigenschaften der visuellen Welt zu modellieren. Um dieses Problem zu lösen gehen wir einen wichtigen Schritt weiter und betrachten deutlich komplexere Variationsmodelle, welche Regularisierer höherer Ordnung, nicht-lokale Regularisierer sowie Daten-adaptive Regularisierer beinhalten. Weiters schlagen wir vor, die Parameter dieser Modelle mit Hilfe von Optimierungsverfahren zu lernen. Die Grundidee dabei ist, die Parameter der Variationsmodelle so zu lernen, dass die Lösungen der Variationsmodelle eine spezielle Loss-Funktion, die den Fehler zwischen der gewünschten Lösung und der vom Modell vorhergesagten Lösung misst, minimiert. Dieses Problem führt auf natürliche Art und Weise zu einem Bilevel Optimierungsproblem, wobei das innere Optimierungsproblem durch das Variationsmodell und das äußere Optimierungsproblem durch die Loss-Funktion gegeben ist. Es zeigt sich, dass diese Bilevel Optimierungsprobleme sehr viele interessante Eigenschaften haben, welche aber noch viel zu wenig untersucht worden, um die Methode für eine größere Community zugänglich zu machen. Es ist daher das wichtigste Ziel in diesem Projekt, ein einheitlich Framework zu entwickeln, um die Methode auf verschiedenste Variationsmodelle in der Computer Vision anwendbar zu machen. Das einheitliche Framework wird es uns erlauben, bestehende Modelle systematisch zu untersuchen, neue Modelle zu entwickeln und besser ihre Vorteile sowie Einschränkungen zu verstehen. Wir erwarten, dass die Erkenntnisse aus diesem Projekt zu neuen Modellen führt, welche hinsichtlich spezieller Anwendungen und Bilddaten optimiert werden können, und daher zu deutlich besseren Ergebnissen als von bisherigen Modellen führen.

Das Hauptziel des BIVISION-Projekts bestand darin, klassische Variationsansätze in der Bildverarbeitung mit modernen Methoden des maschinellen Lernens zu kombinieren, um aus einer Vielzahl natürlicher Bilder reichhaltigere und genauere Modelle für die Bildverarbeitung zu lernen. Die Kombination von maschinellem Lernen und Variationsmodellen führt naturgemäß zu sogenannten Bilevel-Optimierungsproblemen, welche eine verschachtelte Kombination zweierOptimierungsproblemedarstellen. Dasübergeordnete Optimierungsproblem ist durch das Lernproblem gegeben, während das untergeordnete Optimierungsproblem durch das Variationsmodell definiert wird. Im Laufe des Projekts wurden zahlreiche neuartige numerische Algorithmen und Methoden entwickelt, um immer bessere Modelle aus den Bilddaten zu lernen. Eine der wichtigsten Entwicklungen des Projekts waren die sogenannten Variationsnetzwerke, die eine Mischung aus klassischen Variationsmodellenund modernenneuronalenFaltungsnetzwerkendarstellen. Variationsnetzwerke sind in der Leistung mit modernen tiefe neuronalen Faltungsnetzwerken vergleichbar, ermöglichen jedoch ein besseres Verständnis der Funktionsweise ihrer einzelnen Schichten. Im Rahmen des Projekts wurden die entwickelten Modelle in einer Vielzahl von Anwendungen in den Bereichen Computer Vision, Bildverarbeitung und inverse Probleme eingesetzt. Als Beispiel heben wir die Berechnung von hochwertigen Magnetresonanzbildern aus verrauschten und unterabgetasteten Messdaten hervor. Diese Arbeit wurde in Zusammenarbeit mit der New York University durchgeführt und in einer renommierten Zeitschrift veröffentlicht. Zukünftige Arbeiten werden der theoretischen Analyse von Variationsnetzwerken gewidmet. Ziel ist es, ein theoretisches Rückgrat zu entwickeln, das es erlaubt, Regularitätsaussagen und Rekonstruktionsgarantien zu liefern, wie es in der klassischen Variationsrechnung möglich ist.