Bathymetrische 3D-Rekonstruktion mit Neural Radiance Fields

Infolge des Klimawandels ist in den alpinen Gewässern eine dramatische Veränderung der Unterwasservegetation zu beobachten. Dadurch verändert sich die Zusammensetzung des hochempfindlichen littoralen Ökosystems und angestammte Spezies geraten vor allem durch die Ausbreitung von invasiven Arten unter Druck. Die Erfassung und das Monitoring des flachen Uferbereichs ist daher von großer ökologischer und ökonomischer Bedeutung, es mangelt aber an kosteneffizienten Methoden zur Überwachung. Mit Kameradrohnen (UAV) ist es heute relativ einfach geworden, qualitativ hochwertige Bilder in Zentimeter-Auflösung zu erfassen. Aber auch bei dieser Datengrundlage scheitert die Rekonstruktion von komplexen Unterwasserszenen oft bei der Verwendung von konventionellen photogrammetrischen Auswerteverfahren. Der Grund für das Scheitern gängiger Ansätze ist die komplexe Strahlbrechung an der wellenbehaften Wasseroberfläche. Jüngste Entwicklungen im Bereich der Künstlichen Intellegenz für die Auswertung von Bilddaten, die sogenannten der Neural Radiance Fields (NeRFs), haben erstaunliche Ergebnisse für die rein bildbasierte 3D-Rekonstruktion komplexer Objekte gezeigt. Vielversprechend sind dabei auch die Ergebnisse im Waldbereich. Unklar ist aber noch, ob NeRFs auch eine genaue Ableitung von 3D Punktwolken von komplexen Unterwasserszenen liefern können. Vor diesem Hintergrund sind die Forschungsziele des FWF Weave Projektes BathyNerF (i) die Verbesserung der bildbasierten 3D-Rekonstruktion von Unterwassertopographie und -vegetation aus Drohnenbildern mittels speziell angepasster NeRFs und (ii) die quantitative Bewertung der erzielten Ergebnisse. Dazu sollen verschiedene NeRF Modelle erprobt werden. Ein Ansatz ist die Aufteilung des Raums in einen Über- und einen Unterwasserbereich mit jeweils einem separaten NeRF Modell. Für das NeRF Modell unter Wasser wird die Strahlbrechung an einer horizontal angenommenen Wasseroberfläche mit einbezogen und im Modell der abgelenkte Strahlverlauf berücksichtig. Ein weiterer Ansatz bezieht zusätzlich die unterschiedliche Neigung der Wasseroberfläche durch Wellen mit ein. Der ambitionierteste Ansatz schließlich versucht, den Refraktionseinfluss in einem einzigen NeRF zu modellieren, indem das NeRF um einen optischen Dichteparameter erweitert wird. Die Validierung der erzielten Ergebnisse erfolgt durch den Vergleich mit konventionellen Methoden der Mehrmedien-Photogrammetrie und mit bathymetrischen Laserscanning als jeweils unabhängige Referenz. Ein weiteres Ziel des Projekts ist darüber hinaus auch die Ableitung von Volumen, Dichte und Biomasse von Unterwasservegetation. Dies stellt einen innovativen Ansatz dar, der einen Beitrag zur Dokumentation der Auswirkungen des Klimawandels leisten kann. Das dreijährige Forschungsprojekt wird länderübergreifend in Kooperation zwischen dem Department für Geodäsie und Geoinformation der TU Wien (GEO/TUW) und dem Karlsruher Institut für Technologie (KIT) durchgeführt.