Visual Analytics and Computer Vision Meet Cultural Heritage

In den letzten Jahrzehnten wurde die Digitalisierung von kulturellen Beständen in vielen verschiedenen Bereichen erheblich vorangetrieben. Dies umfasst Archivdaten wie Taufregister oder Kataster, Werke der bildenden Kunst, Fotografien, Amateurfilme bis hin zu ganzen Stadtteilen. Für die Erschließung dieser Bestände durch interaktive Systeme sind benutzer*innenfreundliche Schnittstellen für Expert*innen und die breite Öffentlichkeit unerlässlich. Diese Schnittstellen benötigen effektive Datenvisualisierungen, um den Nutzer*innen zu helfen, die Daten zu durchsuchen, Ähnlichkeiten und Zusammenhänge zu erkennen und daraus Schlüsse zu ziehen. Um die Daten effizient durchsuchen zu können, braucht es außerdem automatische Analysemethoden, die die komplexen und vielfältigen Inhalte erfassen können. Unser Projekt verfolgt die Vision, interaktive Anwendungen für zwei Szenarien zu untersuchen: Zum einen das Zusammenspiel von Expert*innenwissen und automatischer, KI- gestützter Inhaltsanalyse, um maximalen Nutzen zu generieren, zum anderen die Vermittlung dieser Inhalte an die breite Öffentlichkeit über interaktive Narrative (Storytelling). Das kooperative Doktoratsprogramm bildet die inhaltlichen Ziele in fünf Dissertationsprojekten ab, die in drei konzeptuellen Ebenen angesiedelt sind: (1) Generierung von Metadaten, (2) Exploration von Daten und (3) Vermittlung von Daten. Dabei konzentrieren wir uns auf historische Archivbestände, insbesondere Fotografie und Film. Die Themen umfassen neue Ansätze und Methoden für a) die automatische inhaltsbasierte Analyse historischen Filmmaterials, b) die automatische Bestimmung verwendeter Kamera- und Objektivtypen in historischen Fotografien, c) die explorative Analyse historischer Bildbestände mit begrenzten oder fehlenden Metadaten und d) die visuelle Analyse mit dem Ziel Netzwerke von Kulturgütern über Zeit und Raum hinweg zu untersuchen. Die Erkenntnisse aus den ersten vier Dissertationsthemen werden durch e) neuartige Ansätze des Situated Storytellings einem breiten Publikum vermittelt, bei denen digitale Informationen mit physischen Räumen in Beziehung gesetzt werden. Das Projekt ist in zweierlei Hinsicht interdisziplinär: Einerseits kooperieren Informatik und Geisteswissenschaften und andererseits sind innerhalb der Informatik sowohl Visual Analytics als auch Computer Vision / Machine Learning beteiligt. Die beteiligten Institutionen FH St. Pölten und TU Wien, stellen jeweils etwa die Hälfte der Faculty Mitglieder des Doktoratsprogramms. Jede*r Dissertant*in wird die Gelegenheit haben, an beiden Institutionen zu forschen, um beide kennenzulernen und wertvolle Kontakte für zukünftige Kooperationen zu knüpfen.