Moderne Restauration digitaler Signale

Von historischen Sprach- und Musikaufnahmen bis hin zu Datenübertragungsszenarien, z.B. über eine kabellose Verbindung, sind wir häufig mit dem Verlust beträchtlicher Teile wichtiger Daten konfrontiert. Wie im Falle des Kontextes von derartigem Datenverlust, können sich auch die Gründe dessen stark unterscheiden, von Materialschäden bis hin zu Verbindungsproblemen. In der Konsequenz müssen wir regelmäßig mit, oft in inakzeptablem Maße, beschädigten und gestörten Signalen arbeiten. MERLIN wird, durch die Kombination von Know-How in den Bereichen angewandter Mathematik, Optimierung, Signalmodellierung, Signal- und Bildverarbeitung, sowie der menschlichen Schallwahrnehmung, neue und innovative Methoden zur automatischen Wiederherstellung verlorener Signal-Segmente und der Verschleierung gestörter Inhalte entwickeln. Insbesondere liegt der Fokus von MERLIN auf der Restauration von Audiosignalen diverser Herkunft. Die in MERLIN entwickelten Techniken werden dabei, im Gegensatz zu bereits vorhandenen Methoden, zu jeder möglichen Gelegenheit auf existierende, inhaltsabhängige Information zurückgreifen, um den Restaurationsprozess zu unterstützen. Solche Vorabinformation kann direkt aus dem Signal extrahiert werden, oder als Metadaten, z.B. in Form von Intrumentierung, Sprecherdaten oder einer Partitur, zur Verfügung stehen. Audiorestauration ist ein herausfordernder und einzigartiger Spezialfall der Signalrestauration, nicht nur wegen der Vielfalt von Audiosignalen und deren ständigem Auftreten in Alltagssituationen, sondern auch wegen der Relevanz der menschlichen Hörsystems auf ihre Wahrnehmung. Um die Restauration gleichzeitig zu verbessern und zu erleichtern, wird MERLIN aktuellstes Wissen über die menschliche Wahrnehmung in jedem Entwicklungsschritt in Betracht ziehen. Gemeinsam mit der effizienten Verwendung von Vorabinformation wird dies zu signifikanten Fortschritten in der automatischen Signalwiederherstellung führen. Die im Verlauf des Projekts entwickelten Verfahren werden der wissenschaftlichen Gemeinschaft in einer Software-Toolbox zur Verfügung gestellt, welche, gemeinsam mit einer umfangreichen Datenbank realer und synthetischer Signale, für Forschungszwecke gratis zu erhalten sein wird.

Audiosignale wie Sprach- und Musikaufnahmen begegnen uns im täglichen Leben in unterschiedlichster Form: Im Telefonat mit unseren Lieben, dem Online-Meeting mit Kund:innen oder Kolleg:innen, beim Konsum von Unterhaltungsmedien, sowie, auch ungefragt, in Handel, öffentlichen Verkehrsmitteln und an vielen anderen Orten. Die Aufnahme, Speicherung und Übertragung von Audiodaten ist oft fehleranfällig. Solche Fehler können im schlimmsten Fall zum effektiven Verlust beträchtlicher Abschnitte wichtiger Daten führen. Die Korrektur solcher zusammenhängenden, fehlerhaften Segmente wird, in Anlehnung an ähnliche Techniken in der Bildverarbeitung, oft als audio inpainting, manchmal auch unspezifisch als Fehlerverschleierung, bezeichnet. Beide Begriffe machen deutlich, dass die exakte Wiederherstellung der verlorenen Information nicht immer notwendig, oder möglich, ist. Stattdessen ist das vorrangige Ziel des audio inpainting, ein Signal zur Verfügung zu stellen, das als fehlerfrei wahrgenommen wird. Abseits der Fehlerkorrektur bietet audio inpainting auch vielfältige Möglichkeiten zur kreativ-künstlerischen Anwendung. Durch mathematische Grundlagenforschung in den Bereichen Zeit-Frequenz Analyse und Harmonische Analyse, durch Fortschritte in der Entwicklung neuartiger Signalverarbeitungsverfahren unter Inbetrachtnahme der menschlichen Schallwahrnehmung und durch die Verwendung modernster Methoden des maschinellen Lernens und der Optimierung, war es den MERLIN-Projektpartnern am Institut für Schallforschung der Österreichischen Akademie der Wissenschaften und dem Signalverarbeitungslabor der Technischen Universität Brno möglich, die Basis für wegweisende inpainting Verfahren zu schaffen und diese zu realisieren. Zeit-Frequenz Darstellungen stellen ein wichtiges Werkzeug für die Analyse und Verarbeitung von Audiodaten dar. Sie sind essentieller Bestandteil erfolgreicher audio inpainting Verfahren, auch jener, die in MERLIN entwickelt wurden. Durch ein besseres Verständnis der mathematischen Eigenschaften adaptierter Zeit-Frequenz-Darstellungen, z.B. an die menschliche Schallwahrnehmung, hat MERLIN den Grundstein dafür gelegt, das volle Potential dieser Darstellungen auszuschöpfen. Ihre Verknüpfung mit angepassten, fortschrittlichen Optimierungsmethoden und maschinellem Lernen ermöglichte die Entwicklung von Modellen zur Beschreibung von Audiosignalen, welche die Eigenschaften dieser Daten weitaus besser beschreiben, als zuvor verwendete, oft sehr einfache, Signalmodelle. Die Verwendung dieser Modelle für audio inpainting Verfahren in MERLIN demonstrierte ihr Potential und stellte deutliche qualitative Fortschritte gegenüber dem früheren Stand der Technik dar.