Anwendungen computerbasierter Musikinterpretationsforschung

Das Projekt baut auf langjähriger Grundlagenforschung unseres Teams auf, in der wir verschiedene Aspekte der ausdrucksvollen Musikinterpretation mit neuartigen Computermethoden analysierten und quantitative Computermodelle von Ausdrucksdimensionen wie expressivem Timing, Dynamik, Artikulation entwickelten. Dabei wurden nicht nur interessante neue Einsichten in diese komplexe Kunst gewonnen, sondern auch eine Menge neuer Technologie für die intelligente Musikverarbeitung entwickelt (z.B. Algorithmen für Beat- und Tempo- Tracking, Audio-Audio-Synchronisation, Interpretationsvisualisierung und Interpretationssynthese, um nur einige zu nennen). Das Ziel des aktuellen Projekts besteht darin, diese und andere Methoden so weit zu entwickeln, dass sie effizient und robust genug für echte, komplexe Anwendungen werden. Ausdruck in der Musik mag als unwahrscheinliches Thema für anwendungsorientierte Forschung erscheinen. Tatsache ist aber, dass Computer, die effektiv mit expressiv gespielter Musik (Audio) umgehen können, vollkommen neue und kreative (und kommerziell relevante) Anwendungen. Die im gegenständlichen Projekt geplante Forschung ist von drei solchen visionären Anwendungsszenarien inspiriert: 1. Echtzeit-Visualisierungen großer musikdramatischer Werke auf der Bühne (wie sie im speziellen vom Ars Electronica Center Linz als Auftragswerke auf der ganzen Welt realisiert werden); 2. Synthetischer musikalischer "Ausdruck": Natürlich expressive synthetische Instrumente und virtuelle Orchester; 3. Interaktive Tools für die Musik- und Instrumentaldidaktik und für Musikanalyse. Aus einer Analyse der Anforderungen solcher Anwendungsszenarien leiten wir folgende drei Hauptforschungsziele ab: 1. Ausdrucks-Extraktion: Computermethoden zur automatischen Extraktion präziser Details ausdrucksvoller Interpretation (d.h. Tempo, Timing, Dynamik, etc.) aus Audioaufnahmen, wenn möglich in Echtzeit; das schließt auch Methoden zur präzisen Ausrichtung von Audioaufnahmen und Notentext ein. 2. Ausdrucks-Tracking: Algorithmen zum Verfolgen von Live-Aufnahmen (Audiostreams) und deren automatischer Ausrichtung mit dem Notentext oder vorhandenen Referenzaufnahmen. Diese Methoden sollen auch mit unvollständiger Noten- oder Referenzinformation funktionieren und extrem robust und reaktiv gegenüber Tempoabweichungen, plötzlichen Unterbrechungen, Fehlern etc. sein. Wichtig ist in diesem Zusammenhang auch das Online-Lernen von prädiktiven Tempomodellen. 3. Ausdrucks-Generierung: Computermodelle spezifischer Dimensionen der ausdrucksvollen Interpretation, die die automatische Erzeugung synthetischer Musikaufnahmen ermöglichen, die halbwegs musikalisch und "natürlich" klingen; wenn möglich auch Methoden zum interaktiven Modifizieren und Steuern solcher Aufnahmen. Mehrere potenzielle zukünftige Anwendungspartner - darunter das Ars Electronica Center und die Vienna Symphonic Library - unterstützen diese Forschung (z.B. durch die Bereitstellung von Testdaten und Audiomaterialien), motiviert durch die Aussicht, in Zukunft komplexe musikalische Anwendungsprojekte realisieren zu können.

Ziel des Projekts war die Entwicklung von musikalisch intelligenten Computern, die mit ausdrucksvollen Interpretationen und Aufnahmen von (klassischen) Musikstücken auf nützliche Art und Weise umgehen können. Mit ausdrucksvoller Interpretation meinen wir hier all die Dinge, die MusikerInnen (Sänger, Instrumentalisten) bei einer Aufführung tun, um ein Musikstück zum Leben zu erwecken und ihm einen spezifischen Charakter zu geben also z.B. die Wahl des spezifischen Tempos, expressives Timing (Beschleunigen oder Verlangsamen, Betonen bestimmter Noten oder Akkorde oder Stimmen usw.). Es sollten Computer entwickelt werden, die ein bestimmtes Verständnis für solche Aspekte der Musik besitzen und damit praktische (künstlerische und didaktische) Anwendungen möglich machen wie etwa Live-Visualisierung von Musik und Interpretationen, synthetische Interpreten und virtuelle Orchester, oder didaktische Computertools für die Analyse und das Lehren von Musikinterpretation.Im Projekt wurden eine Reihe neuer Methoden und Algorithmen entwickelt von Computerprogrammen, die ein live gespieltes Stück in Sekundenschnelle identifizieren können, zu Rechnern, die durch ein Mikrofon bei Live-Aufnahmen auf der Bühne zuhören und in Echtzeit die Position der MusikerInnen im Musikstück (Notentext) mitverfolgen, unabhängig vom gewählten Tempo oder davon, ob die MusikerInnen Fehler machen oder gar ganze Teile eines Stücks auslassen. (Diese Technologien können z.B. für Live-Visualisierungen von Musikaufführungen genutzt werden, oder für das synchrone Anzeigen des Notentexts für das Publikum, oder zur Steuerung eines autonomen, vollautomatischen Umblättergeräts für MusikerInnen). Des Weiteren wurden Computerprogramme entwickelt, die ein gegebenes Musikstück mehr oder weniger ausdrucksvoll spielen und es lebendig und (meist) natürlich klingen lassen können. Diese Programme gewannen bei einem internationalen Computer-Klavier-Interpretationswettbewerb (Rencon 2011, Padua), bei dem ForscherInnen ihre Computermodelle von Musikinterpretation miteinander vergleichen, alle relevanten ersten Preise.Einige der oben beschriebenen neuen Technologien sind in prototypischen Realsierungen auf unserem YouTube-Kanal www.youtube.com/user/CPJKU zu sehen.Das Projekt hat damit die Basis für eine ganze Reihe von Nachfolgeprojekten und Kooperationen gelegt, wo die neuen Technologien in realen Anwendungskontexten zum Einsatz kommen werden unter anderem im multinationalen EU-Forschungsprojekt PHENICX (http://phenicx.upf.edu), wo wir mit dem weltberühmten Concertgebouw-Orchester Amsterdam zusammenarbeiten, um klassische Musikkonzerte zu neuartigen multi-medialen Erlebnissen zu machen.