Adaptive Audio-Visuelle Sprachsynthese von Dialekten

In diesem Projekt werden wir die multimodale Adaptation für audio-visuelle Sprachsynthese untersuchen. Da menschliche Sprache multimodal ist, wollen wir auch das akustische und visuelle Signal gemeinsam modellieren. Im sprachlichen Verhalten können wir zwischen Intra-SprecherInnen-Variabilität (z.B. Variabilität abhängig von Sprechsituationen, Sprechaufgaben und emotionalen Zuständen eines/einer SprecherIn) und Inter-SprecherInnen- Variabilität (z.B. soziolektale und/oder dialektale Variabilität) unterscheiden. Die zweite Art von Variabilität kann modelliert werden, indem durchschnittliche Sprachmodelle von SprecherInnen verschiedener Dialekte auf eine/n SprecherIn eines bestimmten Dialekts adaptiert werden. Dialekt wird als eine Quelle der Variation verwendet, um unsere Forschungen an den Wiener Soziolekten auf andere österreichische Dialekte auszuweiten, und um grundlegende Forschungsfragen im Bereich der audio-visuellen Synthese von Dialekten zu untersuchen. In der audio-visuellen Sprachsynthese wird ein Sprach- und Videosignal einer sprechenden Person generiert. In den meisten früheren Ansätzen wurden das akustische und das visuelle Signal separat modelliert, obwohl beide Signale das Resultat ein und desselben Artikulationsprozesses sind und deshalb gemeinsam modelliert werden sollten. Die Verwendung von visueller Information kann darüber hinaus auch zu einer besseren akustischen Synthese führen. Daher wollen wir Methoden entwickeln, die es uns erlauben das akustische und das visuelle Signal gemeinsam zu modellieren. Mit diesen Methoden wollen wir akustische und visuelle Signale für verschiedene österreichische Dialekte generieren. Durch die Verwendung von hidden Markov Modellen (HMM) für die akustische und visuelle Synthese ist es möglich, beide Merkmalsequenzen in einem gemeinsamen Modell zu kombinieren. Ein wichtiger Aspekt unserer Arbeit ist daher die multimodale Adaptation von audio-visuellen Synthesemodellen. Die gemeinsame Adaptation akustischer und visueller Modelle an multimodale audio-visuelle Modelle wurde noch nicht untersucht und führt zu einer Reihe wichtiger Forschungsfragen, die wir in diesem Projekt untersuchen wollen.

In der audio-visuellen Sprachsynthese wird ein Sprach- und Videosignal einer sprechenden Person generiert. Audio-visuelle Synthese kann in der Kommunikationstechnologie und in Computerspielen eingesetzt werden. In diesem Projekt wurde die multimodale Modellierung für audio-visuelle Sprachsynthese von Dialekten untersucht. Da menschliche Sprache multimodal ist, wurde das akustische und visuelle Signal gemeinsam modelliert. In den meisten früheren Ansätzen wurden das akustische und das visuelle Signal separat modelliert, obwohl beide Signale das Resultat ein und desselben Artikulationsprozesses sind und deshalb gemeinsam modelliert werden sollten. Wir konnten in diesem Projekt zeigen, dass eine gemeinsame Modellierung von visuellem und akustischem Signal eine bessere visuelle Synthese ermöglicht bei gleichbleibender Qualität der akustischen Synthese. Durch die Verwendung von flexiblen Modellen, die über Parameter angepasst werden können, ist es möglich diese Modelle einfach wiederzuverwenden und verschiedene Transformationen auf sie anzuwenden. Außerdem konnten wir zeigen, dass durch die Anpassung von visuellen Durchschnittsmodellen mit neuen Daten eine bessere Modellierung erreicht werden kann als ohne die Verwendung von Hintergrunddaten. Mit dieser Methode ist es möglich mit wenigen visuellen Daten einer Person ein neues Modell zu trainieren.Zur Kontrolle von akustischen Modellen, die sehr viele Parameter haben, haben wir eine Methode entwickelt mit der auf der Basis von visuellen Parametern die akustischen Parameter geändert werden können. So kann zum Beispiel durch die Öffnung des Mundes im visuellen Modell die entsprechende akustische Änderung im akustischen Modell bewirkt werden.Für die Dialektmodellierung wurden aufwändige Aufnahmen zweier österreichischer Dialekte von 8 SprecherInnen gemacht, einer mittelbairischen Varietät, die im Salzkammergut gesprochen wird (Bad Goisern) und einer südbairischen Varietät aus Tirol (Innervillgraten). Für diese audio-visuellen Dialektaufnahmen für die Sprachsynthese haben wir eine eigene Methode zur phonetischen Datensammlung und audio-visuellen Aufnahme entwickelt. In der Modellierung haben wir Methoden entwickelt um die Dialektdaten optimal zu verwenden. Diese aufgenommenen Daten sind auch in anderen laufenden Projekten in Verwendung und werden auch in Zukunft noch wertvolle Erkenntnisse liefern.