Personalisiertes Music Retrieval mittels Inhalt und Kontext

Intelligente Ansätze für Music Retrieval, die es erlauben, die stetig wachsenden Musiksammlungen privater und kommerzieller Natur zu explorieren, basieren heutzutage auf Eigenschaften des Musikinhalts und/oder des Musikkontextes. Der Musikinhalt bezieht sich auf Information, die aus dem Audiosignal extrahiert wird, während der Musikkontext durch externe, Musik-relevante Datenquellen beschrieben wird. Diese externen Datenquellen umfassen beispielsweise Web-Seiten, Peer-to-Peer Netzwerke, Abspiellisten, Collaborative Tags oder andere Benutzer-generierte Inhalte. Externe Aspekte der Situation und Umgebung in der Musik konsumiert wird, und die sich daher auf den Benutzerkontext beziehen, wurden bis jetzt noch keiner detaillierten Analyse hinsichtlich ihrer Eignung zur Determinierung von Relationen zwischen ihnen und musikalischen Aspekten unterzogen. Daher ist eine Zielsetzung dieses Forschungsprojektes die intensive Analyse des Benutzerkontextes im Zusammenhang mit Musikkonsum. Zu analysierende Aspekte und zu gewinnende Daten umfassen unter anderem die Situation in der eine Person Musik konsumiert, seine oder ihre Stimmung, geografische Position, sozialer Kontext, benutztes Abspielgerät und physiologischer Status. Wir sind überzeugt, dass diese Faktoren - neben vielen weiteren Aspekten des Benutzerkontextes - Einfluss auf Musikgeschmack und persönlicher Beurteilung von musikalischer Ähnlichkeit haben. Folglich werden wir eine eingehende Analyse von Datenquellen, welche dem Benutzerkontext zuzuordnen sind, durchführen, entsprechende Feature-Extraktoren erarbeiten, Methoden des maschinellen Lernens anwenden und neu entwickeln um Musikinhalts-, Musikkontext- und Benutzerkontext-Aspekte in Beziehung zueinander zu setzen, und schließlich Modelle erarbeiten, die diese unterschiedlichen Aspekte von Musik-Wahrnehmung aggregieren. Zur Gewinnung von Information aus Musikinhalt und Musikkontext können wir auf im Rahmen der FWF-Projekte L112-N04 (Musikinhalt) und L511-N15 (Musikkontext) erarbeitete Expertise an unserem Institut aufbauen. Die Analyse des Benutzerkontextes stellt hingegen eine neue Wissenschaftsdisziplin im Bereich der Musik- Informationsextraktion dar. Des Weiteren sind wir gut in ein internationales Forschungsnetz eingebunden und arbeiten mit Top-Wissenschaftern in verwandten Forschungsdisziplinen zusammen. In diesem Sinne zielt das vorliegende Projekt auf das Auffinden von subjektiven Faktoren die Musikgeschmack und Bewertung musikalischer Ähnlichkeit beeinflussen und auf die Erarbeitung eines holistischen Musik- Ähnlichkeitsmaßes ab. Solche Ähnlichkeitsmaße sind eine wichtige theoretische Grundlage für verschiedene Musik-bezogene Anwendungen. Sie erlauben es, ein besseres Verständnis der Einflussfaktoren auf die subjektive Ähnlichkeitsbewertung von zwei Künstlern/Interpreten oder Musikstücken zu erlangen und sich Hauptbestandteil von intelligenten Music Retrieval-Systemen. Aufbauend auf die erarbeiteten Ähnlichkeitsmodelle, welche die drei allgemeinen Kategorien von Aspekten (Musikinhalt, Musikkontext und Benutzerkontext) widerspiegeln, besteht das finale Ziel dieses Projektes darin, Prototypen für eine neue Generation von Music Retrieval-Systemen, wie zum Beispiel Systeme zur automatischen Erzeugung von Abspiellisten, personalisierte Musikempfehlungssysteme oder adaptive Benutzerschnittstellen zur Exploration von Musiksammlungen zu erarbeiten. Die in diesem Projekt entwickelten Methoden werden Retrieval- Systeme ermöglichen, die subjektive Aspekte des Benutzerkontextes einbeziehen und daher über die derzeitigen Methoden, die höchstens zwei der drei Kategorien abdecken, hinausgehen.

Ziel des Projektes war die Erarbeitung von Methoden zur Personalisierung von Musikzugriffssystemen, beispielsweise von digitalen Musikplayern und Musikempfehlungssystemen. Zu diesem Zweck wurden diverse Datenquellen herangezogen und miteinander verbunden; insbesondere wurden Eigenschaften aus dem Audiosignal, Informationen aus dem Internet und über den Hörer und dessen Umgebung akquiriert, ausgewertet und aggregiert. Letztere repräsentieren das Fundament des personalisierten Musikplayers, der eines der wichtigsten praktischen Projektresultate darstellt. Auf Seite der Grundlagenforschung sind folgende Projektergebnisse hervorzuheben: Detaillierte Analysen unterschiedlicher Datenquellen zur Benutzermodellierung zeigten, dass sowohl Daten aus sozialen Medien wie Twitter oder Last.fm als auch Sensor- und Umgebungsdaten von Smartphones geeignet sind, Hörgewohnheiten zu modellieren. Mittels der entwickelten Techniken wurden zwei öffentlich verfügbare Datensets ortsbezogener Hörereignisse erstellt, welche unter anderem für Forschung im Bereich kontextsensitiver Musikempfehlung Verwendung finden. Basierend auf Daten aus dem Web und sozialen Medien, entwickelten wir neue Musikähnlichkeitsmodelle. Außerdem verbesserten wir bereits existierende audio- basierte Ansätze. Diese sind von essentieller Bedeutung für Musikempfehlungs- und Playlistenerstellungssysteme. Entsprechende Implementierungen gewannen auch mehrmals internationale Wettbewerbe. Im Bereich der Audiosignalverarbeitung wurden unter anderem neue Methoden zur Rhythmusidentifikation in Musikstücken erarbeitet, welche in Folge ebenfalls einen Beitrag zur Verbesserung von Musikähnlichkeitsmaßen leisten können. Aus sozialen Medien extrahierten wir Kenndaten und Hörgewohnheiten der Benutzer und konnten herausfinden, welche Art von Musikempfehlungssystemen für welche Benutzergruppen vorteilhaft ist. Wir konnten zeigen, dass die automatische kontextabhängige Modifikation von Playlisten auf mobilen Geräten funktioniert und interessante Zusammenhänge zwischen Benutzerkontext und Musikpräferenz offenbart. Außerdem konnten wir mit hoher Genauigkeit vorhersagen, welchen Musikkünstler ein Benutzer in einem bestimmten Kontext gerne hört. Neben einer Vielzahl an Publikationen in facheinschlägigen Journalen und Konferenzbänden veröffentlichten wir auch diverse projektbezogene Überblicksartikel und Buchbeiträge.Abschließend sei erwähnt, dass das öffentliche Interesse an dem Projekt groß war, was durch diverse Artikel in renommierten Zeitungen und populärwissenschaftlichen Magazinen, unter anderem Der Standard und Bild der Wissenschaft, belegt wird.