Ein Framework für visuelles Information Retrieval

Das Projekt "VizIR - Ein Framework für visuelles Information Retrieval", eingereicht durch das Institut für Softwaretechnik und Interaktive System der Technischen Universität Wien, zielt auf die folgenden Ziele ab: (1) Integration vorhandener Forschungsergebnisse auf dem Gebiet des visuellen Information Retrieval mit unserer derzeitigen Forschungsarbeit zur Ähnlichkeits-modellierung, Extraktion (semantischer) Deskriptoren und Geschwindigkeitsoptimierung von Abfragen. Wir haben ein prozessorientiertes Ähnlichkeitsmodell entwickelt, das auf psycho-logischen Erkenntnissen über menschliche Ähnlichkeitswahrnehmung sowie auf den Methoden des Information Retrieval basiert. Die wesentliche Idee ist, dass visuelle Ähnlichkeit mehr ist als Distanzmessung von numerischen Eigenschaftsvektoren. Im Bereich der Extraktion von visuellen Eigenschaften haben wir ein Konzept zur Modellierung semantischer Deskriptoren entwickelt. Zusätzlich integrieren und evaluieren wir die visuellen MPEG-7 Deskriptoren. (2) Implementierung eines Frameworks von Assets für inhaltsorientiertes Retrieval visueller Medien (Bilder, Videos). Assets sind Klassenbäume von Methoden für Feature-Extraktion, die Durchführung von Abfragen und Benutzerschnittstellen-Komponenten sowie Benchmarks, Testmengen von Medienobjekten und Dokumentation. Das Asset Framework muss offen, portierbar, erweiterbar und gut dokumentiert sein. Offen bedeutet, dass die Ergebnisse des VizIR Projekts (inklusive Quellcode und API Dokumentation) regelmäßig der Öffentlichkeit zur Verfügung gestellt werden und interessierte Forscher eingeladen werden, diese Toolbox zu benutzen und selbst zu erweitern. VizIR ist portabel, da es vollständig in Java und mit dem JavaSDK implementiert wird. Wo plattform-abhängige Pakete benutzt werden (Datenbankzugriff, Medienzugriff), werden Wrapper- Klassen mit einheitlichem API benutzt, um zu garantieren, dass diese Komponenten ausgetauscht werden können, ohne das Framework API ändern zu müssen. VizIR wurde so entworfen, dass es erweiterbar ist: Benutzer können Methoden zur Feature-Extraktion, Abfragemodule, Indexierungsmethoden, etc. hinzufügen. Gut dokumentierte APIs und Komponenten schließlich werden garantiert durch die Verwendung von Javadoc und professionellen Methoden und Werkzeugen für die Software-Entwicklung. (3) Kooperation mit anderen Forschungsgruppen. Im Rahmen von VizIR werden Innovationen anderer Gruppen implementiert und weiterentwickelt, wie zum Beispiel der Multimedia Retrieval Markup Language, Testmengen von Medienobjekten, etc. sowie Beiträge zu Projekten anderer Gruppen geleistet (z. B. Benchathlon, eine Initiative zum Design von Benchmarks für Bild-Retrieval). Das VizIR Projekt wurde bereits im Herbst 2001 begonnen. Die Förderung durch den FWF würde dazu beitragen, den Projektfortschritt zu beschleunigen und den wissenschaftlichen Output zu maximieren.

Das VizIR-Projekt zielt auf wahrnehmungsbasiertes Verstehen von audiovisuellen Medien ab. Die wissenschaftlichen Ergebnisse des Projektteils, der vom FWF unterstützt wurde, können in vier Teilbereiche unterteilt werden: Modellierung von Features, Ähnlichkeitsmodellierung, Softwareentwurf für Medien-Retrieval und Visualisierung/Interaktion. Modellierung von Features. Wir haben neuartige Forschungsansätze in den Bereichen der Feature-Extraktion, - Standardisierung und -Evaluierung vorgeschlagen. Unter anderem haben wir ein Paradigma zum Modellieren semantischer Features vorgeschlagen, das komplexe Features aus einfachen Basis-Features und Systemwissen aufbaut. Zusätzlich haben wir einen neuartigen systematischen Ansatz zur Datenanalyse von Features vorgeschlagen. Wir haben die visuellen MPEG 7-Deskriptoren nach diesem Ansatz untersucht und herausgefunden, dass sie teilweise unter wesentlichen Qualitätsmängeln leiden (Redundanz, Anfälligkeit gegen Rauschen etc.). Ähnlichkeitsmodellierung. Im Rahmen von VizIR haben wir uns mit der Modellierung menschlicher visueller Ähnlichkeitswahrnehmung befasst. Die einschlägigen Forschungsergebnisse wurden in wissenschaftlichen Publikationen beschrieben. Wir haben die Facetten von visuellen Retrieval-Modellen aus verschiedenen Perspektiven untersucht. Dabei wurde der Schwerpunkt auf Multi-Feature-Ansätze gelegt. Insbesondere haben wir uns auch mit der Analyse erfolgreicher Distanzmasse beschäftigt. Dabei wurde besonderes Gewicht auf psychologische Distanzmodelle gelegt. Die Ergebnisse dieser Studien wurden in die VizIR-Softwarearchitektur eingearbeitet. Entwurf von Retrieval-Systemen. Ein wesentliches Anliegen des VizIR-Projektes war die Einführung aktueller Softwarentwurfsmethoden in das Forschungsgebiet des Medien-Retrievals. Wir haben die bekanntesten Retrieval- Architekturen analysiert und eine "ideale" Softwarearchitektur entworfen. VizIR implementiert ein Zwei- Schichten-Modell mit einem Back-End zum Datenmanagement und einem Front-End für Visualisierung und Interaktion. Alle Komponenten sind lose durch Web-Services gekoppelt. Das Management von Mediendaten und Features basiert auf einer transparenten objektorientierten Datenbank-Schicht. Die Handhabung von Medien, Datentransport und Visualisierung basieren auf einfachen, aber leistungsstarken Plug-Ins. Visualisierung und Interaktion. Im Rahmen des VizIR-Projektes haben wir eine neuartige 3D-Benutzerschnittstelle für Retrieval entwickelt. Darüber hinaus haben wir einen neuartigen Ansatz zum Visualisieren von Video-Inhalten entwickelt. Der Video-Browser erlaubt die gleichzeitige Darstellung von Inhalt und zeitlicher Struktur von Videos. Zusätzlich haben wir neuartige Wege zur Verwendung von Retrieval-Technologie für die Personalisierung multimedialer Inhalte vorgeschlagen.