Abstraktion von Domänenspezifischen Informationssuche und Evaluierung (ADmIRE)

Suchmaschinen im World Wide Web funktionieren sehr effektiv und effizient. Diese Suchwerkzeuge sind ausdrücklich als Mehrzweckwerkzeuge entworfen worden, die in einer möglichst großen Anzahl an Situationen anwendbar sein sollen. Aber Informationen sind nicht gleich Informationen. Es gibt Gebiete, für die diese Werkzeuge zu allgemein konzipiert sind, um nützlich zu sein: Gesundheits- und biomedizinische Informationen, geistiges Eigentum und Patentrechte, sozialwissenschaftliche Publikationen, Blogs, Pressefotos, etc. Suche in einem dieser Bereiche heißt domänenspezifische Suche. Derartige Suchen unterscheiden sich im Hinblick auf die verwendeten Dokumentensammlungen, die Verfeinerungen der Suchbegriffe, die sich aus den Eigenschaften der Domäne ergeben, den Abdeckungsgrad der Domäne, sowie darin, welche multimodalen Daten (Bilder, chemische Formeln, etc.) in den Dokumenten vorhanden sind, und auch in ihren AnwenderInnen und deren Aufgaben. Obwohl viele Domänen einander in ihren Eigenschaften und Herausforderungen ähneln, gibt es noch kein allgemeines Rahmenwerk für die Entwicklung domänenspezifischer Suchlösungen, und auch noch keine Möglichkeit, Domänen mit Hinblick auf die am besten geeigneten Verfahren und Werkzeuge zu beschreiben. ADmIRE wird Entwicklungen zu folgenden zwei Bereichen beitragen: 1. Domänenspezifische Suchmethoden und 2. Evaluierung von Suchsystemen. Für domänenspezifisches Suchen werden wir ein Rahmenwerk entwickeln, das aus einem Klassifikationsschema für domänenspezifische Fragestellungen und einer Anleitung zur Lösung derselben besteht, welches den besten evidenzbasierten Zugang auf Basis der Domänencharakterisierung liefert. Letzteres wird auf Basis einer ausführlichen Auswertung der einschlägigen Literatur entwickelt werden. In der Tat ist die Erstellung von systematischen Reviews und die Ableitung der sich daraus ergebenden Richtlinien für domänenspezifisches Suchen selbst schon ein (eher schwieriges) domänenspezifisches Suchproblem. Diese Fragestellungen werden wir für ADmIRE als zentrales Szenario bei der Erforschung und Entwicklung von semiautomatischen Werkzeugen für Suchtechnologieforschung nutzen, mit deren Hilfe WissenschaftlerInnen effektiv systematische Reviews erzeugen können werden. Dieses Szenario dient also gleichzeitig als ein Modell eines domänenspezifischen Problems und als Mittel, um die evidenzbasierte Lösung zu finden. Für den Bereich der Evaluierung wird ADmIRE Richtlinien für zukünftige Evaluierungsveranstaltungen und - publikationen im Suchtechnologiebereich entwickeln, welche eine einfachere und effektivere Wiederverwendung von Evaluierungsergebnissen erlauben, um Entscheidungen im Designprozess von domänenspezifischen Suchsystemen zu erleichtern, sowie ein Framework für komponentenbasierte Evaluierung auf Basis des Workflow- Paradigmas entwickeln. Die Erforschung von Suchsystemen (und potenziell auch andere empirische Forschungsfelder der Informatik) hat den Vorteil, dass in der aktuellen Situation experimentelle Studien bereits Grundpfeiler der Forschungsarbeit darstellen. ADmIRE wird die gesamte experimentelle Information zusammenführen und sie so organisieren, dass sie für eine bestimmte Domäne von Nutzen sein kann, was eine sehr herausfordernde, aber auch absolut notwendige Aufgabe für die Weiterentwicklung des Forschungsfeldes ist.

Die Suchresultate und deren Anordnung kann eine wichtige Rolle beim Treffen von Entscheidungen spielen. So könnte es sein, dass ein Doktor welcher nach neuen Behandlungsmethoden für eine bestimmte Krankheit sucht, passenden Suchresultate nicht findet falls diese nicht hoch genug im Suchranking liegen, was zu einer suboptimalen Behandlung eines Patienten führen könnte. Ein Mitarbeiter eines Patentbüros könnte im Rahmen einer Patentsuche bereits angemeldete Patente nicht finden, was zu einer falschen Patentberechtigung und in Folge zu einer juristischen Auseinandersetzung zwischen zwei Unternehmen führen könnte. Zur Vorbeugung solcher Probleme ist es wichtig, dass Suchmaschinen, vor allem solche aus dem professionellen Bereich, keine Bias aufweisen. Im Rahmen des ADmIRE Projektes wurden solche Bias identifiziert und Methoden entwickelt um sie zu überbrücken. Suchmaschinen verwenden unterschiedlichste heuristische Gleichungen um relevante Dokumente bei einer Sucheingabe zurückzuliefern. Dabei kann es sein, dass unabhängig von der Sucheingabe, einige Dokumente nur mit einer sehr geringen Wahrscheinlichkeit zurückgeliefert werden. Dieses Phänomen ist als Findability-Bias bekannt. Nimmt man nun eine hohe Anzahl von Sucheingaben und zeichnet für jede einzelne Eingabe die zurückgelieferten Dokumente auf, ist es experimentell möglich die Findability-Bias zu messen. Dazu beschreiben wir einen analytischen Ansatz zur Messung der Findability-Bias bei welchem der experimentelle Aufwand reduziert wird. Durch die Dokumentlänge kann eine weitere Bias auftreten. Bei Suchmaschinen bei welchen die Überlappung der Wörter der Sucheingabe und der Wörter der Dokumente gezählt wird, werden längere Dokumente bevorzugt. Durch eine Methode, welche auf der Erkennung basiert ob ein langes Dokument auftritt, weil es sich über mehrere Themen streckt, oder weil es ausgiebig ein einzelnes Thema beschreibt (e.g. Lehrbücher), konnten wir die Dokumentenlänge-Bias von gelieferten Suchresultaten reduzieren. Zuletzt wird noch auf die Effektivitäts-Bias von Suchmaschinen eingegangen. Um festzustellen wie effektiv eine Suchmaschine funktioniert, wird diese mit mehreren Sucheingaben getestet. Die zurückgelieferten Ergebnisse werden dann manuell in relevant bzw. irrelevant eingeteilt durch das Wissen welche Dokumente relevant und irrelevant sind, kann nun die Effektivität einer Suchmaschine gemessen werden. Dadurch dass für eine Sucheingabe üblicherweise Millionen von Ergebnissen zurückgeliefert werden, ist eine manuelle Relevanzeinteilung für alle Dokumente nicht durchführbar. Somit ist die Effektivitätsmessung in manchen Situationen biased. Es wurde eine Methode entwickelt durch welche diese Bias stark reduziert wurde. Weiters wurde ein Ansatz vorgestellt durch welchen die Effektivitäts-Bias von Testdaten (Datensätze bestehend aus Sucheingaben, Dokumenten und manuellen Relevanzbeurteilungen) reduziert werden kann. Damit wurde ermöglicht, dass die hunderten bereits vorhandenen Testdatensätze verwendet werden konnten um Messungen mit minimaler Bias durchzuführen.