Regularisierungstechniken im Lernen mit Big Data

Methoden der Regularisierungstheorie wurden für die Probleme des Lernens am Anfang der 90er Jahre in den grundlegenden Arbeiten von Poggio und Girosi eingeführt. Aufgrund der Natur von den Lernaufgaben müssen die Regularisierungstechniken, wie z. B. Lawrentjew-Regularisierung, die ursprünglich für die kontinuierlichen schlecht gestellten Probleme entwickelt wurden, auf diskrete Daten angewendet werden. Aber weil die Lernprobleme von Natur aus schlecht gestellt sind, und wegen des sogenannten Überanpassungsrisikos, macht die diskrete Form der Daten die Anwendung der Regularisierungsverfahren für die Analyse und Interpretation nicht einfacher. Daher gibt es eine umfangreiche Literatur über das regularisierungs-basiertes Lernen, und die Forschung in diesem Bereich ist immer noch sehr aktiv. Zur gleichen Zeit wird das Lernen mit Big Data ein aktuelles Forschungsgebiet wegen seiner großen Potenzials und Bedeutung in vielen wissenschaftlichen und industriellen Rahmen. Jedoch kann eine direkte Anwendung der bekannten regularisierten Lernalgorithmen für das Lernen mit Big Data praktisch nicht realisierbar werden. In diesem Projekt werden wir das Problem der praktischen Realisierbarkeit mit Hilfe von neuen Ideen in der Regularisierungstheorie behandeln.

Eine wichtige Klasse von maschinellen Lernalgorithmen bilden die sogenannten Kernel-Methoden, die in den Reproduzierender-Kernel-Hilbert-Räumen arbeiten. In diesen Methoden ist der Prozess der Bestimmung von Ausgabewerten einer Funktion für jede Eingabe wohldefiniert. Die Standardimplementierung dieser Algorithmen ist jedoch beim Umgang mit großen Trainingsdaten nicht praktikabel, da sie die Rechenkapazität herkömmlicher Computer übersteigt. Eine der Errungenschaften des abgeschlossenen Projekts ist die Entwicklung einer vollständig datengesteuerten Strategie zur gleichzeitigen Bestimmung der Hyperparameter der Kernel-Lernalgorithmen, die ihre praktikable Implementierung ohne Verlust an Genauigkeitsordnung im Vergleich zur idealen Nutzung der verfügbaren großen Trainingsdatensätze ermöglicht. Um das Testen der theoretischen Ergebnisse gegen Datensätze aus der realen Welt umzusetzen, wurde das Projekt an die Medizinische Universität Innsbruck übertragen, wo auch der Einsatz der maschinellen Lernalgorithmen in der neuroradiologischen Datenverarbeitung vorangetrieben wurde. Die Hauptergebnisse des Projekts wurden in den führenden wissenschaftlichen Zeitschriften in den Bereichen Computer- und Angewandte Mathematik und Radiologie veröffentlicht. Das Projekt wurde in enger Zusammenarbeit mit anderen Projektteams durchgeführt, die von verschiedenen Förderstellen unterstützt wurden. Solche Synergie von Forschungsaktivitäten kann als Beispiel für Bestrebungen angesehen werden, den Wert der in die Forschung investierten öffentlichen Gelder zu steigern.