Multiparameter-Regularisierung für hochdimensionales Lernen

Genaue Vorhersagen sind ein wichtiger Faktor in vielen Systemen (wie z.B. medizinische Versorgung und Prophylaxe, Geomathematik, Soziodynamik, Finanzrechnung) für Kosteneinsparung, bessere Effizienz, Gesundheitsaspekte, mehr Sicherheit und bessere Organisation. Gleichzeitig sind die Situationen, welche in fast allen realen Anwendungen angetroffen werden, durch unvollständige, verrauschte und hochdimensionale Daten gekennzeichnet und das Extrahieren eines Vorhersagemodells von diesen Daten ist eine unmögliche Aufgabe falls a priori Informationen der Eigenschaften des Erwartungsmodells nicht verfügbar sind. Inspiriert durch erhöhte Nachfrage nach robusten Vorhersagemodellen, erstellen wir in diesem gemeinsamen internationalen Projekt eine umfassende Analyse der Techniken und der numerischen Methoden zur verlässlichen Vorhersage durch verrauschteund hochdimensionaleDaten. Die obengenanntenfundamentalen Herausforderungen sollen durch die Einbeziehung zusätzlicher Informationen über die verfügbaren Daten, durch Optimierung mittels Multiparameter-Regularisierung und Analyse verschiedener Core-Modelle zusammen mit zusätzlichen Nebenbedingungen, überwunden werden. Wir verfolgen drei grundlegende Ziele, von denen die ersten beiden einen methodologischen Charakter haben und das letzte sich mit Anwendungen befasst. Das erste Ziel besteht darin, die umfassende theoretische Analyse und die ausführlichen numerischen Methoden der Multiparameter-Regularisierung in Banachräumen, die entweder Reproduzierende Kern-Banachräume oder die Räume der schwachbesetzten Funktionen sind, zu entwickeln. Die Motivation dazu liefern die groß erwarteten geometrischen/strukturierten Eigenschaften von hochdimensionalen Daten, die in Hilberträumen nicht gut dargestellt werden können. Darüber hinaus ist es ein ganz neuer Forschungsbereich, in dem nur vorläufige Ergebnisse vorhanden sind. Das zweite Ziel ist die Anwendung der entwickelten Multiparameter-Regularisierung in Banachräumen für das hochdimensionale überwachte Lernen. Wir konzentrieren uns insbesondere auf zwei wesentliche Mechanismen der Dimensionalitätsverringerung unter der Annahme, dass unsere Funktion eine besondere Darstellung/Format hat. Danach wird das Lernproblem in der Form der Multipenalty-Regularisierung mit adaptiver Parameterwahl dargestellt. Die letzte Forschungslinie besteht darin, die entwickelten Methoden auf Meta-Learning für die optimale Wahl von Regularisierungsparametern anzuwenden. Da in vielen Algorithmen zur numerischen Simulationen und vor allem in der Datenanalyse bestimmte Parameter für eine optimale Leistung, die in Form von entweder Geschwindigkeit oder Qualität gemessen wird, abgestimmt werden müssen, scheint die Entwicklung einer schnellen Regel zur Auswahl der Regularisierungsinstanzen, möglicherweise in Abhängigkeit von Dateneigenschaften, die jedoch sehr hochdimensional werden können, nötig zu sein. Diese Regel soll durch Trainingsläufe von früheren Anwendungen des Algorithmus gelernt werden. Es zeigt sich, dass eine solche Methode im Kontext vom hochdimensionalen Lernen bis jetzt nicht systematisch studiert wurde. Die obengenannten Projektziele können künftig als eine Brücke zwischen Regularisierungs-, Lern- und Approximationstheorie dienen und können für einige praktische Anwendungen eine fundamentale Rolle spielen.

Das Projekt konzentrierte sich auf den Brückenschlag zwischen der Regularisierungstheorie und Maschinelles Lernen. Zum Beispiel eine Methode der Aggregation mehrerer Regularisierungsalgorithmen, die im vorherigen Projekt vorgeschlagen wurde, wird nun im Kontext der Künstlichen Intelligenz entwickelt. Das entwickelte Verfahren ist in der Lage die Vorhersagealgorithmen zu kombinieren, die durch maschinelle Lerntechniken unterschiedlicher Art erzeugt werden. Verschiedene Aspekte der Methode werden in den führenden Fachzeitschriften veröffentlicht. Die Methode wird auch zur Vorhersage der nächtlichen Hypoglykämie von Diabetes Patienten angewendet. Der entsprechende Prädiktor ist in Form einer Diabetes-Smartphone- Anwendung implementiert. Es wurde im Internationalen Startup-Wettbewerb "Sikorsky Challenge" ausgezeichnet. Weitere Details sind in Video dargestellt https://www.youtube.com/watch?v=qGvgBCKu3jc&t=2s