Nichtglatte Optimierungsaufgaben: Splitting und Dynamik
Nonsmooth optimization problems: splitting and dynamics
Wissenschaftsdisziplinen
Mathematik (100%)
Keywords
-
Splitting Methods,
Primal-Dual Algorithms,
Nonsmooth Optimization,
Dynamical Systems
Eine Vielzahl an Aufgabenstellungen lässt sich mithilfe mathematischer Modellierungs- und Regularisierungstechniken auf strukturierte Optimierungsaufgaben zurückführen. Das Ziel dieses Projektes ist die Untersuchung von konvexen/ nichtkonvexen und nichtglatten Optimierungsaufgaben, die man mithilfe von Splitting-Verfahren lösen möchte. Das wichtigste Merkmal dieses Verfahrens ist die Eigenschaft, dass im Laufe der Implementierung, alle Teile der Modellierung (Funktionen und Operatoren) getrennt auftreten und einzeln ausgewertet werden. Das Projekt hat zwei Hauptteile: Untersuchungen von strukturierten nichtglatten Optimierungsaufgaben mithilfe von Proximal-type Splitting-Verfahren und die Analyse des stetigen Falls, wobei die Optimierungsaufgabe mithilfe von Differentialgleichungen erster und zweiter Ordnung untersucht wird. Wir beginnen mit der Untersuchung von Konvergenzraten und Beschleunigungstechniken für Splitting-Verfahren, die für die Lösung von äußerst strukturierten und komplexen nichtglatten Optimierungsaufgaben bestimmt sind. Unsere Absicht ist den aktuellen Stand der Beschleunigungstechniken auf kompliziertere Aufgabenstellungen zu erweitern. Die Motivation kommt von konkreten Anwendungen, wo die Modellierung zu strukturierten und komplexen Optimierungsaufgaben führt, wobei insbesondere Kompositionen mit linearen Operatoren vorkommen. Ein Hauptziel dieses Projektes ist es, die Beschleunigung und die Konvergenzraten, die für das FISTA-Verfahren bekannt sind, auf äußerst strukturierte und komplexe Optimierungsaufgaben zu erweitern. Positive Ergebnisse in diese Richtung können die aktuellen Anwendungen aus der Literatur bedeutend verbessern. Darüber hinaus wollen wir auf den stetigen Fall eingehen, wobei Differentialinklusionen und Gleichungen mit zeitabhängigen Operatoren/Funktionen eine bedeutende Rolle spielen. Die wichtigste Anwendung in diesem Bereich ist das sogenannte sweeping process, betrachtet von Moreau in der Untersuchung von Evolution Problems in der Newton`sche Mechanik. Die theoretischen Erkenntnisse sollen bei konkreten Anwendungen bestätigt werden. Wir beginnen mit numerischen Experimenten bei verschiedenen Aufgaben der Bildverarbeitung, wobei Entrauschen und Schärfen von Bildern unserer Ausgangspunkt ist. In Folge gehen wir auf die Rekonstruktion fehlender Bildanteile ein. Ferner planen wir Anwendungen im Bereich der maschinellen Klassifikation von Bildern, Signalverarbeitung, Zerlegung von Videostreams, Clusterbildung und Netzwerkkommunikation.
Eine Vielzahl an Aufgabenstellungen lässt sich mithilfe mathematischer Modellierungs- und Regularisierungstechniken auf strukturierte Optimierungsaufgaben zurückführen. Das Ziel dieses Projektes ist die Untersuchung von konvexen/ nichtkonvexen und nichtglatten Optimierungsaufgaben, die man mithilfe von Splitting-Verfahren lösen möchte. Das wichtigste Merkmal dieses Verfahrens ist die Eigenschaft, dass im Laufe der Implementierung, alle Teile der Modellierung (Funktionen und Operatoren) getrennt auftreten und einzeln ausgewertet werden. Das Projekt hat zwei Hauptteile: Untersuchungen von strukturierten nichtglatten Optimierungsaufgaben mithilfe von Proximal-type Splitting-Verfahren und die Analyse des stetigen Falls, wobei die Optimierungsaufgabe mithilfe von Differentialgleichungen erster und zweiter Ordnung untersucht wird. Wir haben uns der Untersuchung von Konvergenzraten und Beschleunigungstechniken für Splitting-Verfahren gewidmet, die für die Lösung von strukturierten und komplexen nichtglatten Optimierungsaufgaben bestimmt sind. Die Motivation kommt von konkreten Anwendungen, wo die Modellierung zu strukturierten und komplexen Optimierungsaufgabem führt, wobei insbesondere Kompositionen mit linearen Operatoren vorkommen. Ein Hauptziel war, die Beschleunigung und die Konvergenzraten, die für das FISTA-Verfahren bekannt sind, auf strukturierte und komplexe Optimierungsaufgaben zu erweitern. Positive Ergebnisse in diese Richtung haben die aktuellen Anwendungen aus der Literatur bedeutend verbessert. Darüber hinaus haben wir den stetigen Fall betrachtet, wobei geeignete Differentialinklusionen und Gleichungen für Optimierungsaufgaben untersucht wurden. Beschleunigte Methoden im Sinne von Nesterov (und deren Diskretisierung) spielen eine wichtige Rolle in diesem Zusammenhang. Die theoretischen Erkentnisse wurden bei konkreten Anwendungen bestätigt. Wir erwähnen die numerischen Experimenten bei verschiedenen Aufgaben der Bildverarbeitung, wobei Entrauschen und Schärfen von Bildern unserer Ausgangspunkt ist. In Folge gehen wir auf die Rekonstruktion fehlender Bildanteile ein. Außerdem gibt es Anwendungen im Bereich der maschinellen Klassifikation von Bildern, Signalverarbeitung, Zerlegung von Videostreams, Clusterbildung und Netzwerkkommunikation.
- Universität Wien - 100%
- Jérôme Bolte, Université Toulouse I - Frankreich
- Heinz Bauschke, University of British Columbia - Kanada
- Patrick Combettes, North Carolina State University - Vereinigte Staaten von Amerika
Research Output
- 497 Zitationen
- 47 Publikationen
-
2019
Titel Tikhonov regularization of a second order dynamical system with Hessian driven damping DOI 10.48550/arxiv.1911.12845 Typ Preprint Autor Bot R -
2019
Titel Shadow Douglas--Rachford Splitting for Monotone Inclusions DOI 10.48550/arxiv.1903.03393 Typ Preprint Autor Csetnek E -
2019
Titel A primal-dual dynamical approach to structured convex minimization problems DOI 10.48550/arxiv.1905.08290 Typ Preprint Autor Bot R -
2019
Titel Shadow Douglas–Rachford Splitting for Monotone Inclusions DOI 10.1007/s00245-019-09597-8 Typ Journal Article Autor Csetnek E Journal Applied Mathematics & Optimization Seiten 665-678 -
2019
Titel A Proximal Minimization Algorithm for Structured Nonconvex and Nonsmooth Problems DOI 10.1137/18m1190689 Typ Journal Article Autor Bot¸ R Journal SIAM Journal on Optimization Seiten 1300-1328 Link Publikation -
2021
Titel Fast Augmented Lagrangian Method in the convex regime with convergence guarantees for the iterates DOI 10.48550/arxiv.2111.09370 Typ Preprint Autor Bot R -
2019
Titel Newton-Like Dynamics Associated to Nonconvex Optimization Problems DOI 10.1007/978-3-030-11370-4_6 Typ Book Chapter Autor Bot R Verlag Springer Nature Seiten 131-149 -
2019
Titel Variable metric ADMM for solving variational inequalities with monotone operators over affine sets; In: Splitting Algorithms, Modern Operator Theory, and Applications Typ Book Chapter Autor R. I. Boţ Verlag Springer Nature Seiten 91-112 -
2019
Titel Newton-like dynamics associated to nonconvex optimization problems; In: International Series of Numerical Mathematics, vol. 170 Typ Book Chapter Autor R.I. Bot Verlag Springer Nature Seiten 131-149 -
2019
Titel ADMM for monotone operators: convergence analysis and rates Typ Journal Article Autor E.R. Csetnek Journal Advances in Computational Mathematics Seiten 327-359 -
2019
Titel Variable Metric ADMM for Solving Variational Inequalities with Monotone Operators over Affine Sets DOI 10.1007/978-3-030-25939-6_4 Typ Book Chapter Autor Bot R Verlag Springer Nature Seiten 91-112 -
2018
Titel Erratum DOI 10.1080/00036811.2018.1505361 Typ Journal Article Journal Applicable Analysis Seiten 548-548 Link Publikation -
2018
Titel ADMM for monotone operators: convergence analysis and rates DOI 10.1007/s10444-018-9619-3 Typ Journal Article Autor Bot R Journal Advances in Computational Mathematics Seiten 327-359 Link Publikation -
2018
Titel Approaching nonsmooth nonconvex minimization through second-order proximal-gradient dynamical systems DOI 10.1007/s00028-018-0441-7 Typ Journal Article Autor Bot R Journal Journal of Evolution Equations Seiten 1291-1318 Link Publikation -
2018
Titel A second-order dynamical approach with variable damping to nonconvex smooth minimization DOI 10.1080/00036811.2018.1495330 Typ Journal Article Autor Bot R Journal Applicable Analysis Seiten 361-378 Link Publikation -
2018
Titel Inducing strong convergence into the asymptotic behaviour of proximal splitting algorithms in Hilbert spaces DOI 10.1080/10556788.2018.1457151 Typ Journal Article Autor Bot R Journal Optimization Methods and Software Seiten 489-514 Link Publikation -
2017
Titel ADMM for monotone operators: convergence analysis and rates DOI 10.48550/arxiv.1705.01913 Typ Preprint Autor Bot R -
2020
Titel The forward–backward–forward method from continuous and discrete perspective for pseudo-monotone variational inequalities in Hilbert spaces DOI 10.1016/j.ejor.2020.04.035 Typ Journal Article Autor Bot R Journal European Journal of Operational Research Seiten 49-60 Link Publikation -
2020
Titel Fixing and extending some recent results on the ADMM algorithm DOI 10.1007/s11075-020-00934-5 Typ Journal Article Autor Banert S Journal Numerical Algorithms Seiten 1303-1325 Link Publikation -
2020
Titel Convergence Rates for Boundedly Regular Systems DOI 10.48550/arxiv.2004.00818 Typ Preprint Autor Csetnek E -
2020
Titel Tikhonov regularization of a second order dynamical system with Hessian driven damping DOI 10.1007/s10107-020-01528-8 Typ Journal Article Autor Bot R Journal Mathematical Programming Seiten 151-186 Link Publikation -
2020
Titel A Dynamical Approach to Two-Block Separable Convex Optimization Problems with Linear Constraints DOI 10.48550/arxiv.2005.09953 Typ Preprint Autor Bitterlich S -
2019
Titel A primal-dual dynamical approach to structured convex minimization problems DOI 10.13140/rg.2.2.25111.62882 Typ Other Autor Boţ R Link Publikation -
2018
Titel The Forward-Backward-Forward Method from continuous and discrete perspective for pseudo-monotone variational inequalities in Hilbert spaces DOI 10.48550/arxiv.1808.08084 Typ Preprint Autor Bot R -
2018
Titel The Proximal Alternating Minimization Algorithm for two-block separable convex optimization problems with linear constraints DOI 10.48550/arxiv.1806.00260 Typ Preprint Autor Bitterlich S -
2018
Titel A proximal minimization algorithm for structured nonconvex and nonsmooth problems DOI 10.48550/arxiv.1805.11056 Typ Preprint Autor Bot R -
2018
Titel Approaching nonsmooth nonconvex minimization through secondorder proximal-gradient dynamical systems Typ Journal Article Autor E.R. Csetnek Journal Journal of Evolution Equations Seiten 1291-1318 -
2018
Titel The Proximal Alternating Minimization Algorithm for Two-Block Separable Convex Optimization Problems with Linear Constraints DOI 10.1007/s10957-018-01454-y Typ Journal Article Autor Bitterlich S Journal Journal of Optimization Theory and Applications Seiten 110-132 Link Publikation -
2020
Titel A primal-dual dynamical approach to structured convex minimization problems DOI 10.1016/j.jde.2020.07.039 Typ Journal Article Autor Bot R Journal Journal of Differential Equations Seiten 10717-10757 Link Publikation -
2020
Titel Continuous Dynamics Related to Monotone Inclusions and Non-Smooth Optimization Problems DOI 10.1007/s11228-020-00548-y Typ Journal Article Autor Csetnek E Journal Set-Valued and Variational Analysis Seiten 611-642 Link Publikation -
2020
Titel Continuous dynamics related to monotone inclusions and non-smooth optimization problems DOI 10.48550/arxiv.2007.00460 Typ Preprint Autor Csetnek E -
2020
Titel Fast optimization via inertial dynamics with closed-loop damping DOI 10.48550/arxiv.2008.02261 Typ Preprint Autor Attouch H -
2022
Titel An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function DOI 10.1007/s10589-022-00378-8 Typ Journal Article Autor Bot R Journal Computational Optimization and Applications Seiten 925-966 Link Publikation -
2022
Titel Two Steps at a Time---Taking GAN Training in Stride with Tseng's Method DOI 10.1137/21m1420939 Typ Journal Article Autor Böhm A Journal SIAM Journal on Mathematics of Data Science Seiten 750-771 Link Publikation -
2022
Titel Fast optimization via inertial dynamics with closed-loop damping DOI 10.4171/jems/1231 Typ Journal Article Autor Attouch H Journal Journal of the European Mathematical Society Seiten 1985-2056 Link Publikation -
2022
Titel Fast Optimistic Gradient Descent Ascent (OGDA) method in continuous and discrete time DOI 10.48550/arxiv.2203.10947 Typ Preprint Autor Bot R -
2022
Titel Fast Augmented Lagrangian Method in the convex regime with convergence guarantees for the iterates DOI 10.1007/s10107-022-01879-4 Typ Journal Article Autor Bot R Journal Mathematical Programming Seiten 147-197 Link Publikation -
2021
Titel Convergence rates for boundedly regular systems DOI 10.1007/s10444-021-09891-6 Typ Journal Article Autor Csetnek E Journal Advances in Computational Mathematics Seiten 62 Link Publikation -
2021
Titel An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function DOI 10.48550/arxiv.2104.06206 Typ Preprint Autor Bot R -
2023
Titel Fast Forward-Backward splitting for monotone inclusions with a convergence rate of the tangent residual of $o(1/k)$ DOI 10.48550/arxiv.2312.12175 Typ Preprint Autor Bot R -
2023
Titel Fast Optimistic Gradient Descent Ascent (OGDA) Method in Continuous and Discrete Time DOI 10.1007/s10208-023-09636-5 Typ Journal Article Autor Bot R Journal Foundations of Computational Mathematics Seiten 163-222 Link Publikation -
2021
Titel A Dynamical Approach to Two-Block Separable Convex Optimization Problems with Linear Constraints DOI 10.1080/01630563.2020.1845730 Typ Journal Article Autor Bitterlich S Journal Numerical Functional Analysis and Optimization Seiten 1-38 Link Publikation -
2017
Titel An Inertial Proximal-Gradient Penalization Scheme for Constrained Convex Optimization Problems DOI 10.60692/fe0dj-w9d35 Typ Other Autor Ernö Robert Csetnek Link Publikation -
2017
Titel An Inertial Proximal-Gradient Penalization Scheme for Constrained Convex Optimization Problems DOI 10.60692/fzrkz-v5h12 Typ Other Autor Ernö Robert Csetnek Link Publikation -
2017
Titel An Inertial Proximal-Gradient Penalization Scheme for Constrained Convex Optimization Problems DOI 10.1007/s10013-017-0256-9 Typ Journal Article Autor Bot R Journal Vietnam Journal of Mathematics Seiten 53-71 Link Publikation -
2017
Titel Approaching nonsmooth nonconvex minimization through second order proximal-gradient dynamical systems DOI 10.48550/arxiv.1711.06570 Typ Preprint Autor Bot R -
2017
Titel Newton-like dynamics associated to nonconvex optimization problems DOI 10.48550/arxiv.1703.01339 Typ Preprint Autor Bot R