Ce projet développe et analyse des méthodes de type Newton multi-niveaux et régularisées pour des problèmes d'optimisation à grande échelle, en mettant l'accent sur la convergence rapide, la scalabilité et les applications en apprentissage automatique et en apprentissage profond.
Ce projet porte sur l'analyse théorique et le développement pratique de méthodes du second ordre pour l'optimisation à grande échelle. L'objectif central est de concevoir des algorithmes de type Newton qui conservent les propriétés de convergence rapide des méthodes classiques du second ordre tout en réduisant leur coût de calcul grâce à des techniques multi-niveaux, de sous-espace, randomisées et régularisées.
Une partie importante du projet concerne les méthodes multi-niveaux pour la minimisation autoconcordante et fortement autoconcordante. Cela inclut le développement d'une méthode de type Newton multi-niveaux qui répond à des limitations importantes de la théorie des méthodes de Newton randomisées, notamment l'absence de convergence superlinéaire avec des garanties de convergence globale, ainsi que l'absence d'analyse invariante d'échelle. Cette ligne de travail s'étend également à l'optimisation non convexe et montre un comportement pratique amélioré, notamment une sortie plus rapide des points-selles et des régions plates par rapport aux méthodes standards du premier ordre.
Le projet étudie également des méthodes de type Newton régularisées pour des problèmes convexes et non convexes. Dans cette direction, l'objectif est d'établir des taux de convergence globale précis et de comprendre comment la régularisation multi-niveaux peut atteindre des garanties de complexité à l'état de l'art tout en restant adaptée aux problèmes à grande échelle. Une partie connexe du travail examine le comportement local amélioré de la méthode de Newton pour les fonctions fortement autoconcordantes, montrant que des hypothèses structurelles plus fortes peuvent conduire à une convergence plus rapide et à des régions de convergence locale plus larges.
Le projet aborde également la question de savoir quand un algorithme d'optimisation devrait passer d'une méthode moins coûteuse mais plus lente à une méthode du second ordre plus coûteuse offrant une convergence locale rapide. Cela conduit au développement de méthodes de Newton multi-niveaux adaptatives avec une convergence locale quadratique démontrable. Dans l'ensemble, le projet contribue à un programme de recherche plus large sur l'optimisation du second ordre à grande échelle, avec des applications potentielles en apprentissage automatique, en apprentissage profond et en calcul scientifique.
Journal Articles
- A multilevel method for self-concordant minimization, N. Tsipinakis and P. Parpas, J. Optim. Theory Appl., 203(3):2509–2559, 2024, https://doi.org/10.1007/s10957-024-02509-z
- Multilevel regularized Newton methods with fast convergence rates, N. Tsipinakis and P. Parpas, SIAM J. Sci. Comput., pp. S232–S257, 2025, https://doi.org/10.1137/24M1677307
- A multilevel low-rank Newton method with super-linear convergence rate and its application to non-convex problems, N. Tsipinakis, P. Tigkas, and P. Parpas, Trans. Mach. Learn. Res., 2026, https://openreview.net/forum?id=PKakPzVVja
Preprints / Submitted Papers
- Simba: A scalable bilevel preconditioned gradient method for fast evasion of flat areas and saddle points, N. Tsipinakis and P. Parpas, arXiv preprint arXiv:2309.05309, Sep. 2023, Submitted for publication, https://doi.org/10.48550/arXiv.2309.05309
- Convergence rates of Newton's method for strongly self-concordant minimization, N. Tsipinakis and P. Parpas, arXiv preprint arXiv:2507.23558, Jul. 2025, Submitted for publication, https://doi.org/10.48550/arXiv.2507.23558
- Adaptive Multilevel Newton: A quadratically convergent optimization method, N. Tsipinakis, P. Parpas, and M. Voigt, arXiv preprint arXiv:2510.24967, Oct. 2025, Submitted for publication, https://doi.org/10.48550/arXiv.2510.24967
