Recherche & fondamentaux mathématiques
Optimisation par descente de gradient stochastique
Implémentation from scratch (NumPy, sans scikit-learn) de trois algorithmes d'optimisation — SGD, Mini-Batch Gradient Descent et Adam — pour une régression linéaire, avec variantes régularisées (Ridge/L2) de chacun. Projet de groupe.
Points forts
- Comparaison de la vitesse de convergence : Mini-Batch converge en ~21 itérations contre ~66 pour Adam et ~149 pour le SGD pur, pour un MSE final similaire
- Étude de la robustesse au bruit sur données synthétiques à trois niveaux croissants (écart-type 1, 4, 10)
Stack technique
PythonNumPyMatplotlib