Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією

Abstract

У цій роботі досліджено феномен подвійного спуску та запропоновано використання мінімаксної апроксимації (L∞-норма) як альтернативу L2-регуляризації для покращення якості апроксимації моделей. Подвійний спуск описує залежність похибки від складності моделі: похибка спершу зменшується, потім зростає через перенавчання, а далі знову знижується. Проте в експериментах із моделлю без регуляризації було виявлено переважно зростаючу тенденцію похибки із короткими періодами спаду, що свідчить про неповний прояв феномену. Це, ймовірно, пов’язано з аномальними точками в даних, які спричинили експоненційне зростання похибки на високих ступенях. Було розглянуто три підходи: класичну модель без регуляризації, модель із L2-регуляризацією та мінімаксну апроксимацію. L2-регуляризація додала штраф за велику норму коефіцієнтів, що дозволило стабілізувати похибку та запобігти перенавчанню, особливо на високих ступенях полінома (200+). Мінімаксна апроксимація мінімізувала максимальну похибку, завдяки чому забезпечувала кращу стійкість до аномалій і перевершувала L2-регуляризацію на низьких ступенях (до 50). Результати підтвердили, що мінімаксна апроксимація є більш ефективною для задач із аномаліями, тоді як L2-регуляризація краще працює на складних моделях із високими ступенями полінома. Отримані висновки сприяють розширенню розуміння феномену подвійного спуску й показують практичну користь різних підходів у залежності від особливостей даних і вимог до моделі.

This paper investigates the phenomenon of double descent and proposes the use of minimax approximation (L∞-norm) as an alternative to L2-regularization to improve the quality of model approximation. Double descent describes the dependence of the error on the complexity of the model: the error first decreases, then increases due to overfitting, and then decreases again. In contrast, in experiments with a model without regularization, a predominantly increasing trend of the error with short periods of decline was found, which is observed for an incomplete manifestation of the phenomenon. This is probably due to anomalous points in the data that caused an exponential increase in the error at high powers. Three approaches were noted: a classical model without regularization, a model with L2-regularization, and minimal approximation. L2 regularization added a penalty for large coefficient norms, which stabilized the error and prevented overfitting, especially at high polynomial degrees (200+). Minimax approximation minimized the error, thereby providing better maximum anomaly robustness and outperforming L2 regularization at low degrees (up to 50). The results confirmed that minimax approximation is more effective for problems with anomalies, while L2 regularization performs better on complex models with high polynomial degrees. The findings contribute to the understanding of the double descent phenomenon and show the practicality of applying different approaches due to data features and model requirements.