Порівняльний аналіз моделей машинного навчання в задачі передбачення вигорання співробітників

Abstract

The article explores the problem of predicting the emotional burnout syndrome of employees , which is relevant due to the high level of stress in the modern world. The study uses the publicly available dataset "Are your employees burning out" from the competition on the HackerEarth platform. A comparative analysis of three traditional machine learning models based on classical machine learning approaches (linear regression, Random Forest, XGBoost) and three Bayesian models (Bayesian linear regression, varying intercept model, varying intercept and slope model) was carried out in the study. The change in the quality of the models is studied for different sizes of data sets, ranging from 13,000 (i.e., the full training set, which accounted for 70% of all data) to 25 observations, including testing on the full data set. It is demonstrated that XGBoost is the best model for large data sets. However, when the training sample size is reduced to less than 5000 observations, the validation performance of the XGBoost model becomes significantly less accurate and becomes lower than the corresponding metrics for Bayesian models. After optimizing such hyperparameters as tree depth, number of trees, learning rate, and others, the quality of XGBoost improved significantly, but did not make it stable enough to demonstrate better results than Bayesian models on samples of less than 600 observations. Bayesian models, on the other hand, in addition to being better on small samples, also allow estimating the "confidence" in the predicted values, which is an important feature for a specific tasks. However, they also have a significant disadvantage in the form of much greater computational complexity, which leads to an increase in training time. In conclusion, results of this study emphasize the importance of careful selection of a model that considers the peculiarities of the amount and quality of available data. Bayesian models have proven to be highly effective with a small amount of data, due to their ability to consider uncertainty and insufficient information.

Розглянуто задачу передбачення синдрому емоційного вигорання співробітників, актуальність якої пов`язана з високим рівнем стресу в сучасному світі. У дослідженні використано публічний набір даних “Are your employees burning out” зі змагання на платформі HackerEarth. Проведено порівняльний аналіз трьох традиційних моделей машинного навчання, основаних на класичних підходах машинного навчання (лінійна регресія, Random Forest, XGBoost) та трьох баєсових моделей (баєсова лінійна регресія, модель регресії зі змінним вільним членом, модель регресії зі змінним вільним членом та кутовим коефіцієнтом). Досліджено зміну якості моделей на різних розмірах наборів даних, починаючи від 13000 (тобто від повної тренувальної вибірки, яка склала 70 % від всіх даних) до 25 спостережень включно з перевіркою на повному наборі даних. Продемонстровано, що за великих обсягів даних найкращою моделлю є XGBoost. Однак зі зменшенням розміру тренувальної вибірки до менше ніж 5000 спостережень валідаційні показники XGBoost моделі суттєво погіршилися та стали нижчими ніж відповідні значення метрик для баєсових моделей. Після оптимізації таких гіперпараметрів, як глибина дерев, кількість дерев, швидкість навчання та інші, якість XGBoost суттєво покращилась, але не зробила її достатньо стійкою, щоб продемонструвати кращі результати, ніж баєсові моделі на вибірках менше 600 спостережень. Баєсові ж моделі окрім кращої якості на малих вибірках також дозволяють оцінювати «впевненість» у прогнозованих значеннях, що є важливою особливістю для низки задач. Проте, вони мають і значний недолік у вигляді набагато більшої обчислювальної складності, що призводить до збільшення часу навчання. У висновку підкреслено важливість ретельного вибору моделі, яка враховує особливості обсягу та якості наявних даних. Баєсові моделі проявили високу ефективність у разі невеликого обсягу даних, завдяки їхньої здатності враховувати невизначеність та недостатність інформації.