Застосування гібридних алгоритмів сортування для оптимізації агрегації потокових даних моніторингу

Abstract

Дослідження присвячене аналізу ефективності алгоритмів впорядкування в контексті обробки великих масивів частково впорядкованих даних, характерних для систем логування. Розглянуто конкретний приклад агрегації журналів подій, де записи надходять із часовими мітками, що мають незначні відхилення від хронології. Встановлено, що застосування адаптивних гібридних методів дозволяє скоротити час обробки таких масивів порівняно з класичними алгоритмами швидкого сортування завдяки використанню існуючих впорядкованих підпослідовностей.

The study is dedicated to analyzing the efficiency of sorting algorithms in the context of processing large arrays of partially ordered data, typical for logging systems. A specific case of event log aggregation is examined, where records arrive with timestamps showing slight deviations from chronology. It is established that the use of adaptive hybrid methods allows for a reduction in processing time compared to classical quicksort algorithms by leveraging existing ordered subsequences.