Optimizing big data processing through lazy computations: a systematic review of techniques and applications
Вантажиться...
Файли
Дата
Науковий керівник
Редактор
Інші учасники
Відповідальний
ORCID
Назва журналу
Номер ISSN
Назва тому
Альтернативна назва
Оптимізація обробки великих даних за допомогою «лінивих обчислень»: систематичний огляд технологій та застосування
Анотація
У статті розглянуто концепцію лінивих обчислень та її застосування для ефективної обробки великих обсягів даних. Проаналізовано основні принципи лінивих обчислень, їх реалізацію в різних мовах програмування та стратегії ефективного використання в контексті обробки Big Data. Досліджено переваги та обмеження лінивого підходу, зокрема щодо економії пам`яті, підвищення продуктивності та можливості роботи з нескінченними потоками даних. Запропоновано концепцію вибору стратегії обчислень залежно від розміру даних та складності обчислень.
The article examines the concept of lazy operations and its application for efficient processing of large volumes of data. The main principles of lazy computations, their implementation in various programming languages, and strategies for effective use in Big Data processing are analyzed. The advantages and limitations of the lazy approach are investigated, particularly regarding memory savings, performance improvement, and the ability to work with infinite data streams. A concept for ing computation strategies based on data size and computational complexity is proposed
The article examines the concept of lazy operations and its application for efficient processing of large volumes of data. The main principles of lazy computations, their implementation in various programming languages, and strategies for effective use in Big Data processing are analyzed. The advantages and limitations of the lazy approach are investigated, particularly regarding memory savings, performance improvement, and the ability to work with infinite data streams. A concept for ing computation strategies based on data size and computational complexity is proposed
Опис
Ключові слова
УДК
Тип документа
Мова
ISSN
Посилання на публікацію
Серія, номер
ISBN
ББК
Інші ідентифікатори
Пов’язані матеріали
Спонсорська підтримка
Правовласник
Бібліографічний опис
Talakh M. V., Ushenko Yu. O., Vatamanitsa E. V., Halin Yu. O. Optimizing big data processing through lazy computations: a systematic review of techniques and applications // Оптико-електроннi iнформацiйно-енергетичнi технологiї. 2024. № 2. С. 24-33. URI: https://oeipt.vntu.edu.ua/index.php/oeipt/article/view/716.
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (30)
- Zaharia M. Apache spark: a unified engine for big data processing / M. Zaharia, R. S. Xin, P. Wendell, T. Das, M. Armbrust, A. Dave et al., 14 authors in total // Communications of the ACM. –2016. –Vol. 59, No. 11. –P. 56-65.
- Dean J. MapReduce: simplified data processing on large clusters / J. Dean & S. Ghemawat // Communications of the ACM. –2008. –Vol. 51, No. 1. – P. 107-113.
- Carbone P. Apache flink: Stream and batch processing in a single engine / P. Carbone, A. Katsifodimos, S. Ewen, V. Markl, S. Haridi & K. Tzoumas // Bulletin of the IEEE Computer Society Technical Committee on Data Engineering. –2015. – Vol. 36, No. 4.
- Richter S. Preferred Operators and Deferred Evaluation in Satisficing Planning / S. Richter & M. Helmert // ICAPS. –2009. – Vol. 19, No. 1. – P. 13345.
- Exploring Lazy Evaluation and Compile-Time Simplifications for Efficient Geometric Algebra Computations // Systems, Patterns and Data Engineering with Geometric Calculi. –2021. – P. 111-131.
- Chen X. A Comparison of Greedy Algorithm and Dynamic Programming Algorithm / X. Chen // SHS Web of Conferences. –2022. – Vol. 144. – P. 03009.
- Gbedawo V. W. An Overview of Computer Memory Systems and Emerging Trends / V. W. Gbedawo, G. O. Agyeman, C. K. Ankah, M. I. Daabo // American Journal of Electrical and Computer Engineering. – 2023. – Vol. 7, No. 2. – P. 19-26.
- Ren S. A comprehensive review of big data analytics throughout product lifecycle to support sustainable smart manufacturing: A framework, challenges and future research directions / S. Ren, Y. Zhang, Y. Liu, T. Sakao, D. Huisingh, C. M. V. B. Almeida // Journal of Cleaner Production. –2018. – Vol. 210. – P. 1343-1365.
- Lim C. L. Lazy and eager approaches for the set cover problem / C. L. Lim, A. Moffat, A. Wirth // 37th ACSC. – 2014. – P. 19-27.
- Wang Y. Review on greedy algorithm / Y. Wang // Theoretical and Natural Science. – 2024. – Vol. 14, No. 1. – P. 233-239.