dc.contributor.author | Білецький, Б. С. | uk |
dc.date.accessioned | 2024-04-30T07:21:28Z | |
dc.date.available | 2024-04-30T07:21:28Z | |
dc.date.issued | 2024 | |
dc.identifier.citation | Білецький Б. С. Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз. Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20092. | uk |
dc.identifier.uri | https://ir.lib.vntu.edu.ua//handle/123456789/41829 | |
dc.description.abstract | Дослідження представляє вдосконалення процесів автоматичного розпізнавання та класифікації темпоральних фраз у природномовних текстах за допомогою методу дистиляції знань. Підкреслюючи зростаючу потребу в автоматичному розумінні темпоральної інформації, дослідження зосереджено на створенні масштабного датасету з 1 078 862 записами та навчанні рекурентної нейромережі Bi-LSTM. Результати показали високу точність моделі, зокрема у розрізненні темпоральних фраз, відкриваючи нові
перспективи для аналізу текстової інформації в різноманітних областях. | uk |
dc.description.abstract | The research presents an improvement of automatic recognition and classification of temporal phrases in natural language texts using a knowledge distillation method. Emphasizing the growing need for automatic understanding of temporal information, the study focuses on creating a large-scale dataset with 1,078,862 records and training a recurrent neural network Bi-LSTM. The results showed high accuracy of the model, in particular in distinguishing temporal phrases, opening up new perspectives for analyzing textual information in various fields. | en |
dc.language.iso | uk_UA | uk_UA |
dc.publisher | ВНТУ | uk |
dc.relation.ispartof | Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. | uk |
dc.relation.uri | https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20092 | |
dc.subject | інтелектуальна технологія | uk |
dc.subject | темпоральні фрази | uk |
dc.subject | дистиляція знань | uk |
dc.subject | класифікація тексту | uk |
dc.subject | природномовні тексти | uk |
dc.subject | автоматичне розпізнавання | uk |
dc.subject | навчання нейромережі | uk |
dc.subject | аналіз даних | uk |
dc.subject | обробка природної мови | uk |
dc.subject | штучний інтелект | uk |
dc.subject | машинне навчання | uk |
dc.subject | intelligent technology | en |
dc.subject | temporal phrases | en |
dc.subject | knowledge distillation | en |
dc.subject | Bi-LSTM | en |
dc.subject | text classification | en |
dc.subject | naturallanguage texts | en |
dc.subject | automatic recognition | en |
dc.subject | ChatGPT | en |
dc.subject | neural network training | en |
dc.subject | data analysis | en |
dc.subject | natural language processing | en |
dc.subject | artificial intelligence | en |
dc.subject | machine learning | en |
dc.title | Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз | uk |
dc.type | Thesis | |
dc.identifier.udc | 004.932 | |
dc.relation.references | Anderson, M., & Gómez-Rodríguez, C. (2020). Distilling Neural Networks for Greener and Faster Dependency Parsing.
ArXiv, abs/2006.00844. https://doi.org/10.18653/v1/2020.iwpt-1.2. | |
dc.relation.references | He, H., Shi, X., Mueller, J., Zha, S., Li, M., & Karypis, G. (2021). Distiller: A Systematic Study of Model Distillation
Methods in Natural Language Processing. ArXiv, abs/2109.11105. https://doi.org/10.18653/v1/2021.sustainlp-1.13. | en |
dc.relation.references | Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and
lighter. ArXiv, abs/1910.01108. | en |
dc.relation.references | Sun, S., Cheng, Y., Gan, Z., & Liu, J. (2019). Patient Knowledge Distillation for BERT Model Compression. , 4322-4331.
https://doi.org/10.18653/v1/D19-1441. | en |
dc.relation.references | Yuan, F., Shou, L., Pei, J., Lin, W., Gong, M., Fu, Y., & Jiang, D. (2020). Reinforced Multi-Teacher Selection for Knowledge
Distillation., 14284-14291. https://doi.org/10.1609/aaai.v35i16.17680. | en |
dc.relation.references | Mukherjee, S., & Awadallah, A. (2020). XtremeDistil: Multi-stage Distillation for Massive Multilingual Models., 2221-
2234. https://doi.org/10.18653/v1/2020.acl-main.202. | en |
dc.relation.references | Jafari, A., Rezagholizadeh, M., & Ghodsi, A. (2023). Improved knowledge distillation by utilizing backward pass knowledge
in neural networks. ArXiv, abs/2301.12006. https://doi.org/10.48550/arXiv.2301.12006. | en |
dc.relation.references | Lin, Y., Chen, K., & Kao, H. (2023). LAD: Layer-Wise Adaptive Distillation for BERT Model Compression. Sensors (Basel,
Switzerland), 23. https://doi.org/10.3390/s23031483. | en |