Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз
Вантажиться...
Файли
Дата
Автори
Науковий керівник
Редактор
Інші учасники
Відповідальний
ORCID
Назва журналу
Номер ISSN
Назва тому
DOI
Альтернативна назва
Adaptation of the natural language knowledge distillation method for classifying temporal phrases
Анотація
Дослідження представляє вдосконалення процесів автоматичного розпізнавання та класифікації темпоральних фраз у природномовних текстах за допомогою методу дистиляції знань. Підкреслюючи зростаючу потребу в автоматичному розумінні темпоральної інформації, дослідження зосереджено на створенні масштабного датасету з 1 078 862 записами та навчанні рекурентної нейромережі Bi-LSTM. Результати показали високу точність моделі, зокрема у розрізненні темпоральних фраз, відкриваючи нові перспективи для аналізу текстової інформації в різноманітних областях.
The research presents an improvement of automatic recognition and classification of temporal phrases in natural language texts using a knowledge distillation method. Emphasizing the growing need for automatic understanding of temporal information, the study focuses on creating a large-scale dataset with 1,078,862 records and training a recurrent neural network Bi-LSTM. The results showed high accuracy of the model, in particular in distinguishing temporal phrases, opening up new perspectives for analyzing textual information in various fields.
The research presents an improvement of automatic recognition and classification of temporal phrases in natural language texts using a knowledge distillation method. Emphasizing the growing need for automatic understanding of temporal information, the study focuses on creating a large-scale dataset with 1,078,862 records and training a recurrent neural network Bi-LSTM. The results showed high accuracy of the model, in particular in distinguishing temporal phrases, opening up new perspectives for analyzing textual information in various fields.
Опис
Ключові слова
інтелектуальна технологія , темпоральні фрази , дистиляція знань , класифікація тексту , природномовні тексти , автоматичне розпізнавання , навчання нейромережі , аналіз даних , обробка природної мови , штучний інтелект , машинне навчання , intelligent technology , temporal phrases , knowledge distillation , Bi-LSTM , text classification , naturallanguage texts , automatic recognition , ChatGPT , neural network training , data analysis , natural language processing , artificial intelligence , machine learning
УДК
Тип документа
Мова
ISSN
Посилання на публікацію
Серія, номер
ISBN
ББК
Інші ідентифікатори
Пов’язані матеріали
Спонсорська підтримка
Правовласник
Бібліографічний опис
Білецький Б. С. Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20092.
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (8)
- Anderson, M., & Gómez-Rodríguez, C. (2020). Distilling Neural Networks for Greener and Faster Dependency Parsing. ArXiv, abs/2006.00844. https://doi.org/10.18653/v1/2020.iwpt-1.2.
- He, H., Shi, X., Mueller, J., Zha, S., Li, M., & Karypis, G. (2021). Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing. ArXiv, abs/2109.11105. https://doi.org/10.18653/v1/2021.sustainlp-1.13.
- Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. ArXiv, abs/1910.01108.
- Sun, S., Cheng, Y., Gan, Z., & Liu, J. (2019). Patient Knowledge Distillation for BERT Model Compression. , 4322-4331. https://doi.org/10.18653/v1/D19-1441.
- Yuan, F., Shou, L., Pei, J., Lin, W., Gong, M., Fu, Y., & Jiang, D. (2020). Reinforced Multi-Teacher Selection for Knowledge Distillation., 14284-14291. https://doi.org/10.1609/aaai.v35i16.17680.
- Mukherjee, S., & Awadallah, A. (2020). XtremeDistil: Multi-stage Distillation for Massive Multilingual Models., 2221- 2234. https://doi.org/10.18653/v1/2020.acl-main.202.
- Jafari, A., Rezagholizadeh, M., & Ghodsi, A. (2023). Improved knowledge distillation by utilizing backward pass knowledge in neural networks. ArXiv, abs/2301.12006. https://doi.org/10.48550/arXiv.2301.12006.
- Lin, Y., Chen, K., & Kao, H. (2023). LAD: Layer-Wise Adaptive Distillation for BERT Model Compression. Sensors (Basel, Switzerland), 23. https://doi.org/10.3390/s23031483.