Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз
Вантажиться...
Файли
Дата
Автори
Назва журналу
Номер ISSN
Назва тому
DOI
Анотація
The research presents an improvement of automatic recognition and classification of temporal phrases in natural language texts using a knowledge distillation method. Emphasizing the growing need for automatic understanding of temporal information, the study focuses on creating a large-scale dataset with 1,078,862 records and training a recurrent neural network Bi-LSTM. The results showed high accuracy of the model, in particular in distinguishing temporal phrases, opening up new perspectives for analyzing textual information in various fields.
Опис
УДК
Тип документа
Мова
ISSN
Бібліографічний опис
Білецький Б. С. Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20092.
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (7)
- He, H., Shi, X., Mueller, J., Zha, S., Li, M., & Karypis, G. (2021). Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing. ArXiv, abs/2109.11105. https://doi.org/10.18653/v1/2021.sustainlp-1.13.
- Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. ArXiv, abs/1910.01108.
- Sun, S., Cheng, Y., Gan, Z., & Liu, J. (2019). Patient Knowledge Distillation for BERT Model Compression. , 4322-4331. https://doi.org/10.18653/v1/D19-1441.
- Yuan, F., Shou, L., Pei, J., Lin, W., Gong, M., Fu, Y., & Jiang, D. (2020). Reinforced Multi-Teacher Selection for Knowledge Distillation., 14284-14291. https://doi.org/10.1609/aaai.v35i16.17680.
- Mukherjee, S., & Awadallah, A. (2020). XtremeDistil: Multi-stage Distillation for Massive Multilingual Models., 2221- 2234. https://doi.org/10.18653/v1/2020.acl-main.202.
- Jafari, A., Rezagholizadeh, M., & Ghodsi, A. (2023). Improved knowledge distillation by utilizing backward pass knowledge in neural networks. ArXiv, abs/2301.12006. https://doi.org/10.48550/arXiv.2301.12006.
- Lin, Y., Chen, K., & Kao, H. (2023). LAD: Layer-Wise Adaptive Distillation for BERT Model Compression. Sensors (Basel, Switzerland), 23. https://doi.org/10.3390/s23031483.