<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз

Вантажиться...
Ескіз

Дата

Науковий керівник

Редактор

Інші учасники

Відповідальний

ORCID

Назва журналу

Номер ISSN

Назва тому

DOI

Альтернативна назва

Adaptation of the natural language knowledge distillation method for classifying temporal phrases

Анотація

Дослідження представляє вдосконалення процесів автоматичного розпізнавання та класифікації темпоральних фраз у природномовних текстах за допомогою методу дистиляції знань. Підкреслюючи зростаючу потребу в автоматичному розумінні темпоральної інформації, дослідження зосереджено на створенні масштабного датасету з 1 078 862 записами та навчанні рекурентної нейромережі Bi-LSTM. Результати показали високу точність моделі, зокрема у розрізненні темпоральних фраз, відкриваючи нові перспективи для аналізу текстової інформації в різноманітних областях.
The research presents an improvement of automatic recognition and classification of temporal phrases in natural language texts using a knowledge distillation method. Emphasizing the growing need for automatic understanding of temporal information, the study focuses on creating a large-scale dataset with 1,078,862 records and training a recurrent neural network Bi-LSTM. The results showed high accuracy of the model, in particular in distinguishing temporal phrases, opening up new perspectives for analyzing textual information in various fields.

Опис

УДК

Тип документа

Мова

ISSN

Серія, номер

ISBN

ББК

Інші ідентифікатори

Пов’язані матеріали

Спонсорська підтримка

Правовласник

Бібліографічний опис

Білецький Б. С. Адаптація методу дистиляції знань природною мовою для класифікації темпоральних фраз // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20092.

Схвалення

Рецензія

Доповнено

Цитується в

Список використаної літератури (8)

  1. Anderson, M., & Gómez-Rodríguez, C. (2020). Distilling Neural Networks for Greener and Faster Dependency Parsing. ArXiv, abs/2006.00844. https://doi.org/10.18653/v1/2020.iwpt-1.2.
  2. He, H., Shi, X., Mueller, J., Zha, S., Li, M., & Karypis, G. (2021). Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing. ArXiv, abs/2109.11105. https://doi.org/10.18653/v1/2021.sustainlp-1.13.
  3. Sanh, V., Debut, L., Chaumond, J., & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. ArXiv, abs/1910.01108.
  4. Sun, S., Cheng, Y., Gan, Z., & Liu, J. (2019). Patient Knowledge Distillation for BERT Model Compression. , 4322-4331. https://doi.org/10.18653/v1/D19-1441.
  5. Yuan, F., Shou, L., Pei, J., Lin, W., Gong, M., Fu, Y., & Jiang, D. (2020). Reinforced Multi-Teacher Selection for Knowledge Distillation., 14284-14291. https://doi.org/10.1609/aaai.v35i16.17680.
  6. Mukherjee, S., & Awadallah, A. (2020). XtremeDistil: Multi-stage Distillation for Massive Multilingual Models., 2221- 2234. https://doi.org/10.18653/v1/2020.acl-main.202.
  7. Jafari, A., Rezagholizadeh, M., & Ghodsi, A. (2023). Improved knowledge distillation by utilizing backward pass knowledge in neural networks. ArXiv, abs/2301.12006. https://doi.org/10.48550/arXiv.2301.12006.
  8. Lin, Y., Chen, K., & Kao, H. (2023). LAD: Layer-Wise Adaptive Distillation for BERT Model Compression. Sensors (Basel, Switzerland), 23. https://doi.org/10.3390/s23031483.