Дослідження здатності малої мовної моделі до міркування
Вантажиться...
Файли
Дата
Автори
Назва журналу
Номер ISSN
Назва тому
DOI
Анотація
The capability of the small language model to solve reasoning tasks was tested and evaluated. Experiments were conducted with zero-shot and few-shot prompting, after applying Supervider Fine-Tuning to TinyLlama small language model. The results of the experiments were presented and analyzed, along with proposed potential ways to improve the model's accuracy in solving reasoning tasks.
Опис
Ключові слова
УДК
Тип документа
Мова
ISSN
Бібліографічний опис
Левіцький С., Панасенко О. Дослідження здатності малої мовної моделі до міркування // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20828.
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (6)
- P. Zhang, G. Zeng, T. Wang, W. Lu, TinyLlama: An Open-Source Small Language Model, Jan 2024 [Online]. Available: https://arxiv.org/abs/2401.02385. Accessed on: Mar 18, 2024
- P. Zhang, TinyLlama, Jan 2024 [Online]. Available: https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0. Accessed on: Mar 18, 2024
- L. von Werra, Y. Belkada, L. Tunstall, E. Beeching, T. Thrush, N. Lambert, S. Huang, TRL: Transformer Reinforcement Learning, 2020 [Online]. Available:https://huggingface.co/docs/trl/v0.7.11/en/index. Accessed on: Mar 18, 2024
- Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen. LoRA: Low-Rank Adaptation of Large Language Models, Oct. 2021 [Online]. Available: https://arxiv.org/abs/2106.09685. Accessed on: Mar 18, 2024
- W. Ling, D. Yogatama, Ch. Dyer, P. Blunsom Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems, 2017 [Online]. Available: https://arxiv.org/abs/1705.04146. Accessed on: Mar 18, 2024
- Ilya Loshchilov, Frank Hutter, Decoupled Weight Decay Regularization // International Conference on Learning Representations, 2019 [Online]. Available: https://arxiv.org/abs/1711.05101. Accessed on: Mar 18, 2024