<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Дослідження здатності малої мовної моделі до міркування

Вантажиться...
Ескіз

Дата

Назва журналу

Номер ISSN

Назва тому

DOI

Анотація

The capability of the small language model to solve reasoning tasks was tested and evaluated. Experiments were conducted with zero-shot and few-shot prompting, after applying Supervider Fine-Tuning to TinyLlama small language model. The results of the experiments were presented and analyzed, along with proposed potential ways to improve the model's accuracy in solving reasoning tasks.

Опис

УДК

Тип документа

Мова

ISSN

Бібліографічний опис

Левіцький С., Панасенко О. Дослідження здатності малої мовної моделі до міркування // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20828.

Схвалення

Рецензія

Доповнено

Цитується в

Список використаної літератури (6)

  1. P. Zhang, G. Zeng, T. Wang, W. Lu, TinyLlama: An Open-Source Small Language Model, Jan 2024 [Online]. Available: https://arxiv.org/abs/2401.02385. Accessed on: Mar 18, 2024
  2. P. Zhang, TinyLlama, Jan 2024 [Online]. Available: https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0. Accessed on: Mar 18, 2024
  3. L. von Werra, Y. Belkada, L. Tunstall, E. Beeching, T. Thrush, N. Lambert, S. Huang, TRL: Transformer Reinforcement Learning, 2020 [Online]. Available:https://huggingface.co/docs/trl/v0.7.11/en/index. Accessed on: Mar 18, 2024
  4. Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen. LoRA: Low-Rank Adaptation of Large Language Models, Oct. 2021 [Online]. Available: https://arxiv.org/abs/2106.09685. Accessed on: Mar 18, 2024
  5. W. Ling, D. Yogatama, Ch. Dyer, P. Blunsom Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems, 2017 [Online]. Available: https://arxiv.org/abs/1705.04146. Accessed on: Mar 18, 2024
  6. Ilya Loshchilov, Frank Hutter, Decoupled Weight Decay Regularization // International Conference on Learning Representations, 2019 [Online]. Available: https://arxiv.org/abs/1711.05101. Accessed on: Mar 18, 2024