<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Дослідження здатності малої мовної моделі до міркування

Скорочена інформація про документ
dc.contributor.authorЛевіцький, С. М.uk
dc.contributor.authorПанасенко, О. Б.uk
dc.date.accessioned2024-04-30T07:13:34Z
dc.date.available2024-04-30T07:13:34Z
dc.date.issued2024
dc.description.abstractThe capability of the small language model to solve reasoning tasks was tested and evaluated. Experiments were conducted with zero-shot and few-shot prompting, after applying Supervider Fine-Tuning to TinyLlama small language model. The results of the experiments were presented and analyzed, along with proposed potential ways to improve the model's accuracy in solving reasoning tasks.en
dc.identifier.citationЛевіцький С., Панасенко О. Дослідження здатності малої мовної моделі до міркування // Матеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р. Електрон. текст. дані. 2024. URI: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20828.uk
dc.identifier.udc004.89
dc.identifier.urihttps://ir.lib.vntu.edu.ua/handle/123456789/41692
dc.language.isouk_UAuk_UA
dc.publisherВінницький національний технічний університетuk
dc.relation.ispartofМатеріали LІII науково-технічної конференції підрозділів ВНТУ, Вінниця, 20-22 березня 2024 р.uk
dc.relation.referencesP. Zhang, G. Zeng, T. Wang, W. Lu, TinyLlama: An Open-Source Small Language Model, Jan 2024 [Online]. Available: https://arxiv.org/abs/2401.02385. Accessed on: Mar 18, 2024en
dc.relation.referencesP. Zhang, TinyLlama, Jan 2024 [Online]. Available: https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0. Accessed on: Mar 18, 2024en
dc.relation.referencesL. von Werra, Y. Belkada, L. Tunstall, E. Beeching, T. Thrush, N. Lambert, S. Huang, TRL: Transformer Reinforcement Learning, 2020 [Online]. Available:https://huggingface.co/docs/trl/v0.7.11/en/index. Accessed on: Mar 18, 2024en
dc.relation.referencesEdward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen. LoRA: Low-Rank Adaptation of Large Language Models, Oct. 2021 [Online]. Available: https://arxiv.org/abs/2106.09685. Accessed on: Mar 18, 2024en
dc.relation.referencesW. Ling, D. Yogatama, Ch. Dyer, P. Blunsom Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems, 2017 [Online]. Available: https://arxiv.org/abs/1705.04146. Accessed on: Mar 18, 2024en
dc.relation.referencesIlya Loshchilov, Frank Hutter, Decoupled Weight Decay Regularization // International Conference on Learning Representations, 2019 [Online]. Available: https://arxiv.org/abs/1711.05101. Accessed on: Mar 18, 2024en
dc.relation.urihttps://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2024/paper/view/20828
dc.subjectTRLen
dc.subjectLoRAen
dc.subjectAQUA-RATen
dc.subjectlarge language modelen
dc.subjectsmall language modelen
dc.subjectreasoning tasksen
dc.subjectsupervisedfine-tuningen
dc.titleДослідження здатності малої мовної моделі до міркуванняuk
dc.typeThesis

Файли

Контейнер файлів

Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
20828.pdf
Розмір:
149,66 KB
Формат:
Adobe Portable Document Format
Завантажити

Ліцензійна угода

Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
license.txt
Розмір:
17 B
Формат:
Plain Text
Опис:
Завантажити

Зібрання

НТКП ВНТУ. Факультет інтелектуальних інформаційних технологій та автоматизації (2024)