<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Порівняльний аналіз можливостей великих Мовних моделей Alpaca, Vicuna, Falcon на основі трансформер-архітектури

Ескіз

Файли

18956-66972-1-PB.pdf (381,36 KB)

Дата

2023

Автори

Науковий керівник

Редактор

Інші учасники

Відповідальний

ORCID

Назва журналу

Номер ISSN

Назва тому

Видавець

Вінницький національний технічний університет

DOI

Альтернативна назва

Comparative analysis of capabilities of large language models Alpaca, Vicuna, Falcon based on transformer architecture

Анотація

Розглянуто популярні великі мовні моделі з відкритим доступом на основі трансформер-архітектури. Проаналізовано їхні переваги, недоліки та обмеження.
Popular large language models with open access based on the transformer architecture are considered. Their advantages, disadvantages, and limitations are analyzed

Опис

Ключові слова

Alpaca , Vicuna , Falcon , трансформери , тонке налаштування з учителем , transformers , supervised fine-tuning

УДК

004.89

Тип документа

Thesis

Мова

uk

Є частиною

Матеріали LII Науково-технічної конференції підрозділів ВНТУ, Вінниця, 21-23 червня 2023 р.

ISSN

Посилання на публікацію

https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2023/paper/view/18956

Серія, номер

ISBN

ББК

Інші ідентифікатори

Пов’язані матеріали

Спонсорська підтримка

Правовласник

Бібліографічний опис

Левіцький С. М. Порівняльний аналіз можливостей великих Мовних моделей Alpaca, Vicuna, Falcon на основі трансформер-архітектури [Електронний ресурс] / С. М. Левіцький / Матеріали LII Науково-технічної конференції підрозділів ВНТУ, Вінниця, 21-23 червня 2023 р. – Електрон. текст. дані. – 2023. – Режим доступу: https://conferences.vntu.edu.ua/index.php/all-fksa/all-fksa-2023/paper/view/18956.

URI

http://ir.lib.vntu.edu.ua/handle/123456789/39235

Зібрання

НТКП ВНТУ. Факультет інтелектуальних інформаційних технологій та автоматизації (2023)

Схвалення

Рецензія

Доповнено

Цитується в

Список використаної літератури (8)

  1. Ashish Vaswani, Noam Shazeer, Niki Parmar, and others. Attention Is All You Need. June 2017. https://arxiv.org/abs/1706.03762
  2. Jingfeng Yang, Hongye Jin, Ruixiang Tang and others. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond. April 2023. https://arxiv.org/abs/2304.13712
  3. Open LLM Leaderboard. https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
  4. Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, and others. Alpaca: A Strong, Replicable Instruction-Following Model. March 2023. https://crfm.stanford.edu/2023/03/13/alpaca.html
  5. Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, and others. Stanford Alpaca: An Instruction-following LLaMA Model. March 2023. https://github.com/tatsu-lab/stanford_alpaca
  6. Long Ouyang, Jeff Wu, Xu Jiang, and others. Training language models to follow instructions with human feedback. March 2022. https://arxiv.org/abs/2203.02155
  7. Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, and others. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality. March 2023. https://lmsys.org/blog/2023-03-30-vicuna/
  8. Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, and others. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality. March 2023. https://lmsys.org/blog/2023-03-30-vicuna/