Особливості використання івриту у великих мовних моделях: обмеженість даних та виклики мультимовності
Вантажиться...
Файли
Дата
Науковий керівник
Редактор
Інші учасники
Відповідальний
ORCID
Назва журналу
Номер ISSN
Назва тому
DOI
Альтернативна назва
Анотація
У статті розглядаються проблеми, пов'язані з використанням івриту у великих мовних моделях (LLM), зокрема обмежена кількість навчальних даних та нерівномірне розподілення моделювальної уваги у мультимовних архітектурах. Проаналізовано сучасні підходи до покращення підтримки малоресурсних мов.
The paper discusses the challenges of using Hebrew in large language models (LLMs), particularly the limited amount of training data and uneven distribution of modeling capacity in multilingual architectures. Modern approaches to improving low-resource language support are analyzed.
The paper discusses the challenges of using Hebrew in large language models (LLMs), particularly the limited amount of training data and uneven distribution of modeling capacity in multilingual architectures. Modern approaches to improving low-resource language support are analyzed.
Опис
УДК
Тип документа
Мова
ISSN
Посилання на публікацію
Серія, номер
ISBN
978-617-8132-48-8
ББК
Інші ідентифікатори
Пов’язані матеріали
Спонсорська підтримка
Правовласник
Бібліографічний опис
Недашківський Є. А. Особливості використання івриту у великих мовних моделях: обмеженість даних та виклики мультимовності // Матеріали LIV Всеукраїнської науково-технічної конференції підрозділів ВНТУ, Вінниця, 24-27 березня 2025 р. Електрон. текст. дані. 2025. URI:
https://conferences.vntu.edu.ua/index.php/all-fbtegp/all-fbtegp-2025/paper/view/24329
Схвалення
Рецензія
Доповнено
Цитується в
Список використаної літератури (10)
- Ethnologue: Languages of the World. 26-е вид. Dallas, TX: SIL International, 2023. – С. 539.
- Mou C., Nguyen A., Shao Y. та ін. CulturaX: Investigating Large-Scale Multilingual Data for LLMs [Електронний ресурс]. – arXiv:2305.14556, 2023. – Режим доступу: https://arxiv.org/abs/2305.14556
- Shmidman S., Shmidman A., Koppel M. та ін. Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 [Електронний ресурс]. – arXiv:2401.06230, 2024. – Режим доступу: https://arxiv.org/abs/2401.06230
- Brown T., Mann B., Ryder N. та ін. Language Models are Few-Shot Learners [Електронний ресурс]. – arXiv:2005.14165, 2020. – Режим доступу: https://arxiv.org/abs/2005.14165
- Touvron H., Lavril T., Izacard G. Та ін. LLaMA 2: Open Foundation and Fine-Tuned Chat Models. [Електронний ресурс]. – arXiv:2307.09288, 2023. – Режим доступу: https://arxiv.org/abs/2307.09288
- Eyal M., Noga H., Aharoni R., Szpektor I., Tsarfaty R. Multilingual Sequence-to-Sequence Models for Hebrew NLP // Findings of the Association for Computational Linguistics: ACL 2023. – 2023. – С. 7700–7708.
- Tsarfaty R., Seker A., Sadde S., Klein S. What’s Wrong with Hebrew NLP? And How to Make it Right [Електронний ресурс]. – arXiv:1903.10682, 2019. – Режим доступу: https://arxiv.org/abs/1903.10682
- Wang Z., Lipton Z., Tsvetkov Y. On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [Електронний ресурс]. – arXiv:2010.03017, 2020. – Режим доступу: https://arxiv.org/abs/2010.03017
- Conneau A., Lample G., Ranzato M. та ін. Unsupervised Cross-lingual Representation Learning at Scale // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. – 2020. – С. 8440–8451.
- Pfeiffer J., Rücklé A., Gurevych I., Cho K. AdapterFusion: Non-Destructive Task Composition for Transfer Learning [Електронний ресурс]. – arXiv:2005.00247, 2020. – Режим доступу: https://arxiv.org/abs/2005.00247