Особливості використання івриту у великих мовних моделях: обмеженість даних та виклики мультимовності

Abstract

У статті розглядаються проблеми, пов'язані з використанням івриту у великих мовних моделях (LLM), зокрема обмежена кількість навчальних даних та нерівномірне розподілення моделювальної уваги у мультимовних архітектурах. Проаналізовано сучасні підходи до покращення підтримки малоресурсних мов.

The paper discusses the challenges of using Hebrew in large language models (LLMs), particularly the limited amount of training data and uneven distribution of modeling capacity in multilingual architectures. Modern approaches to improving low-resource language support are analyzed.