Дослідження впливу параметрів великої мовної моделі на різноманітність згенерованого тексту

Abstract

Робота присвячена дослідженню впливу параметрів генерування (temperature та top_p) на різноманітність тексту, створеного великими мовними моделями. Запропоновано методологію оцінювання різних аспектів різноманітності на основі шести метрик, об'єднаних в єдиний показник. Результати експериментального дослідження 30 різних промптів із 36 комбінаціями параметрів для моделі Meta Llama 3.2 3B-instruct показали, що оптимальні значення різноманітності досягаються при помірних і високих значеннях temperature та top_p. Дослідження має практичне значення для формування якісних синтетичних датасетів, що зменшує ризик перенавчання моделей і покращує їхню узагальнюючу здатність.

The work is devoted to investigating the influence of generation parameters (temperature and top_p) on the diversity of text produced by large language models. A methodology is proposed for evaluating different aspects of diversity based on six metrics, combined into a single indicator. The results of an experimental study involving 30 different prompts and 36 parameter combinations for the Meta Llama 3.2 3B-instruct model showed that optimal diversity values are achieved with moderate and high settings of temperature and top_p. This research is of practical significance for creating highquality synthetic datasets, which reduces the risk of model overfitting and improves their ability to generalize.