Перевірка тексту після генерації за допомогою великих мовних моделей для фільтрування неправильних відповідей

Abstract

Сьогодні особливо актуальною є задача узгодження великих мовних моделей. Моделі настільки здатні, що можуть вирішити багато різних завдань, використовуючи підхід zero-shot. Але оскільки вони стали більш здатними, вони знаходять обхідні шляхи для вирішення завдань не так, як очікують дослідники. Це особливо небезпечно у виробничому середовищі, оскільки важко контролювати вихід моделі, яка була навчена бути універсальною. У цій роботі пропонується використовувати одну і ту ж модель кілька разів в різній формі з метою покращення якості згенерованого тексту.

Подальший розвиток отримав метод підвищення точності моделей генерації текстового контенту. Це дозволяє користувачеві не наводити десятки прикладів бажаної та небажаної поведінки моделі, оскільки сама модель може робити це автоматично. Тобто, на відміну від звичайних методів підвищення точності моделі, які вимагають навчального набору моделей, запропонований підхід включає етап ідентифікації. В результаті ідентифікації ми отримуємо набір прикладів, на яких модель автоматично навчається і тим самим підвищує свою точність.

У цій роботі було запропоновано два конкретні методи. Перший метод просто використовує модель дискримінатора для перевірки результатів моделі генератора та запитує повторно створити текст, якщо результати не відповідають критеріям користувача. За допомогою цього підходу вдалося видалити всі неправильні генерації, але за рахунок позначення третини правильних як неправильні. Другий підхід більш складний, він окрім дискримінатора також використовує модель імітатора. Процес вимагає, щоб модель імітатора генерувала зразки введених користувачем даних, потім генератор генерував текст відповіді для кожного зразка, після чого дискримінатор перевіряв згенеровані результати та додавав їх до навчальних даних. Це підвищило точність з 56 % до 66 % у задачі логічного висновку.