RAG efficiency improvement for building intellectual scientific knownledge databases

Abstract

The article describes the development of an intellectual knowledge base based on scientific articles using large language models in the mode of generation by augmented search. Various methods of increasing the relevance of the sample of cited sources and generated answers of the language model and the choice of approaches to building language generative systems taking into account the specifics of scientific materials in Ukrainian and English are investigated. The use of different language models for generating answers is also considered. In the course of the study, a set of criteria for a comprehensive evaluation of generative systems was selected and recommendations for building scientific intellectual knowledge bases were provided. An intelligent agent has been developed that allows searching and analyzing scientific articles and providing document citations in a convenient interactive form.

В статті розглядається розбробка інтелектуальної бази знань на основі наукових статей з використанням великих мовних моделей в режимі генерації доповненої пошуком. Досліджено різні методи підвищення релевантності вибірки цитованих джерел та згенерованих відповідей мовної моделі та вибір підходів до побудови мовних генеративних систем з врахуванням специфіки наукових матеріалів українською та англійською мовами. Також розглянуто використання різних мовних моделей для генерації відповідей. В процесі дослідження обрано набір критеріїв для комплексного оцінювання генеративних систем та надано рекомендації для побудови наукових інтелектуальних баз знань. Розроблено інтелектуального агента, який дозволяє проводити пошук та аналізувати наукові статті у зручній інтерактивній формі з забезпеченням цитувань оригінальних документів. Розроблено інтелектуального агента, який дозволяє проводити пошук та аналізувати наукові статті у зручній інтерактивній формі з забезпеченням цитувань оригінальних документів.