Evaluation of human and AI cooperation in pair programming on the example of CodeLlama and GPT-4

Abstract

Метою дослідження було експериментальне оцінювання ефективності взаємодії людини з великими мовними моделями штучного інтелекту під час виконання програмних завдань у форматі парного програмування. Об’єктом порівняння виступили дві моделі: GPT-4, розроблена компанією OpenAI, та CodeLlama 70B Instruct, створена корпорацією Meta на базі відкритої архітектури. Було досліджено п’ять типових сценаріїв застосування штучного інтелекту в розробці програмного забезпечення: генерацію функцій за описом, рефакторинг коду, пояснення логіки, налагодження помилок і спільне проєктування структури застосунку. У дослідженні взяли участь двадцять фахівців із різним рівнем програмістської підготовки, рівномірно розподілених на дві групи. Було встановлено, що GPT-4 перевищує CodeLlama за інтегральними показниками продуктивності, зокрема досягла 89 % успішності в генерації функцій при вищому балі якості коду (Pylint = 8,3) і пояснюваності (4,3 бала з 5). Натомість CodeLlama виявила переваги в рефакторингу, демонструючи нижчу когнітивну напруженість серед досвідчених розробників (Task Load Index = 51,3 проти 63,8) і меншу складність коду за метрикою Halstead Volume (22,6 проти 27,4). Було проаналізовано статистичну достовірність виявлених відмінностей (t (38) = 4,12; p < 0,01; F (2,14) = 5,84; p < 0,05), що підтверджує надійність емпіричних спостережень. Генеративна модель четвертого покоління виявилася більш придатною для проєктування з нуля та пояснювальних завдань, тоді як CodeLlama була ефективніша в оптимізації вже наявного коду й краще сприймалася користувачами Seniorрівня. Практичне значення проведеного дослідження полягає в формуванні обґрунтованих рекомендацій для розробників, ІТ-команд і технічних керівників щодо доцільного використання мовних моделей штучного інтелекту в робочих процесах. Результати дозволяють вибудовувати оптимальні сценарії взаємодії залежно від досвіду програміста, характеру завдань (генерація, рефакторинг, пояснення, налагодження) та очікуваних метрик продуктивності, що сприяє ефективнішому впровадженню ШІ-асистентів у середовища розробки.

The aim of the study was the experimental evaluation of the effectiveness of human interaction with large artificial intelligence language models during the completion of programming tasks in a pair programming format. The two models compared were GPT-4, developed by OpenAI, and CodeLlama 70B Instruct, created by Meta Corporation based on an open architecture. Five typical scenarios of AI use in software development were examined: function generation a description, code refactoring, logic explanation, debugging, and joint application structure design. Twenty specialists with varying levels of programming expertise participated in the study, evenly distributed into two groups. It was established that GPT-4 outperformed CodeLlama in terms of overall productivity, achieving 89% success in function generation with a higher code quality score (Pylint = 8.3) and explainability rating (4.3 out of 5). In contrast, CodeLlama showed advantages in refactoring, demonstrating lower cognitive load among experienced developers (Task Load Index = 51.3 vs 63.8) and lower code complexity according to the Halstead Volume metric (22.6 vs 27.4). The statistical significance of the identified differences was analysed (t (38) = 4.12; p < 0.01; F (2.14) = 5.84; p < 0.05), confirming the reliability of the empirical observations. The fourth-generation generative model proved more suitable for tasks involving design scratch and explanation, as CodeLlama was more effective in optimising existing code and was better received by senior-level users. The practical significance of the study lay in the development of well-grounded recommendations for developers, IT teams, and technical managers regarding the appropriate use of AI language models in workflows. The results made it possible to construct optimal interaction scenarios depending on the programmer’s experience, the nature of the tasks (generation, refactoring, explanation, debugging), and the expected performance metrics, thereby contributing to more effective implementation of AI assistants in development environments.