Використання локальних LLM-моделей для стандартизації та багатомовного перекладу технічних назв виробів

Abstract

The paper considers an approach to automated standardization of technical names of hardware using local large language models (LLM), which allows to significantly increase the accuracy of processing specialized data. The architecture of interaction of python scripts with the local Lm studio server is described in detail, including the organization of api requests, the structure of input and output data in JSON format, as well as the mechanisms for saving results in the sqlite database (items.db). The paper provides examples of generating requests (prompts) containing raw product names, the expected standard format and product size, as well as examples of checking the correctness of formats after generating results. It shows how the processing of a series of records from the database is implemented, the quality control of the results obtained and the display of information about errors are implemented, which allows to promptly correct both prompts and training data of the model. The feasibility of switching to local solutions for processing technical data instead of using cloud services is substantiated. This approach allows to significantly reduce financial costs for infrastructure, to increase data security and confidentiality, and to ensure stable control over information processing workflows. It is shown that local inference of large language models can effectively solve standardization problems in application systems, ensuring high accuracy of pattern recognition, correct compliance with international standards (DIN, ISO, DSTU) and the possibility of integration into existing enterprise workflows without involving thirdparty services. In addition, the work demonstrates the practical implementation of multilingual translation of technical names, which increases the versatility of the solution and facilitates interaction with international databases and documentation.

У роботі розглянуто підхід до автоматизованої стандартизації технічних назв метизів із використанням локальних великих мовних моделей (LLM), що дозволяє суттєво підвищити точність обробки спеціалізованих даних. Докладно описано архітектуру взаємодії Python-скриптів із локальним сервером Lm studio, включаючи організацію API-запитів, структуру вхідних і вихідних даних у форматі JSON, а також механізми збереження результатів у базі даних sqlite (items.db). У роботі наведено приклади формування запитів (prompt), що містять не точні найменування виробів, очікуваний формат стандарту та розмір виробу, а також приклади перевірки правильності форматів після генерації результатів. Показано, як реалізується обробка серії записів із бази даних, контроль якості отриманих результатів та відображення інформації про помилки, що дозволяє оперативно коригувати як промпти, так і навчальні дані моделі. Обґрунтовано доцільність переходу на локальні рішення для обробки технічних даних замість використання хмарних сервісів. Такий підхід дозволяє значно знизити фінансові витрати на інфраструктуру, підвищити безпеку та конфіденційність даних, а також забезпечити стабільний контроль над робочими процесами обробки інформації. Показано, що локальна інференція великих мовних моделей може ефективно вирішувати завдання стандартизації у прикладних системах, забезпечуючи високу точність розпізнавання шаблонів, коректне дотримання міжнародних стандартів (DIN, ISO, ДСТУ) та можливість інтеграції у існуючі робочі процеси підприємств без залучення сторонніх сервісів. Крім того, робота демонструє практичну реалізацію багатомовного перекладу технічних назв, що підвищує універсальність рішення та полегшує взаємодію з міжнародними базами даних і документацією.