Аналіз та експериментальне дослідження методу безмодельного навчання з підкріпленням

Abstract

Розглянуто сучасний метод машинного навчання, який має назву навчання з підкріпленням. У задачах, які розв’язуються на основі взаємодії, найчастіше непрактично намагатися отримувати приклади необхідної поведінки інтелектуального програмного агента, які були б одночасно коректними та доречними для всіх ситуацій, оскільки наявні умови невизначеності, що виникають через неповноту інформації про навколишнє середовище та можливі дії інших ботів або людей. Тому програмний агент повинен навчатися на основі власного досвіду. Важливою перевагою навчання з підкріпленням є можливість навчання бота «з нуля» за рахунок збалансованого поєднання (пошук компромісу) режимів «дослідження» — «застосування» та вивчення стратегій, які дозволяють жертвувати малим на певному етапі заради отримання більшої вигоди в подальшому. Дослідження в області навчання з підкріпленням можна вважати частиною загального процесу, який розвивається в останні роки. Він складається зі взаємодії штучного інтелекту та інженерних дисциплін, тому саме у навчанні з підкріпленням розвиваються ідеї, взяті з теорії оптимального управління, стохастичної оптимізації та апроксимації, прагнучи реалізації загальніших і амбітних цілей штучного інтелекту. Представлено математичний апарат навчання з підкріпленням із залученням методу безмодельного Q-навчання, показано практичні аспекти його застосування, а також розроблено ефективну стратегію навчання бота у штучному середовищі (комп’ютерній відеогрі). В ролі спостережуваних змінних об’єкта виступає інформація, яку використовує агент, а прихованими змінними є довгострокові оцінки отриманої ним вигоди. Залежно від поточного стану середовища і дій бота розраховується функція вигоди, яку отримає агент у наступний момент часу. З використанням розробленого програмного забезпечення виконано експериментальні дослідження розглянутого методу. У роботі отримано оптимальні параметри налаштування, криві та час навчання бота. Результати дослідження можуть бути корисними для комп’ютерних систем різного функціонального призначення, їх можна застосовувати у моделюванні та проектуванні, в системах автоматичного керування та прийняття рішень, робототехніці, на фондових ринках тощо.

In this article there has been considered a modern method of machine learning, which is called reinforcement learning. In tasks, that are solved based on interaction, is often impractical to try to get the desired behavior examples of an intellectual software agent, that would be both correct and appropriate for all situations, since the uncertainty conditions exist, arising from incomplete information about an environment and possible actions of other bots or humans. Therefore, the software agent should be trained on the basis of its own experience. An important advantage of the reinforcement learning is the possibility of learning a bot «from scratch» by the balanced combination (search of the compromise) of the «exploration» «exploitation» modes and learning of the strategies, which allow to sacrifice some scores at this stage for the sake of greater benefit in the future.Researches in the field of the reinforcement learning can be considered as a part of the overall process, that developed over a last few years. It consists of an interaction of an artificial intelligence and other engineering disciplines that is why reinforcement learning develops ideas drawn from the optimal control theory, stochastic optimization and approximation, following common and ambitious goals of the artificial intelligence. In this work there has been presented the mathematical apparatus of reinforcement learning with the usage of the model-free Q-learning method, practical aspects of its application have been shown, also an effective strategy for the bot learning in an artificial environment (computer video game) has been developed. The role of the observed object variables is accepted by the information used by the agent, and the hidden variables are long-term estimates of the benefit it gainsDepending on the current status of the environment and bot activities is calculated the benefit function, which is received by the agent at the next time moment. With the usage of the developed software, experimental researches of the considered method have been performed. The optimal setting parameters, curves and time learning of the bot have been obtained.The research results may be useful for computer systems of various functional purposes; they can be used in modeling and design, in automatic control and decision making systems, in robotics, in stock markets, etc.

Рассмотрен современный метод машинного обучения, названый «обучение с подкреплением». В задачах, ко- торые решаются на основе взаимодействия, чаще всего непрактично пытаться получать примеры необходи- мого поведения интеллектуального программного агента, которые были бы одновременно корректными и уме- стными для всех ситуаций, поскольку существуют условия неопределенности, возникающие из-за неполноты информации об окружающей среде и возможных действиях других ботов или людей. Поэтому программный агент должен учиться на основе собственного опыта. Важным преимуществом обучения с подкреплением явля-ется возможность обучения бота «с нуля» за счет сбалансированного сочетания (поиск компромисса) режимов «исследование» — «применение» и изучения стратегий, которые позволяют на определенном этапе жертво-вать малым ради получения большей выгоды в дальнейшем. Исследования в области обучения с подкреплением можно считать частью общего процесса, который развивается в последние годы. Он состоит из взаимодейст-вия искусственного интеллекта и других инженерных дисциплин, поэтому именно в обучении с подкреплением развиваются идеи, взятые из теории оптимального управления, стохастической оптимизации и аппроксима-ции, стремясь к реализации более общих и амбициозных целей искусственного интеллекта. Представлен математический аппарат обучения с подкреплением с применением метода безмодельного Q-обучения, показаны практические аспекты его применения, а также разработана эффективная стратегия обучения бота в искусственной среде (компьютерной видеоигре). В качестве наблюдаемых переменных объекта выступает информация, которую использует агент, а скрытыми переменными являются долгосрочные оценки полученной им выгоды. В зависимости от текущего состояния среды и действий бота рассчитывается функ-ция выгоды, которую получит агент в следующий момент времени. С использованием разработанного про-граммного обеспечения выполнены экспериментальные исследования рассматриваемого метода. В работе получены оптимальные параметры настройки, кривые и время обучения бота. Результаты исследования могут быть полезными для компьютерных систем разного функционального назначения, их можно применять в моде-лировании и проектировании, в системах автоматического управления и принятия решений, робототехнике, на фондовых рынках.