Розробка методів і програмного забезпечення доповненої реальності для розпізнавання рухів з використанням технологій Swift, ARKit, CoreML

Abstract

Магістерська кваліфікаційна робота присвячена розробці програмної системи на мобільні пристрої для розпізнавання рухів. Інтерфейс дозволяє взаємодіяти з об’єктами доповненої реальності за допомогою руки користувача. Запропонована нова модель взаємодії користувача з віртуальними об’єктами в реальному світі. Програмний додаток був реалізований засобами мови програмування Swift в середовищі програмування Xcode, а також мови програмування Python для навчання нейронної моделі. Технологія CoreML використовує навчену модель, та дозволяє розпізнавати людську руку, за допомогою ARKit користувач може створити віртуальний об’єкт та взаємодіяти з ним за допомогою руки.