Модель подання мультимодальних даних для комплексного опису об’єктів спостереження

Abstract

Розглянуто проблему комплексного подання мультимодальних даних про об’єкт спостереження, характеристики якого вимірюються та досліджуються з урахуванням часу та взаємозв’язку між даними різних модальностей. Ця проблема є актуальною для багатьох інженерних задач. Зокрема, комплексне подання даних про фізичний об’єкт є важливим у технології цифрових двійників, яка останнім часом набуває ширшого застосування. Виходячи з того, що цифровий двійник визначається поведінковою моделлю та візуальною моделлю, у статті запропоновано модель даних, що ґрунтується на понятті мукселю, який є мінімальним елементом мультимодальних даних. Ця модель дозволяє комплексне та несуперечливе подання даних про об’єкт спостереження. Математична модель комплексного подання мультимодальних даних ґрунтується на поняттях агрегату та мультиобразу, визначених у алгебраїчній системі агрегатів. Проаналізовано зв’язок між комплексним поданням та обробленням мультимодальних даних, визначених у часі за допомогою апарату алгебраїчної системи агрегатів та розглядом наборів агрегованих даних як функцій багатьох змінних. Таким чином, оброблення даних муксельної моделі може виконуватись, як із застосуванням логічних операцій, операцій впорядкування та відношень, визначених у алгебраїчній системі агрегатів, так й операцій і підходів, визначених у інших математичних концепціях. Оскільки муксельна модель представляє дані великого обсягу, доцільно оптимізувати спосіб подання даних. Цього можна досягти ущільненням даних, модифікацією структури даних або комбінацією першого та другого підходу. У першому підході доцільно застосувати ущільнення даних муксельної моделі на основі методу RLE. У другому підході пропонується застосовувати структури даних, аналогічні розрідженому воксельному октодереву, що застосовується для зменшення обсягів даних моделей у воксельній графіці. Практична реалізація оброблення мультимодальних даних, представлених за допомогою муксельної моделі, може бути виконана за допомогою мови програмування ASAMPL.

The paper is devoted to solving the problem of the complex presentation of multimodal data about an object of observa-tion, the characteristics of which are measured and investigated taking into account the time stamps and the relationship between the data of various modalities. This problem is relevant for many engineering tasks. In particular, the comprehen-sive presentation of data on a physical object is important in the technology of digital twins, which has recently become more widely used. Based on the fact that a digital twin is determined by both a behavioral model and a visual model, the paper presents a data model based on the concept of a multimodal data element. This model makes possible a comprehensive and consistent presentation of data about the object of observation. The mathematical model of the complex presentation of multimodal data is based on the concepts of an aggregate and a multi-image defined in an algebraic system of aggregates. The article analyzes the relationship between the complex presentation and processing of multimodal data, which are determined in time, using the apparatus of the algebraic system of aggregates and the consideration of aggregated data as functions of several variables. Thus, the analysis of the data of the muxel model can be performed using logical operations, ordering operations, and relations defined in the algebraic system of aggregates as well as operations and approaches defined in other mathematical concepts. Since the muxel model presents large amounts of data, it is advisable to optimize the way how data is presented. This can be achieved by data compression, modification of the data structure, or a combination of the first and second approach-es. In the first approach, it is advisable to apply muxel model data compression based on the RLE method. In the second approach, it is proposed to apply data structures similar to the Sparse Voxel Octree, which is used to reduce data volume of models in voxel graphics. The practical implementation of the processing of multimodal data presented using the muxel model can be performed by means of ASAMPL programming language.

Рассмотрена проблема комплексного представления мультимодальных данных об объекте наблюдения, ха-рактеристики которого измеряются и исследуются с учетом времени и взаимосвязи между данными различных модальностей. Эта проблема актуальна для многих инженерных задач. В частности, комплексное представление данных о физическом объекте является важным в технологии цифровых двойников, которая в последнее время приобретает все более широкое применение. Исходя из того, что цифровой двойник определяется поведенческой моделью и визуальной моделью, в статье предложена модель данных, основанная на понятии элемента мульти-модальных данных. Эта модель делает возможным комплексное и непротиворечивое представление данных об объекте наблюдения. Математическая модель комплексного представления мультимодальных данных основывается на понятиях агрегата и мультиобраза, определенных в алгебраической системе агрегатов. В статье анализируется связь между комплексным представлением и обработкой мультимодальных данных, которые определены во времени, с помощью аппарата алгебраической системы агрегатов и рассмотрением наборов агрегированных данных как функций нескольких переменных. Таким образом, анализ данных муксельной модели может выполняться как с при-менением логических операций, операций упорядочения и отношений, определенных в алгебраической системе агрегатов, так и операций и подходах, определенных в других математических концепциях. Поскольку муксельна модель представляет данные большого объема, целесообразно оптимизировать способ представления данных. Это можно достичь сжатием данных, модификацией структуры данных или комбинацией первого и второго подхода. В первом подходе целесообразно применять сжатие данных муксельной модели на основе метода RLE. Во втором подходе предлагается применять структуры данных, аналогичные разреженному воксельному октодереву, которое применяется для уменьшения объемов данных моделей в воксельной графике. Практическая реализация обработки мультимодальных данных, представленных с помощью муксельной модели, может быть выполнена с помощью языка программирования ASAMPL.