Ентропія та кількість інформації у технічних позначеннях

Abstract

Розглянуто умовні позначення інтегральних мікросхем як приклад класифікації та скороченої назви (коду) технічних виробів для відповіді на запитання: Чому кажуть, що деякі системи позначень є «інформативнцішими?». Чи дійсно в таких позначеннях міститься більше інформації порівняно з іншими системами? Такі задачі тісно пов’язані з задачами машинного навчання та побудови «семантичної павутини». На основі алгебраїчного підходу та теорії множин розглянуто характеристики ентропії класифікації позначень та показано, що ентропія такого кодованого позначення менше ніж довільної системи запису технічних характеристик, що пояснюється позиційною структурою позначення і відповідно меншою потужністю множин, які складають конкретне позначення. На основі підходу інформаційної алгебри підтверджено, що встановлення в технічних позначеннях атомарної структури множин, яким ставляться у відповідність технічні характеристики, дійсно відповідає математичному визначенню інформативнішої структури. На основі математичної теорії натяків проаналізовано структуру технічного позначення та вказано на можливість отримання додаткової інформації, наприклад взаємозв’язків між різними групами технічних параметрів. Вона буде отримана внаслідок запитань, що уточнюють інтерпретацію існуючих відповідей. Це є наслідком властивості ентропії натяків, яка має дві складові — ентропію Шеннона та узагальнену міру Хартлі, які відповідають ймовірнісній інформації про справжню інтерпретацію відповіді в наборі та реляційній інформації про справжню відповідь про деякий тип параметрів інтегральних схем. Технічне позначення виявляється дієвим прикладом, на якому можна застосувати розглянуті математичні теорії, і відповідно може бути прикладом коду, який, з одного боку може бути зрозумілим людині, а з іншого — використовуватися в системах машинної обробки інформації.

Conventional designations of integrated microcircuits are considered as an example of classification and abbreviated name (code) of technical products to answer the question: Why do they say, that some designation systems are "more informative?". Do such notations contain more information compared to other systems? Such tasks are closely related to the tasks of machine learning and the construction of the "semantic web". Based on the algebraic approach and set theory, the characteristics of the entropy of the classification of designations are considered and it is shown that the entropy of such a coded designation is less than that of an arbitrary system of recording technical characteristics, which is explained by the positional structure of the designation and, accordingly, the lower power of the sets that make up a specific designation. Based on the approach of informational algebra, it is confirmed that the establishment in the technical notation of the atomic structure of the sets to which the technical characteristics correspond, really corresponds to the mathematical definition of a more informative structure. Based on the mathematical theory of hints, the structure of the technical designation is analyzed and the possibility of obtaining additional information, for example, relationships between different groups of technical parameters, is indicated. It will be obtained as a result of questions clarifying the interpretation of existing answers. This is a consequence of the property of hint entropy, which has two components — the Shannon entropy and the generalized Hartley measure, which correspond to probabilistic information about the true interpretation of the answer in the set and relational information about the true answer about some type of integrated circuit parameters. Technical notation turns out to be an effective example on which the considered mathematical theories can be applied and accordingly can be an example of a code that, on the one hand, can be understood by a person, and on the other hand, can be used in machine information processing systems.