Теорія та методи оцінки ентропії дискретних маніпульованих сигналів

Abstract

Викладені теоретичні основи аналітичної оцінки ентропії випадкових процесів. Здійснена систематизація оцінок ентропії згідно методів розроблених Р. Хартлі, К. Крампа, Н. Колмогорова, К. Шенона, Дж. Лонго, Г. Шульца, Б. Олівера, Д. Мідлтона, В. Таллера, В. Боюна, Я. Николайчука. Проведений аналіз аналітики різних оцінок ентропії дозволив встановити, що їх базовою основою є логарифмічні функції імовірнісних станів джерел інформації, багатомірних статистичних розподілів, оцінок приростів математичного сподівання, дисперсії, середньоквадратичного відхилення та різних аналітичних виразів автокореляційних функцій (АКФ). Показано що міра ентропії Р.Хартлі є верхньою оцінкою об’єму інформації, міра Дж.Лонго та Г.Шульца враховують коефіцієнти корисності інформації. Міра К.Шенона враховує імовірнісні стани, а міра Я.Николайчука враховує дисперсію та АКФ, в найбільшій степені наближається до власної ентропії джерела інформації.

Изложены теоретические основы аналитической оценки энтропии случайных процессов. Осуществлена систематизация оценок энтропии согласно методов разработанных Р.Хартли, К.Крампа, Н.Колмогорова, К.Шенона, Дж.Лонго, Г.Шульца, Б.Оливера, Д.Мидлтона, В.Таллера, В.Боюна, Я.Николайчука . Проведенный анализ аналитики различных оценок энтропии позволил установить, что их базовой основой является логарифмические функции вероятностных состояний источников информации, многомерных статистических распределений, оценок приростов математического ожидания, дисперсии, среднеквадратического отклонения и различных аналитических выражений автокорреляционной функций (АКФ). Показано что мера энтропии Р.Хартли является верхней оценкой объема информации, степень Дж.Лонго и Г.Шульца учитывают коэффициенты полезности информации. Мера К.Шенона учитывает вероятностные состояния, а мера Я.Николайчука учитывает дисперсию и АКФ, в наибольшей степени приближается к собственной энтропии источника информации.

Presented the theoretical basis of analytical assessment of the entropy of random processes. Systematization of the entropy assessment methods developed by R. Hartley, C. Kramp, N.Kolmohorova, C. Shannon, G. Longo, G. Shults, B. Oliver, D.Middleton, W. Tuller, V.Boyuna, Ya.Nykolaychuka. The analysis of various assessments estimates entropy revealed that their foundation is a logarithmic function of probability information sources, multivariate statistical distributions of increments mathematical expectation, dispersion, standard deviation and different analytical expressions autocorrelation functions. Shown that the amount of R.Hartley entropy is the upper estimate of the volume of information Dzh.Lonho and H.Shultsa and taken into account coefficients of the information utility. The measure of C. Shannon takes into account the probability states and the Ya. Nykolaychuk measure takes into account the variance and autocorrelation function, to the greatest degree close to its own entropy sources.