Удосконалений алгоритм перевірки текстів на унікальність

Abstract

Запропоновано алгоритм підвищення ефективності перевірки текстової інформації на унікальність за рахунок використання алгоритму шинглів з можливістю налаштуванням точності, залежно від наявних ресурсів. Це забезпечить швидку обробку великих обсягів текстової інформації.

Provided an algorithm for increasing an effectiveness of checking texts for uniqueness by using shingle algorithm with ability to set up a precise rank of the algorithm depending on available resources. It will ensure quick handling of big amount of text information.