Метод визначення схожості новинних текстів шляхом порівняння їх заголовків із використанням задачі про призначення

Abstract

Метою роботи є розробка методу визначення схожості новинних текстів. У роботі запропоновано метод порівняння схожості новинних текстів на основі порівняння їх заголовків. Ця задача була зведена до задачі порівняння коротких текстів (а саме – до задачі визначення їх еквівалентності). У свою чергу, ця задача була зведена до задачі про призначення – класичної задачі із області комп’ютерних наук, що може бути розв’язана угорським алгоритмом чи за допомогою знаходження максимального потоку мінімальної вартості. Метод може бути використано для кластеризації новинних текстів, у сервісах агрегації новинних текстів.

The main goal of the article is the development of the method for comparing news articles. It is suggested to compare news articles based on their titles. This problem was reduced to the problem of comparing of the short texts (namely, to the equivalency detection problem). This problem was reduced to an assignment problem – classical computer science problem, that can be solved with Hungarian algorithm or using the algorithms, that find minimum cost maximum flow. The method can be used for news articles clasterization and for news aggregators.

Целью работы является разработка метода определения сходства новостных текстов. В работе предложен метод сравнения сходства новостных текстов на основе сравнения их заголовков. Эта задача была сведена к задаче сравнения коротких текстов (а именно – к задаче определения их эквивалентности). В свою очередь, эта задача была сведена к задаче о назначениях – классической задачи из области компьютерных наук, которая может быть решена при помощи венгерского алгоритма или посредством нахождения максимального потока минимальной стоимости. Метод может быть использован для кластеризации новостных текстов, в сервисах агрегации новостных текстов.