Вплив синтаксичних зв’язків у реченнях на якість ідентифікації токсичних коментарів в соціальній мережі

Abstract

Соціальні мережі все частіше стають середовищем для погроз, образ та інших складових кібербулінгу. В онлайнових соціальних мережах задіяна величезна кількість людей, тому виникає потреба в автоматизації діяльності із захисту користувачів від антисоціального впливу. Одним із важливих напрямків такої діяльності є виявлення токсичних коментарів, що містять погрози, образи, зневагу до оточуючих тощо. Зазвичай ідентифікацію токсичних коментарів здійснюють за статистикою мішка слів та мішка символів. В статті досліджується вплив синтаксичних зв’язків у реченнях на якість ідентифікації токсичних коментарів в соціальній мережі. Під синтаксичними зв’язками розуміються зв'язки із власними назвами, з особовими займенниками, з присвійними займенниками тощо. Всього перевірено двадцять синтаксичних ознак речень. Встановлено, що додаткове врахування трьох специфічних ознак суттєво покращує якість ідентифікації токсичних коментарів. Цими трьома специфічними ознаками є такі: кількість зв'язків з власними назвами в однині, кількість зв'язків, в яких фігурують погані слова та кількість зв'язків між особовими займенниками та поганими словами. Експерименти проведено на основі даних із kaggle-змагання “Toxic Comment Classification Challenge”. Оригінальну kaggle-задачу категоризації токсичних коментарів було модифіковану у задачу класифікації з двома альтернативами: нейтральний коментар та токсичний коментар. Для наших експериментів оригінальну вибірку із 159751 коментарів скорочено до 106590 коментарів через проблеми з автоматичним виділенням синтаксичних ознак тексту. В модифікованій вибірці частка токсичних коментарів становить 12.8%. Для врахування незбалансованості вибірки даних метрикою якості обрано середнє значення частот помилок класифікації кожного типу. Класифікацію здійснено за допомогою дерева рішень. Дерева рішень синтезувалися за двох правил розщеплення: на основі індекса Джині та ентропійного критерію.

Social networks often become a medium for threats, insults and other components of cyberbullying. A huge number of people are involved in online social networks, therefore, there is a need for automation of the activities to protect users from anti-social behavior. One of the important tasks of such activity is the identification of the toxic comments that contain threats, insults, obscene etc. The bag of words statistics and bag of symbols statistics are typical features for the toxic comments identification. The effect of syntactic dependencies in sentences on the quality of identification of the social network toxic comments is studied in the article. Syntactic dependences are relationships with proper nouns, personal pronouns, possessive pronouns, etc. 20 syntactic features of sentences have been verified in the total. The article shows that 3 additional specific features significantly improve the quality of toxic comments identification. These three features are: the number of dependences with proper nouns in the singular, the number of dependences that contain bad words, and the number of dependences between personal pronouns and bad words. The experiments are based on data from kaggle- competition "Toxic Comment Classification Challenge". The original kaggle-task of categorizing the toxic comments was modified to the classification one with two alternatives: a neutral comment and a toxic comment. For our experiments, the original dataset with 159751 comments was reduced to 106590 comments due to problems with human-free extraction of the syntactic features. The toxic comment rate is 12.8% in the modified dataset. We use mean of the error rates for each types of misclassification as the metric of quality due to unbalanced dataset. A decision tree is used as a classifier. The decision trees were synthesized for two splitting rules: Gini index and entropy criterion.