Explaining Emotional Attitude Through the Task of Image-captioning

Abstract

Алгоритми глибокого навчання, натреновані на величезних наборах даних, що містять візуальну та текстову інформацію, показали здатність вивчати корисні ознаки для інших подальших завдань. Це означає, що такі моделі розуміють дані на різних рівнях ієрархії. У цій статті ми досліджуємо здатність найсучасніших (SOTA) моделей як для текстів, так і для зображень розуміти емоційне ставлення, спричинене ситуацією. З цією метою ми зібрали невеликий набір даних на основі набору IMDB-WIKI та спеціально анотували його для цього завдання. Щоб дослідити здатність попередньо натренованих моделей розуміти дані, паралельно застосовано процедуру кластеризації KNN над поданнями текстів і зображень. Показано, що, хоча використані моделі не здатні розуміти поставлене завдання, процедура трансферного навчання на їх основі допомагає покращити результати у таких завданнях, як створення підписів до зображень та аналіз тональності. Далі ми формулюємо нашу проблему як завдання створення підписів до зображень та експериментуємо з різними архітектурами й підходами до навчання. Нарешті, ми показуємо, що додавання додаткових біометричних ознак, таких як імовірності емоцій та імовірності статі, покращує результати й веде до кращого розуміння емоційного ставлення.

Матеріали 6-ї Міжнародної конференції з комп’ютерної лінгвістики та інтелектуальних систем (CoLInS 2022), том I: основна конференція, 12–13 травня 2022 р., Глівіце, Польща

Deep learning algorithms trained on huge datasets containing visual and textual information, have shown to learn useful features for other downstream tasks. This implies that such models understand the data on different levels of hierarchies. In this paper we study the ability of SOTA (state-of-the-art) models for both texts and images to understand the emotional attitude caused by a situation. For this purpose we gathered a small size dataset based on IMDB-WIKI one and annotated it specifically for the task. In order to investigate the ability of pretrained models to understand the data, the KNN clustering procedure over representations of text and images is utilized in parallel. It’s shown that although used models are not capable of understanding the task at hand, a transfer learning procedure based on them helps to improve results on such tasks as image-captioning and sentiment analysis. We then frame our problem as the task of image captioning and experiment with different architectures and approaches to training. Finally, we show that adding additional biometric features such as probabilities of emotions and gender probabilities improves the results and leads to better understanding of emotional attitude.

Proceedings of the 6th International Conference on Computational Linguistics and Intelligent Systems (CoLInS 2022), Volume I: Main Conference, May 12–13, 2022, Gliwice, Poland