Criticità dei modelli computazionali nell’interpretazione testo-immagine nei meme d’odio: considerazioni translinguistiche, pragmatiche e culturali

Titre français :
Aspects critiques des modèles informatiques pour l'interprétation des interactions texte-image dans les mèmes haineux : Translanguaging, considérations pragmatiques et culturelles

Maria Grazia Sindoni est professeur de linguistique anglaise et de traduction à l'université de Messine (Italie). Ses principales recherches portent sur l'analyse critique du discours multimodal, la translangagerie, les idéologies de la langue et des médias, principalement dans les scénarios numériques. Elle travaille actuellement sur la manière dont les conceptualisations sociosémiotiques et informatiques de la multimodalité peuvent être rapprochées d'un point de vue théorique et empirique.

Abstract

Cette présentation illustrera certains problèmes non résolus liés à l'interprétation automatique par l'intelligence artificielle (IA) de l'interaction entre le texte et l'image dans les mèmes haineux. Elle montrera que le sens des mèmes n'est pas produit par une ressource sémiotique (telle que le langage) isolée, mais plutôt par l'interaction mutuelle texte-image, qui est également influencée par le contexte pragmatique, la culture et les répertoires linguistiques de ceux qui interprètent le sens des mèmes. En comparant 1) des mèmes haineux "in vitro" créés à dessein pour le "Hateful Memes Challenge" par le groupe de recherche en IA de Facebook (2020) et 2) des mèmes générés par les utilisateurs en anglais, italien, espagnol et allemand, les limites actuelles de l'interprétation automatique texte-image pilotée par l'IA seront discutées. Dans les conclusions, il sera avancé que les études multimodales du discours critique et la sociosémiotique, combinées aux théories de la translangagerie, peuvent aider à comprendre (et donc à atténuer) les mécanismes de production de haine dans les mèmes. Bien que les mèmes semblent être des textes de base, ils sont particulièrement insaisissables pour les systèmes de surveillance automatique unimodaux actuellement utilisés.