Criticità dei modelli computazionali nell’interpretazione testo-immagine nei meme d’odio: considerazioni translinguistiche, pragmatiche e culturali

Deutscher Titel:
Kritische Aspekte von Computermodellen für die Interpretation von Text-Bild-Interaktionen in hasserfüllten Memen: Translanguaging, pragmatische und kulturelle Überlegungen

Maria Grazia Sindoni ist Professorin für englische Linguistik und Übersetzung an der Universität von Messina (Italien). Zu ihren Hauptforschungsinteressen gehören multimodale kritische Diskursanalyse, Translanguaging, Sprach- und Medienideologien, vor allem in digitalen Szenarien. Derzeit arbeitet sie daran, wie soziosemiotische und computergestützte Konzeptualisierungen von Multimodalität theoretisch und empirisch miteinander verbunden werden können.

Abstract

Dieser Vortrag wird einige ungelöste Probleme bei der durch Künstliche Intelligenz (KI) gesteuerten automatischen Interpretation des Zusammenspiels von Text und Bild in hasserfüllten Memes aufzeigen. Es wird gezeigt, dass die Bedeutung von Memen nicht durch eine isolierte semiotische Ressource (wie Sprache) erzeugt wird, sondern durch das wechselseitige Zusammenspiel von Text und Bild, das auch durch den pragmatischen Kontext, die Kultur und das sprachliche Repertoire derjenigen beeinflusst wird, die die Bedeutung der Meme interpretieren. Anhand eines Vergleichs von 1) "in vitro"-Hass-Memes, die von der KI-Forschungsgruppe von Facebook (2020) gezielt für die "Hateful Memes Challenge" erstellt wurden, und 2) nutzergenerierten Memes auf Englisch, Italienisch, Spanisch und Deutsch werden die derzeitigen Grenzen der KI-gestützten automatischen Text-Bild-Interpretation diskutiert. In den Schlussfolgerungen wird argumentiert, dass multimodale kritische Diskursstudien und Soziosemiotik in Kombination mit Theorien der Translanguaging helfen können, die Mechanismen der Hassproduktion in Memen zu verstehen (und damit zu entschärfen). Obwohl Meme grundlegende Texte zu sein scheinen, sind sie für die derzeit verwendeten unimodalen automatischen Überwachungssysteme besonders schwer zu erfassen.