Les assistants IA montrent des problèmes dans presque la moitié des réponses
Une étude récente évaluant les assistants IA a révélé des problèmes considérables dans la façon dont ces outils gèrent le contenu d'actualités, montrant que près de 45 % de leurs réponses contenaient des problèmes majeurs, et 81 % présentaient une forme d'erreur. La recherche, menée par l'Union Européenne de Radiodiffusion (EBU) en collaboration avec la BBC, a analysé 2 709 réponses d'assistants IA largement utilisés, y compris ChatGPT, Copilot, Gemini et Perplexity. Ces réponses ont été recueillies dans 14 langues et auprès de 22 organisations de médias de service public dans 18 pays, soulignant des défis systémiques dans la diffusion des actualités par l'IA dans le monde entier, selon Search Engine Journal.
L'étude a découvert que la source est la faiblesse la plus persistante, avec 31 % des réponses présentant de graves problèmes de citation. Les problèmes courants incluaient des références manquantes, mal attribuées ou trompeuses, ce qui pourrait entraîner la diffusion d'informations inexactes ou non vérifiées. Parmi les assistants évalués, Google Gemini a eu les pires performances, avec 76 % de ses réponses montrant des problèmes significatifs et 72 % éprouvant des difficultés avec la source. D'autres plateformes avaient moins d'erreurs, les problèmes majeurs étant généralement inférieurs à 37 % et les problèmes de source à moins de 25 %.
Des exemples d'inexactitudes étaient répandus. Dans un cas, plusieurs assistants IA ont identifié à tort le Pape François comme le pape actuel à la fin mai, malgré son décès en avril. Gemini a également mal représenté les changements légaux concernant les produits de vapotage jetables, illustrant que les erreurs ne concernent pas seulement des informations dépassées mais aussi une mauvaise interprétation des événements et politiques actuels.
La méthodologie de recherche impliquait de générer des réponses à un ensemble partagé de 30 questions de base, complété par des questions locales optionnelles. Cette approche visait à refléter l'utilisation typique des assistants IA gratuits par les consommateurs, en supprimant les restrictions techniques standard qui empêchent normalement l'accès à certains contenus d'actualités durant la période d'évaluation.
Ces résultats ont des implications importantes pour les utilisateurs, journalistes et créateurs de contenu. Lorsqu'on s'appuie sur des assistants IA pour la recherche, la planification de contenu ou le résumé des actualités, la vérification par rapport aux sources originales est essentielle. La fréquence élevée des inexactitudes augmente le risque de propager des informations erronées ou d'attribuer incorrectement du contenu dans les résumés générés par IA.
Pour répondre à ces défis, l'EBU et la BBC ont publié un "News Integrity in AI Assistants Toolkit", fournissant des conseils aux développeurs de technologies, aux organisations de médias et aux chercheurs sur l'amélioration de la précision, la transparence et la fiabilité des sorties d'actualités IA. L'étude souligne que bien que l'IA puisse traiter et résumer l'information rapidement, elle ne peut toujours pas entièrement remplacer la supervision éditoriale humaine, en particulier pour s'assurer que l'information est correcte, correctement sourcée et contextuellement précise.
Alors que l'IA est de plus en plus intégrée dans les salles de rédaction et les applications grand public, comprendre ces limitations est essentiel pour prévenir la propagation d'erreurs et maintenir la confiance du public dans l'information numérique.
