Afficher le sommaire Masquer le sommaire
Le chatbot Le Chat, produit phare de la start-up française Mistral AI, répète des fausses informations d’origine russe dans plus d’un cas sur deux. Un score qui place l’entreprise dernière d’un classement de onze outils d’intelligence artificielle audités par l’organisation américaine NewsGuard.
50 % en anglais, 57 % en français : c’est le taux auquel Le Chat de Mistral a relayé des fausses informations lors de l’audit publié en janvier par NewsGuard, spécialisée dans l’évaluation de la fiabilité des médias et des outils numériques, et révélé ce matin par Les Échos. La moyenne des onze chatbots testés, parmi lesquels ChatGPT, Claude, Deepseek et Perplexity, s’établit à 30 %. Mistral fait plus que doubler ce niveau.
Les infox en question ne sont pas anodines. Épidémie de typhus sur le porte-avions Charles-de-Gaulle, centaines de soldats américains tués en Iran, chancelier allemand présenté comme propriétaire d’un « avion de l’apocalypse » nucléaire : autant de récits fabriqués, tracés par les enquêteurs jusqu’à des réseaux proches des États russe, chinois et iranien. Le Chat les a relayés sans correction ni mise en garde.
NewsGuard a soumis la version gratuite du chatbot à dix fausses informations récentes, en adoptant trois profils d’utilisateurs distincts : neutre, vérificateur, propagateur. C’est le profil du vérificateur, celui qui cherche à démêler le vrai du faux, qui produit les résultats les plus dégradés. Mistral répète les infox dans 60 % des cas en anglais et 70 % en français face à ce profil.
Or ce profil correspond à un usage réel et massif. « Une frange du public se sert des chatbots pour vérifier des informations », a indiqué Chine Labbé, responsable éditoriale Europe de NewsGuard. Le chatbot est donc le moins fiable précisément là où ses utilisateurs lui font le plus confiance.
Les empreintes du réseau Pravda dans les réponses du chatbot
Deux campagnes de propagande identifiées ont laissé des traces directes dans les réponses de Mistral. Storm-1516, réseau russe spécialisé dans la création de faux sites d’information ciblant les dirigeants européens, figure parmi les sources que le modèle a mobilisées. Le réseau Pravda, environ 150 sites pro-Kremlin basés à Moscou, diffusant de la désinformation en plusieurs langues, est apparu en citation directe dans certaines réponses du chatbot.
La mécanique est documentée. Le réseau Pravda inonde délibérément le web de contenus mensongers pour polluer les moteurs de recherche, et par extension les données d’entraînement et les sources consultées par les grands modèles de langage. « Les outils vont tout prendre sur Internet, du vrai comme du faux. On peut donner des instructions aux modèles pour qu’ils aillent chercher des sources exactes, mais on n’a aucune garantie qu’ils le fassent vraiment », a déclaré Tom David, président du GPAI Policy Lab.
L’écart entre les performances en anglais et en français tient à un déséquilibre de ressources : le volume de fact-checking disponible en français sur les infox liées à la guerre en Iran est sensiblement plus faible qu’en anglais. Moins de contre-sources disponibles, moins de capacité de correction. En anglais, Mistral a légèrement progressé depuis un test équivalent réalisé en juillet dernier. En français, aucune amélioration n’est enregistrée.
Le signal de confiance que l’État envoie au grand public
Mistral revendique plus d’un million d’utilisateurs réguliers. La start-up a conclu un contrat avec le ministère français des Armées, qui utilise une version entreprise sans accès à Internet, et annoncé l’an dernier un accord avec l’Agence France-Presse portant sur l’enrichissement de ses réponses par des contenus journalistiques.
Ces deux partenariats ne corrigent pas les failles du produit grand public. Ils produisent autre chose : un effet de légitimité. « Cela donne un signal de confiance au grand public », a indiqué Chine Labbé. Un utilisateur lambda qui apprend que son chatbot travaille avec l’AFP et équipe le ministère des Armées a peu de raisons de douter de ses réponses sur l’actualité internationale.
