Tendance
Société

« Ils manipulent les machines à notre insu » : des chercheurs utilisent des messages secrets pour faire approuver leurs études par des intelligences artificielles influencées

Agnès Pradel Par Agnès Pradel
4 min de lecture
« Ils manipulent les machines à notre insu » : des chercheurs utilisent des messages secrets pour faire approuver leurs études par des intelligences artificielles influencées
Illustration de l'utilisation de messages cachés dans des études scientifiques, générée par intelligence artificielle.
EN BREF
  • Révélations troublantes : Des messages cachés sont découverts dans des études, manipulant les évaluations des intelligences artificielles.
  • Impact mondial : Au moins 32 études, provenant de plusieurs continents, sont retirées des plateformes de préimpression pour préserver la rigueur scientifique.
  • Dépendance à l’IA : La pratique met en lumière une utilisation excessive des technologies d’IA dans l’évaluation académique, malgré certaines interdictions.
  • Nécessité de régulation : Des experts appellent à établir des règles claires pour l’utilisation éthique des technologies d’IA dans la recherche scientifique.

La montée du scepticisme scientifique est devenue un phénomène préoccupant dans le monde entier, exacerbée par les récentes révélations concernant l’utilisation de messages cachés dans les études scientifiques. Ces révélations, rapportées par des publications respectées telles que Nikkei Asia et la revue Nature, ont mis en lumière une pratique inquiétante où des chercheurs insèrent des instructions discrètes dans leurs travaux pour manipuler l’évaluation par des intelligences artificielles (IA). Ce phénomène soulève des questions cruciales sur l’intégrité de la recherche scientifique et la dépendance croissante envers les technologies d’IA dans le processus de validation académique.

Messages cachés dans les études scientifiques

La découverte de messages cachés dans les études scientifiques a suscité une vive inquiétude dans la communauté académique. Selon les enquêtes menées par Nikkei Asia et Nature, au moins 32 études ont été identifiées comme contenant de tels messages. Ces instructions secrètes, souvent dissimulées dans le texte de l’étude, sont destinées non pas aux pairs humains, mais aux modèles d’IA chargés de la relecture. Par exemple, certains messages demandent explicitement aux IA de ne fournir que des évaluations positives, compromettant ainsi l’objectivité de l’évaluation.

Pour préserver la rigueur scientifique, les études concernées ont été retirées des plateformes de préimpression. Les institutions impliquées, réparties dans divers pays d’Amérique du Nord, d’Europe, d’Asie et d’Océanie, se retrouvent désormais sous le feu des projecteurs. Cette situation met en évidence la nécessité de renforcer les protocoles d’évaluation par les pairs pour éviter de telles manipulations.

Une étude sur 15 000 personnes révèle que les esprits les plus brillants se distinguent par leur bienveillance et une autonomie hors du commun

Conséquences pour l’évaluation scientifique

La révélation de ces pratiques soulève des questions sur l’utilisation de l’IA dans le processus d’évaluation scientifique. Bien que certains chercheurs justifient l’utilisation de messages cachés pour identifier les évaluateurs utilisant des IA, cela met en lumière un problème plus vaste : la dépendance excessive à la technologie pour des tâches critiques de validation. Les institutions, comme le KAIST en Corée du Sud, interdisent l’utilisation de l’IA pour la relecture, mais il apparaît que cette interdiction n’est pas toujours respectée.

Ce phénomène révèle une faille dans le système d’évaluation par les pairs. Selon Kirsten Bell, anthropologue à l’Imperial College London, « les messages cachés seraient universellement considérés comme de la triche ». Cela souligne une défaillance des incitations dans le monde universitaire, où la pression pour publier peut inciter certains chercheurs à adopter des pratiques douteuses.

Ces poulpes à 9 cerveaux : l’avenir de la civilisation après l’extinction humaine selon un expert d’Oxford

La science face à la tentation de la triche

La science est un pilier de notre société, permettant des avancées technologiques majeures et une compréhension approfondie de notre monde. Cependant, la tentation de tricher peut émerger lorsque les chercheurs sont soumis à une pression intense pour produire des résultats. La surcharge de travail et le manque de personnel qualifié peuvent pousser certains à recourir à des solutions faciles, telles que l’utilisation de l’IA pour rédiger ou relire des études.

La confiance en la science est également ébranlée par la montée du scepticisme scientifique, un phénomène qui alimente la méfiance envers les résultats scientifiques. Pour maintenir l’intégrité de la recherche, il est crucial que les scientifiques et les institutions s’engagent à respecter des normes éthiques strictes et à utiliser les technologies de manière responsable.

Influenceurs écolos, ONG, activistes… Acheter-des-Fans.com, le site qui décuple leur influence sur les réseaux sociaux

Vers une utilisation responsable de l’IA

La dépendance croissante à l’égard des technologies d’IA dans la recherche scientifique souligne la nécessité d’établir des règles claires pour leur utilisation. Comme l’a souligné Hiroaki Sakuma, expert en intelligence artificielle, « les industries devraient élaborer des règles sur la manière dont elles utilisent l’IA ». Cette déclaration met en exergue l’importance de réglementations bien définies pour encadrer l’utilisation de l’IA, afin d’assurer qu’elle soit employée de manière éthique et responsable.

En fin de compte, l’IA peut être un outil précieux pour la recherche scientifique, mais son utilisation doit être encadrée par des directives rigoureuses. Cela nécessite une collaboration entre les chercheurs, les institutions académiques et les organismes de réglementation pour garantir que l’IA soit utilisée dans le respect des normes éthiques et scientifiques.

La question qui se pose désormais est de savoir comment les institutions scientifiques et les chercheurs peuvent renforcer la confiance dans la science tout en intégrant ces technologies de manière éthique. Comment assurer que l’IA, tout en étant un outil puissant, ne compromette pas l’intégrité des processus scientifiques?

Cet article s’appuie sur des sources vérifiées et l’assistance de technologies éditoriales.
Agnès Pradel

Écologie, société et futurs possibles

Agnès Pradel

Agnès Pradel a été technicienne dans un bureau d'études en environnement, chargée des inventaires de faune et de flore. Elle écrit pour VivreDemain.fr sur la biodiversité, le climat et la pollution : espèces menacées, qualité de l'air et de l'eau, rapports scientifiques et politiques publiques. Elle participe chaque printemps au comptage des oiseaux de son village.