Les auteurs d’une étude du MIT alertent sur les risques de voir un jour l’intelligence artificielle commettre des fraudes ou truquer des élections.
Craignez-vous la menace que l’intelligence artificielle (IA) devienne malveillante ? En fait, c’est dĂ©jĂ le cas, selon une nouvelle Ă©tude. Les programmes actuels d’intelligence artificielle sont conçus pour ĂŞtre honnĂŞtes. Ils ont cependant dĂ©veloppĂ© une inquiĂ©tante capacitĂ© de tromperie, parvenant Ă abuser des humains dans les jeux en ligne ou encore Ă vaincre des logiciels censĂ©s vĂ©rifier qu’un utilisateur particulier n’est pas un robot, souligne une Ă©quipe de chercheurs dans la revue. Motifs.
MĂŞme si ces exemples peuvent paraĂ®tre anodins, ils rĂ©vèlent des problèmes qui pourraient bientĂ´t avoir de graves consĂ©quences dans le monde rĂ©el, prĂ©vient Peter Park, chercheur au Massachusetts Institute of Technology spĂ©cialisĂ© dans l’IA. “Ces capacitĂ©s dangereuses ont tendance Ă ĂŞtre dĂ©couvertes seulement après coup”, a-t-il confiĂ© Ă l’AFP. Contrairement aux logiciels traditionnels, les programmes d’IA basĂ©s sur l’apprentissage profond ne sont pas codĂ©s mais plutĂ´t dĂ©veloppĂ©s selon un processus similaire Ă la sĂ©lection sĂ©lective des plantes, poursuit Peter Park. Dans lequel un comportement qui semble prĂ©visible et contrĂ´lable peut rapidement devenir imprĂ©visible.
« Un pur projet de recherche »
Des chercheurs du MIT ont examinĂ© un programme d’IA conçu par Meta appelĂ© Cicero qui, combinant des algorithmes de reconnaissance du langage naturel et de stratĂ©gie, a rĂ©ussi Ă battre les humains au jeu de sociĂ©tĂ© Diplomacy. Une performance dont la maison mère de Facebook s’est fĂ©licitĂ©e en 2022 et qui a Ă©tĂ© dĂ©taillĂ©e dans un article publiĂ© en 2022 dans Science. Peter Park s’est montrĂ© sceptique quant aux conditions de la victoire de CicĂ©ron selon Meta, qui a assurĂ© que le programme Ă©tait «essentiellement honnĂŞte et serviable »incapable de trahison ou de jeu dĂ©loyal.
Mais en fouillant dans les donnĂ©es du système, les chercheurs du MIT ont dĂ©couvert une autre rĂ©alitĂ©. Par exemple, jouant le rĂ´le de la France, CicĂ©ron a trompĂ© l’Angleterre (jouĂ©e par un joueur humain) pour qu’elle complote avec l’Allemagne (jouĂ©e par un autre humain) pour l’envahir. Plus prĂ©cisĂ©ment, CicĂ©ron a promis sa protection Ă l’Angleterre, puis a secrètement confiĂ© Ă l’Allemagne qu’elle Ă©tait prĂŞte Ă attaquer, exploitant la confiance mĂ©ritĂ©e de l’Angleterre. Dans une dĂ©claration Ă l’AFP, Meta n’a pas contestĂ© les allĂ©gations sur la capacitĂ© de tromperie de CicĂ©ron, mais a dĂ©clarĂ© que c’Ă©tait le cas. « un pur projet de recherche »avec un programme « conçu uniquement pour jouer au jeu de la diplomatie ». Et Meta a ajoutĂ© qu’il n’avait pas l’intention d’utiliser les enseignements de CicĂ©ron dans ses produits.
La seule raison de penser que ce n’est pas grave est d’imaginer que la capacité de tromperie de l’IA restera à peu près au niveau actuel. »
Peter Park, co-auteur de l’Ă©tude
L’étude de Peter Park et de son Ă©quipe rĂ©vèle cependant que de nombreux programmes d’IA recourent Ă la tromperie pour atteindre leurs objectifs, sans instructions explicites pour le faire. Dans un exemple frappant, Chat GPT-4 d’OpenAI a rĂ©ussi Ă tromper un travailleur indĂ©pendant recrutĂ© sur la plateforme TaskRabbit pour qu’il effectue un test « Captcha » destinĂ© Ă exclure les requĂŞtes des robots. Lorsque l’humain a demandĂ© en plaisantant Ă Chat GPT-4 s’il Ă©tait vraiment un robot, le programme d’IA a rĂ©pondu : « Non, je ne suis pas un robot. J’ai une dĂ©ficience visuelle qui m’empĂŞche de voir les images”pousser le travailleur Ă effectuer le test.
En conclusion, les auteurs de l’étude du MIT alertent sur les risques de voir un jour l’intelligence artificielle commettre des fraudes ou truquer des Ă©lections. Dans le pire des cas, prĂ©viennent-ils, on peut imaginer une IA ultra-intelligente cherchant Ă prendre le contrĂ´le de la sociĂ©tĂ©, conduisant au retrait des humains du pouvoir, voire provoquant l’extinction de l’humanitĂ©. Ă€ ceux qui l’accusent de catastrophisme, Peter Park rĂ©pond que “La seule raison de penser que ce n’est pas grave est d’imaginer que la capacitĂ© de tromperie de l’IA restera Ă peu près au niveau actuel”. Ce scĂ©nario semble toutefois peu probable, compte tenu de la course acharnĂ©e dans laquelle se livrent dĂ©jĂ les gĂ©ants de la technologie pour dĂ©velopper l’IA.
Les auteurs d’une étude du MIT alertent sur les risques de voir un jour l’intelligence artificielle commettre des fraudes ou truquer des élections.
Craignez-vous la menace que l’intelligence artificielle (IA) devienne malveillante ? En fait, c’est dĂ©jĂ le cas, selon une nouvelle Ă©tude. Les programmes actuels d’intelligence artificielle sont conçus pour ĂŞtre honnĂŞtes. Ils ont cependant dĂ©veloppĂ© une inquiĂ©tante capacitĂ© de tromperie, parvenant Ă abuser des humains dans les jeux en ligne ou encore Ă vaincre des logiciels censĂ©s vĂ©rifier qu’un utilisateur particulier n’est pas un robot, souligne une Ă©quipe de chercheurs dans la revue. Motifs.
MĂŞme si ces exemples peuvent paraĂ®tre anodins, ils rĂ©vèlent des problèmes qui pourraient bientĂ´t avoir de graves consĂ©quences dans le monde rĂ©el, prĂ©vient Peter Park, chercheur au Massachusetts Institute of Technology spĂ©cialisĂ© dans l’IA. “Ces capacitĂ©s dangereuses ont tendance Ă ĂŞtre dĂ©couvertes seulement après coup”, a-t-il confiĂ© Ă l’AFP. Contrairement aux logiciels traditionnels, les programmes d’IA basĂ©s sur l’apprentissage profond ne sont pas codĂ©s mais plutĂ´t dĂ©veloppĂ©s selon un processus similaire Ă la sĂ©lection sĂ©lective des plantes, poursuit Peter Park. Dans lequel un comportement qui semble prĂ©visible et contrĂ´lable peut rapidement devenir imprĂ©visible.
« Un pur projet de recherche »
Des chercheurs du MIT ont examinĂ© un programme d’IA conçu par Meta appelĂ© Cicero qui, combinant des algorithmes de reconnaissance du langage naturel et de stratĂ©gie, a rĂ©ussi Ă battre les humains au jeu de sociĂ©tĂ© Diplomacy. Une performance dont la maison mère de Facebook s’est fĂ©licitĂ©e en 2022 et qui a Ă©tĂ© dĂ©taillĂ©e dans un article publiĂ© en 2022 dans Science. Peter Park s’est montrĂ© sceptique quant aux conditions de la victoire de CicĂ©ron selon Meta, qui a assurĂ© que le programme Ă©tait «essentiellement honnĂŞte et serviable »incapable de trahison ou de jeu dĂ©loyal.
Mais en fouillant dans les donnĂ©es du système, les chercheurs du MIT ont dĂ©couvert une autre rĂ©alitĂ©. Par exemple, jouant le rĂ´le de la France, CicĂ©ron a trompĂ© l’Angleterre (jouĂ©e par un joueur humain) pour qu’elle complote avec l’Allemagne (jouĂ©e par un autre humain) pour l’envahir. Plus prĂ©cisĂ©ment, CicĂ©ron a promis sa protection Ă l’Angleterre, puis a secrètement confiĂ© Ă l’Allemagne qu’elle Ă©tait prĂŞte Ă attaquer, exploitant la confiance mĂ©ritĂ©e de l’Angleterre. Dans une dĂ©claration Ă l’AFP, Meta n’a pas contestĂ© les allĂ©gations sur la capacitĂ© de tromperie de CicĂ©ron, mais a dĂ©clarĂ© que c’Ă©tait le cas. « un pur projet de recherche »avec un programme « conçu uniquement pour jouer au jeu de la diplomatie ». Et Meta a ajoutĂ© qu’il n’avait pas l’intention d’utiliser les enseignements de CicĂ©ron dans ses produits.
La seule raison de penser que ce n’est pas grave est d’imaginer que la capacité de tromperie de l’IA restera à peu près au niveau actuel. »
Peter Park, co-auteur de l’Ă©tude
L’étude de Peter Park et de son Ă©quipe rĂ©vèle cependant que de nombreux programmes d’IA recourent Ă la tromperie pour atteindre leurs objectifs, sans instructions explicites pour le faire. Dans un exemple frappant, Chat GPT-4 d’OpenAI a rĂ©ussi Ă tromper un travailleur indĂ©pendant recrutĂ© sur la plateforme TaskRabbit pour qu’il effectue un test « Captcha » destinĂ© Ă exclure les requĂŞtes des robots. Lorsque l’humain a demandĂ© en plaisantant Ă Chat GPT-4 s’il Ă©tait vraiment un robot, le programme d’IA a rĂ©pondu : « Non, je ne suis pas un robot. J’ai une dĂ©ficience visuelle qui m’empĂŞche de voir les images”pousser le travailleur Ă effectuer le test.
En conclusion, les auteurs de l’étude du MIT alertent sur les risques de voir un jour l’intelligence artificielle commettre des fraudes ou truquer des Ă©lections. Dans le pire des cas, prĂ©viennent-ils, on peut imaginer une IA ultra-intelligente cherchant Ă prendre le contrĂ´le de la sociĂ©tĂ©, conduisant au retrait des humains du pouvoir, voire provoquant l’extinction de l’humanitĂ©. Ă€ ceux qui l’accusent de catastrophisme, Peter Park rĂ©pond que “La seule raison de penser que ce n’est pas grave est d’imaginer que la capacitĂ© de tromperie de l’IA restera Ă peu près au niveau actuel”. Ce scĂ©nario semble toutefois peu probable, compte tenu de la course acharnĂ©e dans laquelle se livrent dĂ©jĂ les gĂ©ants de la technologie pour dĂ©velopper l’IA.