En 2016, l'informaticien Andrew Ng par rapport s'inquiéter de l'IA super intelligente à s'inquiéter de la surpopulation sur Mars. Nous n'avons même pas atterri sur la planète, dit-il, alors pourquoi diable devrions-nous commencer à paniquer ? L'IA moderne peut tirer des tours accrocheurs, bien sûr, mais c'est à des milliards de kilomètres de présenter une menace existentielle pour l'humanité.
Le problème avec ce raisonnement est qu'il ne tient pas compte du temps qu'il nous faudra pour résoudre ce que les chercheurs en IA appellent "le problème d'alignement", et ce que les spectateurs comme moi appellent "une merde assez bizarre". Il y a beaucoup d'idées que je vais devoir parcourir pour expliquer pourquoi, mais les points clés sont : une IA super intelligente pourrait émerger très rapidement si jamais nous concevons une IA qui est bonne pour concevoir de l'IA, le produit d'une telle intelligence récursive explosion pourrait bien avoir des objectifs qui ne correspondent pas aux nôtres, et il y a peu de raisons de penser que cela nous permettrait d'appuyer sur l'interrupteur.
Comme des gens comme le philosophe Nick Bostrom aiment le dire, le problème n'est pas la malveillance, c'est la compétence. C'est lui qui a proposé cette expérience de pensée sur une IA qui se propose de transformer l'univers entier en trombones, un fantasme que vous pouvez et devez vivre ce clic gratuit en ligne. Une partie particulièrement épicée de la boulette de viande apocalyptique est qu'en donnant à une IA presque littéralement n'importe quel objectif, nous lui donnerions probablement aussi par inadvertance certains objectifs instrumentaux, comme maximiser sa propre puissance de calcul ou supprimer tout agent qui pourrait se mettre en travers de son chemin.
