El 2016, l'informàtic Andrew Ng comparat preocupar-se per la IA superintel·ligent a preocupar-se per la superpoblació a Mart. Ni tan sols hem aterrat al planeta, va dir, així que per què hem de començar a flipar? La IA moderna pot fer alguns trucs elegants, és clar, però és a un milió de milles de distància de presentar una amenaça existencial per a la humanitat.
El problema d'aquesta línia de raonament és que no té en compte quant de temps podríem trigar a resoldre el que els investigadors d'IA anomenen "el problema d'alineació" i el que els espectadors com jo anomenen "una merda bastant estranya". Hi ha moltes idees que hauré d'ampliar per explicar per què, però els punts clau són: la IA superintel·ligent podria sorgir molt ràpidament si mai dissenyem una IA que sigui bona per dissenyar IA, el producte d'una intel·ligència tan recursiva. L'explosió pot tenir objectius que no s'alineen amb els nostres, i hi ha poques raons per pensar que ens permetria apagar l'interruptor.
Com a gent com el filòsof Nick Bostrom li agrada dir, la preocupació no és la malevolencia, és la competència. Va ser ell qui va idear aquest experiment mental sobre una intel·ligència artificial que es proposa convertir l'univers sencer en clips de paper, una fantasia que pots i has de viure. aquest clic en línia gratuït. Una part especialment picant de la mandonguilla apocalíptica és que en donar-li una IA gairebé literalment qualsevol objectiu, probablement també li donaríem, sense voler, determinats objectius instrumentals, com ara maximitzar la seva pròpia potència de càlcul o eliminar qualsevol agent que pugui interposar-se en el seu camí.
