2016. компјутерски научник Ендрју Нг поређењу бриге о суперинтелигентној вештачкој интелигенцији до бриге о пренасељености на Марсу. Нисмо ни слетели на планету, рекао је, зашто бисмо онда, побогу, почели да лудујемо? Савремена вештачка интелигенција може да изведе неке сјајне трикове, наравно, али је милион миља далеко од тога да представља егзистенцијалну претњу човечанству.
Проблем са том линијом расуђивања је у томе што не узима у обзир колико би нам времена могло требати да решимо оно што истраживачи вештачке интелигенције називају „проблемом поравнања“, а оно што посматрачи попут мене називају „неким прилично чудним срањем“. Постоји много идеја које ћу морати да зумирам да бих објаснио зашто, али кључне тачке су: Суперинтелигентна вештачка интелигенција би могла да се појави веома брзо ако икада дизајнирамо вештачку интелигенцију која је добра у дизајнирању АИ, производ такве рекурзивне интелигенције експлозија може имати циљеве који се не поклапају са нашим сопственим, и мало је разлога да мислимо да ће нам дозволити да притиснемо прекидач.
Као што људи попут филозофа Ника Бострома воле да кажу, брига није злонамерност – већ компетенција. Он је тај који је смислио тај мисаони експеримент о вештачкој интелигенцији која почиње да претвара цео универзум у спајалице, фантазију коју можете и треба да проживите ово бесплатно онлајн кликните на њих. Посебно зачињен део апокалиптичне месне округлице је да дајући вештачкој интелигенцији скоро буквално било који циљ, вероватно бисмо јој такође ненамерно давали одређене инструменталне циљеве, као што је максимизирање сопствене рачунарске снаге или уклањање било ког агента који би му могао стати на пут.
