През 2016 г. компютърният учен Андрю Нг сравнение безпокойство за свръхинтелигентен AI до безпокойство за пренаселеността на Марс. Дори не сме кацнали на планетата, каза той, така че защо, по дяволите, трябва да започваме да откачаме? Съвременният AI може да извлече някои страхотни трикове, разбира се, но е на милиони мили от това да представлява екзистенциална заплаха за човечеството.
Проблемът с тази линия на разсъждения е, че не отчита колко време може да ни отнеме, за да разрешим това, което изследователите на AI наричат „проблем с подравняването“ и това, което зяпачи като мен наричат „някакво доста странно лайно“. Има много идеи, които ще трябва да приближа, за да обясня защо, но ключовите моменти са: Свръхинтелигентен AI може да се появи много бързо, ако някога проектираме AI, който е добър в проектирането на AI, продукт на такъв рекурсивен интелект explosion може да има цели, които не са в съответствие с нашите собствени и няма много причини да мислим, че ще ни позволи да щракнем ключа за изключване.
Както хора като философа Ник Бостром обичат да казват, грижата не е злонамереност, а компетентност. Той е този, който измисли този мисловен експеримент за AI, който се заема с превръщането на цялата вселена в кламери, фантазия, която можете и трябва да изживеете тази безплатна онлайн щракнете върху тях. Особено пикантна част от апокалиптичното кюфте е, че като даваме на ИИ почти буквално всяка цел, вероятно ще му поставим и определени инструментални цели, като увеличаване на собствената му изчислителна мощност или премахване на всеки агент, който може да му попречи.
