В 2016 году ученый-компьютерщик Эндрю Нг сравненный от беспокойства о сверхразумном ИИ до беспокойства о перенаселении Марса. Мы даже не приземлились на планете, сказал он, так с какой стати мы должны сходить с ума? Конечно, современный ИИ может проделывать несколько эффектных трюков, но он далеко не представляет экзистенциальную угрозу человечеству.
Проблема с этой линией рассуждений заключается в том, что она не принимает во внимание, сколько времени может потребоваться нам, чтобы решить то, что исследователи ИИ называют «проблемой выравнивания», и то, что наблюдатели вроде меня называют «каким-то довольно причудливым дерьмом». Есть много идей, которые я собираюсь рассмотреть, чтобы объяснить, почему, но ключевые моменты таковы: сверхразумный ИИ может появиться очень быстро, если мы когда-нибудь создадим ИИ, который хорош в разработке ИИ, продукт такого рекурсивного интеллекта. Взрыв вполне может иметь цели, которые не совпадают с нашими собственными, и нет особых оснований полагать, что это позволит нам щелкнуть выключателем.
Как любят говорить такие люди, как философ Ник Бостром, дело не в злобе, а в компетентности. Он тот, кто придумал мысленный эксперимент об ИИ, который превращает всю вселенную в скрепки, фантазию, которую вы можете и должны воплотить в жизнь. этот бесплатный онлайн-клик по ним. Особенно острая часть апокалиптической фрикадельки заключается в том, что, ставя перед ИИ почти буквально любую цель, мы, вероятно, также непреднамеренно даем ему определенные инструментальные цели, такие как максимизация его собственной вычислительной мощности или удаление любого агента, который может встать на его пути.
