2016. aastal andis arvutiteadlane Andrew Ng võrreldes superintelligentse tehisintellekti pärast muretsemine Marsi ülerahvastatuse pärast. Ta ütles, et me pole isegi planeedile maandunud, nii et miks peaksime siis maa peal pabistama? Kaasaegne tehisintellekt võib kindlasti teha mõningaid toretsevaid nippe, kuid see on miljon miili kaugusel eksistentsiaalsest ohust inimkonnale.
Selle arutluskäigu probleem seisneb selles, et see ei võta arvesse seda, kui kaua võib meil kuluda aega, et lahendada seda, mida tehisintellekti teadlased nimetavad "joondumisprobleemiks" ja mida minusugused pealtvaatajad nimetavad "mingiks päris veidriks jamaks". Mul on palju ideid, mida pean läbi suumima, et selgitada, miks, kuid põhipunktid on järgmised: üliintelligentne tehisintellekt võib tekkida väga kiiresti, kui me kunagi kavandame tehisintellekti, mis on hea tehisintellekti kujundamisel, mis on sellise rekursiivse intelligentsuse tulemus. plahvatusel võivad olla eesmärgid, mis ei ühti meie omadega, ja on vähe põhjust arvata, et see laseb meil välja lülitada.
Nagu filosoof Nick Bostrom armastab öelda, ei ole mure pahatahtlikkuses, vaid kompetentsuses. Tema tuli välja selle mõtteeksperimendiga tehisintellekti kohta, mille eesmärk on muuta kogu universum kirjaklambriteks, fantaasiaks, mida saate ja peaksite läbi elama see tasuta veebis klõpsake neid üles. Apokalüptilise lihapalli eriti vürtsikas osa on see, et tehisintellektile peaaegu sõna otseses mõttes mis tahes eesmärgi andmisega seaksime talle tõenäoliselt ka tahtmatult teatud instrumentaalsed eesmärgid, nagu näiteks tema enda arvutusvõimsuse maksimeerimine või mis tahes teguri eemaldamine, mis võib selle teele sattuda.
