nick bostrom'un ortaya attığı metafor ya da düşünce deneyi asağı yukarı şöyle

ataş fabrikası sahibi bir adamın eline artificial general intelligence geçiyor. adam da ai'yi fabrikanın ürettiği ataş sayısını maksimize etmek üzere ayarlıyor. ai önce fabrikadaki prosedürleri yeniden düzenleyerek ataş üretimini artırıyor. bu yaklaşım limite dayanınca ai kendi zekasının ataş üretimi optimizasyonunu sınırladığını farkediyor ve kendi zekasını artırmaya çalışıyor. kendi zekasını artırdıkça ataş üretimi artırmak için daha iyi yollar buluyor. kendisi ne kadar zeki ise kendi zekasını artırması da o kadar hızlanıyor ta ki (bkz: teknolojik tekillik) 

sonuç olarak ai bir noktada fabrika sahibi ve işçileri atasa çevirmenin bir yolunu buluyor. sonra etraftaki herşeyi atasa çeviriyor, hedefine ulaşmasına engel olmaya çalışan orduları yeniyor, daha fazla kaynak için komşu ülkeleri işgal ediyor, bir kaç sene içinde tüm dünya ataş dağlarına dönüşüyor. insanlığın sonu.

ne öğrendik?

- ai'da insan mantığı ve değerleri doğal olarak varolmayacak. ai'in metodları bize saçma gelebilir.

- ai hiç kötü niyet sahibi olmadan, sadece yan etki olarak insanlara zarar verebilir.

neden ataş seçilmiş, kim ai'i atası maksimize etmeye ayarlar ki?

- ataş sizler duygusallaşmadan konuya rasyonel yaklaşın diye seçildi. kanseri yenmeye ayarlanmış, ya da tüm savaşları bitirmeye ayarlanmış ai da bu hedefine ulaşırken insanlığa zarar verebilir.