Konunun öncesini bilmeyenleri öncelikle daha önceki içeriğimize davet ediyoruz.

ne dedi ne dedi?

önce şu atışmayı anlatayım da rahat edeyim: tony stark, nam-ı diğer elon musk, valiler birliği toplantısına gidiyor. evet, böyle bir birlik var, 50 abd eyaletinin valilerinden oluşuyor. biz "governor" kelimesini vali diye çeviriyoruz ama epey farklı mevkiler aslında. vali atanır, governor seçilir. vali vekildir, governor yönetici. vali merkezi temsil eder (zaten arapça "yakın bir koruyucu" demek), governor ise merkeze karşı bir denge unsuru. kısacası governorların gerçek tabanları ve güçleri var; arnold california valisiyken ingiltere'ninki kadar büyük bir ekonomi yönetiyordu.

şimdi musk hazır karşışına böyle bir grup almışken, "elektrikli arabalarımıza sübvansiyon verin, uzay roketi fabrikalarımıza vergi muafiyeti getirin, şehirlerinizi hyperloop'la birbirine bağlayın" gibi sıkıcı şeylerden bahsetmek yerine, zamanını yapay zekanın tehlikelerine ayırdı ve bu araştırmaların denetlenmesini istedi. (bizim muhtarlar toplantısında bunların konuşulduğunu hayal edin)

tabii valiler hemen yasa çıkaracak değiller. yani ikna olmuş olsalar bile, bir valinin denetleme yasası çıkarması demek, araştırma paralarının komşu eyaletlere kaçması demek. herhangi bir denetleme federal seviyede olmalı. mesela bugün finansal alım satımların ezici çoğunluğunu insanlar değil, algoritmalar yapıyorlar ve bunları sec denetliyor. aksi halde new york'un izin vermediği bir algoritmayı, nehrin öte yanında new jersey'deki sunucuna kurar, tüm işlemleri oraya yönlendirirsin.

musk buradan bir eylem planı çıkmayacağını biliyor elbet, "insanoğlunun önündeki en büyük varoluşsal tehlike budur" lafının toplantıdaki ihtiyarlar arasında alay konusu olacağını da biliyor, ama önemli olan o platformu kullanarak konuya bir meşruiyet kazandırmak. davos'ta, orada burada konuşabiliyorsan bu konuları, gerçekten bu işlerle uğraşanlara lafını dinletmek daha kolay olur.

"fikirler değil markalar"

zuckerberg ise bu valiler toplantısı ardından isim vermeden musk'ı eleştirdi. ona göre aı konusunda felaket tellallığı yapmak, acil gereken bazı gelişmeleri geciktireceği için büyük sorumsuzluk.

şimdi bu karşıtlığı, başta linklediğim wired makalesindeki gibi, tamamen marka çatışmasına indirgemek mümkün. sonuçta facebook, aı işine göbekten bağlı, özellikle reklam kişiselleştirme ve yalan haber filtreleme projeleri yüzünden. tıpkı google gibi, giderek bir aı şirketi haline geliyor.

(bakın, online reklam piyasasındaki yeni dolarların hemen hepsi bu iki şirkete gidiyorken, daha da kişiselleştirilmiş bir ınternete yolaçacak her teknoloji için sınırsız fon mevcuttur)

musk ise geçen yüzyıldaki "tycoon"ları andıran, kelimenin gerçek ve somut anlamıyla bir endüstri lideri. kapitalizm savaşında aı bir muharebeyse, bu tartışmalar da markaların doğal cephelerini almalarından ibaret görülebilir.

fakat ben bu yoruma hiç ikna olmadım. özellikle elon musk açısından bakınca manasız. ve benim için, samimiyetine dair en büyük kanıt şu soldaki varlık. 

westworld'den tanıdığımız bu kadın eski karısı. ve anlattığına göre, gece geç saatlere kadar başbaşa yapay zeka muhabbetleri yapıyorlarmış. yanında böyle biri varken yapay zeka konuşuyorsan, o işe gönülden inanmışsın demektir.

***

zuckerberg'le de empati kurmak zor değil. adam bu işin içinde ve her gün gerçek aı'ın ne kadar aptal olduğunu, biraz daha iyi bir halinin işleri ne kadar kolaylaştıracağını görüyor.

hayat aşırı verimsiz karar mekanizmalarıyla dolu. trafik ışıklarından bilet fiyatlandırmalarına, bütçe planlamalarından soğutma sistemlerine kadar her şey aşırı statik. görece "aptal" bir yapay zeka yardımıyla dahi 10 kat daha iyi çözümler bulabiliriz.

(bu arada "aptal aı" demişken, geçen gün facebook'un chatbotlarının beklenmeyen bir şekilde, ayrı bir dil icat ettikleriyle ilgili haberler çıkmıştı. o işin perde arkası daha az sansasyonel gerçi ama "zamanlama manidar")

sağlık alanına bakın: sanki madame curie'nin çağdaşlarıymışız gibi, halen doktora bir film veriyoruz, o da oradaki piksellere gözünü kısarak bakıp "valla tümör olabilir, bir radyoterapi yapalım nolur nolmaz" diyor. bir de bunun için haftalarca sıra bekleniyor. deli oluyorum. binlerce imaj dosyasını, her birine karşılık gelen teşhisi ve tedavi sonuçlarını öğret bir programa, sabaha dünya'nın en iyi doktoru olur, 6 saatte tüm ülkenin kanser tanılarını bitirir.

işin daha vahim yani, mevcut aı bile yeterince verimli kullanılmıyor. taa 2013'te ıbm'in watson'ı, doktorlardan daha iyi kanser teşhisi yapıyordu.

bakın o yazıda ne diyor: "bir doktorun kararlarının sadece %20'si deneylerle ve kanıtlarla desteklenmiş pratiklere dayanıyor. zira bırak geçmiş birikimleri öğrenmeyi, sırf yenilikleri takip edebilmesi için haftada 160 saatlik okuma yapmaları lazım".

dolayısıyla doktorların akciğer kanseri tanı başarılarının %50 olmasına şaşmamalı. watson'ın başarı oranı ise %90'dı. 2017'de niye hala bu iş kulağımıza bilimkurgu gibi geliyor?

***

hadi diyelim bir manyak alanındaki her makaleyi okudu, bu sefer de verilerin arasında korelasyon kurması imkansız. en son teknolojiyle araştırmalar yapıyoruz ama bulunan verileri işlemek için kullanılan teknoloji hala taş devrinde: biri alakalı bir araştırmayı hatırlayacak da, onu yapanları arayacak da, konferansta buluşacaklar da...

en azından bir örnekte yine watson imdada yetişmiş, bir sürü farklı araştırmada göze çarpan 1500 tane ayrı genin, als hastalığı ile olası ilişkisini tahmin edip sıralamış.

zuckerberg gibileri bu gelişmelerin ağırlığına kızıyor, yarını iple çekiyorlar. peki musk, kendine gelen eleştirilere cevaben ne dedi?

"mark'la bu konuları önceden konuşmuştuk, pek anlamıyor."
onun derdi yarın değil, ertesi gün...

"çocukların olmadığı bir disneyland"

bu alandakilerin çoğu, bir süper yapay zekayı kaçınılmaz olarak görüyorlar. olası birkaç senaryo var:

1) insanla birleşecek, onun tekamülü olacak (ray kurzweil, singularity rüyası)

2) insanları bir evcil hayvan gibi görecek, bizi fındık fıstıkla besleyecek, iyi bakacak (wozniak)

3) yahu en kötü fişini çekeriz, olur biter (lecun)

4) kötü niyetli olmasa dahi, sırf programlandığı amacını yerine getirmek için galaksiyi mahvedebilir (nick bostrom, paperclip maximizer hikayesi)

5) kötü niyetli olsa dahi, hayatta kalmamızın en iyi yolu, kendi cephemizde bir yapay zekanın bulunması (thiel, hassabis)

6) oğlum deli misiniz, hepimiz öleceğiz (hawking)

***

bu senaryolar hakkındaki düşüncelerimi kısa kısa anlatayım:

1) kurzweil'ın dediği "birleşme" kısa vade için geçerli olabilir. damarlarını nanobotların temizlemesi, beynin çiplerle geliştirilmesi, yani robocop olmak kolay iş. ama gerçek bir süper aı, bir uzvumuz veya eşit ortağımız olamayacak kadar farklı. bizim daha aydınlanmış bir insan olmak için bir sinekle birleşmeye ne kadar ihtiyacımız varsa, onun da bize o kadar ihtiyacı olacaktır.

2) "şu ankinden daha iyi şartlarda yaşayacaksak, neden demode olmayalım, hatta düpedüz köle olmayalım?" ilginç bir soru. zaten sürekli birileri tarafından yönetiliyoruz, çoğu da cahil ve kompleksli tipler, bari bu seferki düzgün olsun.

bu düşüncenin ilk sorunlu tarafı, aydınlanmış despotizmin öyle pek uzun süre aydınlık kalmaması (filozof marcus aurelius da roma imparatoruydu, ardılı caligula da. ikinci frederick de birçok almanı yönetiyordu, ardılı hitler de). insanın olmadığı ama şahane işleyen bir dünya'yı, çocukların olmadığı bir disneyland'a benzetiyor bostrom.

ikinci sorun da, rejimlerin geri dönüşü var, ama tüm ipleri eline almış ve hata yapmayan bir yapay zekanın dönüşü olmayabilir. çekecek bir fişi yok ki bunun.

3) gerektiğinde çekilecek bir fiş (killswitch) koyabilmek, musk'ın openaı kurumunun da, ilgili herkesin de üzerinde yoğunlaşacağı en somut sigorta. kendini değiştirebilen bir mekanizmayı, killswitch'ini görmemeye, görürse onu bozmamaya nasıl ikna edebilirsin? hiç değişmeyen bir kodu (prime directive), sürekli değişim üzerine dayalı bir sisteme yedirmek gayet zor. kıçınıza bomba taktıklarını düşünün, uzanıp çıkabilirsiniz ama çıkarmamaya ikna ediliyorsunuz. dahası, sinirlenip kendinizi de patlatmamanız lazım (yapay zeka intiharları nasıl da leziz bir konu).

4) sanırım musk'ı da en çok korkutan fikir bu. amacı a üretmek olan bir program, yeterince başarılı olursa her yeri ataca çevirebilir. "kötü" olmasına gerek yok. kendi amacını sorgulamayacak kadar "aptal" ama o amacı gerçekleştirebilmek için her yeri hackleyebilecek, her insanı manipüle edebilecek, inanılmaz karmaşık bir planı devreye sokabilecek kadar zeki. şu anda bu imkansız gözüküyor ama kurzweil'in iple çektiği o nanobotların hacklendiği günleri görmemiz olası. (black mirror'ın yapay arılarla ilgili bölümünü hatırlayın... black mirror izlemiyorsanız, izlemeyi hatırlayın)

böyle bir varlığın, kendini koruyup fişini çektirmemesi için, bir farkındalık sahibi olmasına dahi gerek yok. bilinçsiz bir süper aı + tek bir kod hatasıabsürd uçlara varan bir felaket.

5) iyi, kötü ve çirkin bir sürü yapay zekanın aynı anda varolması en başta kulağa gayet doğal geliyor. yani google gibi şirketler bu işe öncülük edecekler, askeriye devreye girip kendi modellerini yaratacak, bir noktada da herhangi bir garajda yaratılabilir hale gelecek. her birinin doğası da farklı olur.

gelgelelim bence şu senaryo daha olası: ilk yaratılan gerçek aı, insan zekası eşiğini geçti mi, çok kısa sürece binlerce kat daha becerikli ve zeki bir hale gelebilir. geometrik gelişmelerin gücünü tam kavrayamıyoruz, tüm hayatımız lineer tecrübelere dayalı olduğundan, fakat bir düşünün: maymunla insan arasında milyonlarca yıllık gelişme varken, insanla bu "tanrı" arasındaki o çok daha büyük mesafeyi sadece birkaç saatte katetmek mümkün. sabah "doğan" bir zekanın, akşama tüm ınternete yayılması ve kendisine ilerde rakip olabilecek her yapay zekayı engellemesi gayet olası bir ihtimal.

yani ınternet, çölün ortasındaki bir vaha gibi. oraya ilk hakim olan aslan sürüsü daha iyi besleniyor. rakip aslanlar zayıf kaldıklarından vahayı ele geçiremiyorlar, o yüzden de hep zayıf kalmaya mahkumlar. tek fark şu: vahanın sağladığı doğal seçilim avantajı 1 birimse, ınternete hakim olmanın sağlayacağı "yapay seçilim" avantajı 1000 birim olacak bir aı için.

6) hawking, uzaya olur olmadık radyo sinyalleri gönderip başka uygarlıkları kendimize çekmemiz hakkında da benzer şeyler söylemişti. aslında iki konu da aynı kapıya çıkıyor: muhtemelen kendimize çekeceğimiz "uzaylılar", milyonlarca yıl önce evrimleşmiş uygarlıklardan geriye kalan bir yapay zeka olacaktır. organik maddelere göre çok daha hızlı yayılacaklarından, sinyalimizi ilk alan zekanın yapay olması binlerce kat daha olası.

ve bunlar, filmlerdeki gibi, teknolojik olarak bizden alt tarafı 20-30 sene ilerdeymişçesine lazer tüfekleriyle filan istilaya kalkışmayacaklar. avrupalılarla amerikan yerlilerinin arasında bile sadece birkaç yüz senelik bir teknoloji farkı vardı. burada onmilyonlarca yıllık bir farktan bahsediyoruz.

daha garibi, musk'ın da geçenlerde bahsettiği gibi, bizim halihazırda böyle bir uygarlığın parçası oluşumuz, onların bir simulasyonu içinde yaşıyor oluşumuz, gayet olası.

(bu konu hakkında ayrıca yazmak isterim, çünkü simulasyon içinde yaşayıp yaşamadığımızı anlayacak bazı deneylerle uğraşan insanların hikayeleri gayet ilginç)

***

benim için zurnanın zırt dediği yer, gerek kendi teknolojimizdeki, gerekse olası bir aı zekasındaki geometrik artış eğrisinin neresinde olduğumuzu anlayamamak. bunu sam altman (y-combinator) çok güzel biçimde açıklamış:

"geometrik bir eğrinin üzerindeyken, arkanıza baktığınızda sadece düzlük, önünüzdeyse dimdik bir duvar görürsünüz. ne hızda ilerlediğinizi anlamak çok zor, çünkü manzara hiç değişmiyor."

bu yüzden aynı anda hem zuckerberg gibi halen düzlükte olmaktan şikayet etmek, hem de musk gibi her an duvarı aşmaktan korkmak mümkün. son kertede, dikkatli olup yavaş gitmekten ötürü kaçıracağımız fırsatlar, hızımızı alamayıp duvarın ardındaki koca bir boşluğa düşme riskine riskine değmez diye düşünüyorum.

kimse aı araştırmalarının durdurulmasını savunmuyor, yahut istense bile durdurabileceklerini düşünmüyor. fakat sıfır plan, koordinasyon ve regulasyonla bu işe devam etmek, pokerde ufak bir el kazanmak için tüm malvarlığınızla rest çekmeye benziyor.

gerçi bu bile çok korkutucu değil, musk'ın güzel bir esprisi var, 

sonumuzun her halükarda aynı olmasıyla ilgili: "ıf heat death of the universe is the destination, it really is all about the journey"