Google, İnternet Sitelerini Tarayıp Nasıl ve Neye Göre Listeliyor?
google, internet sitelerini tarayıp index'liyor. peki nasıl? neye göre? googlebot ile tabii ki.
googlebot dediğin şey sadece “sayfayı tarayan bir bot” değilmiş. ben sanıyordum ki gelir html’ye bakar, bitti gitti. meğersem olay bambaşka.
googlebot sayfayı bir mobil cihaz gibi açıyor, javascript çalıştırıyor, açılır menüleri tıklıyor, lazy-load görselleri yüklüyor, hatta “butona basınca içerik çıkıyor mu” diye etkileşim simülasyonu yapıyor. yani resmen bir kullanıcı gibi davranıyor.
mobil tarayıcıyı taklit ederek geliyor ve senin sayfanı “insan gibi” test edip “bu site ne kadar kaliteli, güvenilir, okunabilir?” kararını ona göre veriyor.
daha ötesi ne, biliyor musun? css’le gizlediğin linkleri, görünmez keyword’leri, js ile sonradan gelen çakallıkları çıplak gözle görüyor. hani bu rengini arka plana benzeştirip müstehcen site linki satan çakalları da gözetliyormuş yani. ve sana hiçbir şey söylemeden cezanı kesiyor sonra da.
googlebot bir algoritma değilmiş. tam teşekküllü bir dijital ajanmış. gizli gizli geliyor, inceliyor, not alıyor, değerlendiriyor, ve seni “hak ediyorsan” indexliyor. yoksa da ya indexlemiyor ya da tamamen indexlerini google'dan kaldırıyor.