Google botlarının görmesini istemediğiniz dosya veya klasörleri robotx.txt dosyasıyla erişimine kapatabilirsinizin. Aşağıdaki izinleri boş bir text dosyasına kopyalayıp gözükmesini istemediğiniz dosya veya klasörleri eklemeniz yeterlidir. Sonrasında ana diine yükleyip adını robotx.txt olarak düzenleyin. İşlem sonrası belirlediğiniz klasör ve dosyaları google botları erişemez.
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /mod/
Disallow: /gibi/
Disallow: /gibi/