Google bot'ların ne yaptığını takip etmek (PHP)

Eğer PHP ile çalışan bir scriptiniz varsa bu çok da zor değil. Uzun zamandır kullandığım bir kodu sizinle paylaşmak istedim bu gece. Google bot'ları sitenizde mi ? Ne zaman girmişler ? Hangi sayfayı indexlemişler ? Hepsini öğrenmeniz mümkün.

Önemli olan vereceğim kodu kesinlikle "her modülde/sayfada çağırılan (include) bir dosyaya yerleştirmeniz".

Örneğin benim URL'lerim şöyle;

HTML Code:
index.php?sayfa=birinci_sayfa
index.php?sayfa=ikinci_sayfa
index.php?sayfa=konular&baslik=baslik+buradaYani index.php her ziyarette ve her sayfada muhakkak çalışıyor. Sizin index.php'niz hangisiyse bu kodu o dosyaya yerleştirin lütfen.


PHP Kodu:
if (eregi("Google", $_SERVER[HTTP_USER_AGENT])) {
$tarih = date("d/m/Y G:i:s");
$dosya = fopen ("volkan.txt" , 'a') or die ("Dosya açılamadı!");
fputs ( $dosya , "$tarih - $_SERVER[REMOTE_ADDR] - $_SERVER[HTTP_USER_AGENT] - $_SERVER[REQUEST_URI]\n" ) ;
fclose ($dosya);
}

Daha sonra bu kodu yerleştirdiğiniz dosyanın olduğu dizine volkan.txt diye içi boş bir dosya oluşturun. Bu dosyanın chmod ile erişimi 766 yapın.

Tüm işlemleri bitirdikten sonra online olarak botları takip etmek istiyorsanız ve SSH erişiminiz varsa volkan.txt'nin olduğu klasöre gidip
Alıntı:
tail -f bilgi.txt

komutunu uygulayın. Eğer böyle bir imkanınız yoksa FTP'den yahut Web server üzerinden volkan.txt'ye ulaşabilirsiniz.

Not: volkan.txt'yi belli periyodlarda silmenizi yahut bu işi otomatige alacak bir crontab oluşturmanızı tavsiye ederim. Zira volkan.txt nin boyutları büyüdüğünde performans sorunu ile karşılaşabilirsiniz.

Not 2: Bu kod volkan.txt boşken bile çok çok küçük de olsa performans düşüşüne sebep olabilir.

İşte az önceki loglarımdan bir kaçı;


Alıntı:
12/10/2007 5:34:31: 66.249.72.193 - Mozilla/5.0 (compatible; Googlebot/2.1; +Webmaster Help Center) - /ayvayi+yemisim++ben
12/10/2007 5:34:37: 66.249.72.193 - Mozilla/5.0 (compatible; Googlebot/2.1; +Webmaster Help Center) - /oyle+geciyo+icimden
12/10/2007 5:34:39: 66.249.72.193 - Mozilla/5.0 (compatible; Googlebot/2.1; +Webmaster Help Center) - /intensive.html
12/10/2007 5:35:17: 66.249.72.193 - Mozilla/5.0 (compatible; Googlebot/2.1; +Webmaster Help Center) - /erciyes.html
12/10/2007 5:35:37: 66.249.72.193 - Mozilla/5.0 (compatible; Googlebot/2.1; +Webmaster Help Center) - /mavi+duman.html