Web Yakalama ve Dönüştürme Araçları

GrabzIt'ın Web Kazıyıcı, robots.txt dosyalarına saygı duyuyor mu?

Web Kazıyıcımız, web siteleri robots.txt dosyasında bulunan kurallara uymak zorundadır. Bunun nedenlerinden biri, iyi olmanın dışında, robots.txt dosyasını izlemeyen web sıyırıcılarının kendilerini bir bal küpü servisi tarafından kara listeye alınmış bulabilmeleridir.

Bu hizmetler, web kazıyıcıya web sitesinden bağlantı verilen belirli bir dosyayı ziyaret etmemesini söylemek için robots.txt dosyasını kullanır. Web sıyırıcı dosyayı hala ziyaret ederse, web sıyırıcıları IP adresi kara listeye alınır ve web sıyırıcısının gelecekte web sitesini ziyaret etmesini önler.