Web Yakalama ve Dönüştürme Araçları

GrabzIt'ın Web Kazıyıcı, robots.txt dosyalarına saygı duyuyor mu?

Web Kazıyıcımız, bir web sitesinin robots.txt dosyasında bulunan kurallara uymak zorundadır. Bunun ana nedenlerinden biri, iyi niyetli olmanın dışında, robots.txt dosyasını takip etmeyen web kazıyıcıların kendilerini bir honeypot hizmeti tarafından kara listede bulmasıdır.

Bu hizmetler, bir web kazıyıcıya web sitesinden bağlantı verilen belirli bir dosyayı ziyaret etmemesini söylemek için robots.txt dosyasını kullanır. Web kazıyıcı hala dosyayı ziyaret ederse, web kazıyıcının IP adresi kara listeye alınır ve web kazıyıcının gelecekte web sitesini ziyaret etmesi önlenir.