Özel bir link denetleyicisi oluşturun

Grabz's Web Kazıyıcı çok esnek bir web sitesi bağlantılarını kontrol etmek ve kopuk bir raporlama yapmak gibi çeşitli çevrimiçi görevleri yerine getirmesine izin verir.

Yapılacak ilk şey sıyrık ve kontrol etmek istediğiniz hedef web sitesini atayın, ardından sıyırma talimatları için aşağıdaki kodu kullanın.

        var urls = Page.getTagAttributes('href', {"tag":{"equals":"a"}});
        urls = Utility.Array.unique(urls);
        urls = Utility.Array.filter(urls, Data.readColumn("Links", "URL"));

        for (i = 0; i < urls.length; i++) 
        {
          var url = urls[i];

          Data.save(Page.getUrl(), "Links", "Found On");
          Data.save(url, "Links", "URL");

          if (Utility.URL.exists(url))
          {
            Data.save("Found", "Links", "Result");
          }
          else
          {
            Data.save("Missing", "Links", "Result");
          }
        }
    

İlk satır var urls = Page.getTagAttributes('href', {"tag":{"equals":"a"}}); tüm köprü URL'lerini ayıklar ve bunları urls değişken. Bir sonraki satır Utility.Array.unique URL'leri benzersiz yapma yöntemi.

Üçüncü satır, daha önce alınmış olan URL’leri okuduğumuzdan, bağlantıların iki kez kontrol edilmemesini sağlar saved ve çıkarılan bağlantıları buna göre filtreleyin. Her sayfanın kaydedilmesini istediğiniz bir bağlantının kopmasını istiyorsanız, bu satırı silin.

URL verileri temizlendikten sonra, kalan URL’lerin her birine veri kümesi URL’yi kullanarak URL’nin olup olmadığını kontrol etmeden önce Utility.URL.exists yöntem. Bu kontrolün sonucu da saveVeri kümesinde d.

Alternatif olarak, kodu değiştirerek web sitelerinin görüntülerinin olup olmadığını kontrol edebilirsiniz. Page.getTagAttributes('href', {"tag":{"equals":"a"}}); ile Page.getTagAttributes('src', {"tag":{"equals":"img"}});.