Web Crawler

21.07 Administrator

Web Crawler adalah sebuah program/script otomatis yang memproses halaman web.
Sering juga disebut dengan web spider atau web robot. Ide dasarnya sederhana dan mirip dengan saat anda menjelajahi halaman website anda secara manual dengan menggunakan browser. Bermula pada poin awal berupa sebuah link alamat website dan dibuka pada browser, lalu browser melakukan request dan mendownload data dari web server melalui protokol HTTP.

Setiap Hyperlink yang ditemui pada kontek yang tampil akan dibuka lagi pada windows/tab browser yang baru, demikian proses terus berulang. Nah, sebuah Web Crawler mengotomisasi kan pekerjaan itu.

Kesimpulannya, dua fungsi utama Web Crawler adalah ..

1. Mengidentifikasikan hyperlink.
   Hyperlink yang di temui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah crawlfrontier.

2. Melakukan proses kunjungan secara rekursif.
    Dari setiap hyperlink, Web Crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan yang disesuaikan dengan keperluan aplikasi.