Daftar Web Crawler

21.34 Administrator

Beberapa contoh Web Crawler.

1. Teleport Pro.

Salah satu software Web Crawler untuk keperluan offline browsing. Software ini sudah cukup lama populer, terutama pada saat koneksi internet tidak semudah dan secepat sekarang.
Software ini berbayar dan beralamat kan disini.

2. HTTrack.

Ditulis dengan menggunakan C, Seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada hardisk anda, agar dapat dilihat secara offline.
Yang menarik, software ini free dan dapat di download pada website resmi nya disini.

3. Googlebot.

Merupakan Web Crawler untuk membangun index pencarian yang digunakan oleh Search Engine Google.

Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa googlebot. Walau konsekuensinyya sebagian bandwidth anda akan tersita karena proses crawling ini.

4. Yahoo!Slurp.

Kalau Google bot adalah Webcrawler andalan Google maka search engine Yahoo! mengandalkan Yahoo!Slurp, teknologinya dikembangkan oleh Inktomi Corporation yang di akuisi Yahoo!.

6. yaCy.

Sedikit berbeda dengan Web crawler di atas, YacY di bangun atas prinsip jaringan P2P (Peer To Peer), Di develop dengan menggunakan Java, dan di-distribusikan pada beberapa ratus mesin komputer (Disebut YaCy peers).
Tiap tiap peer di share dengan prinsip P2P untuk berbagi index sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy adalah Sciencenet, untuk pencarian dokumen di bidang sains