1.Teleport Pro
Salah satu software web crawler untuk keperluan
offline browsing. Software ini sudah cukup lama popular, terutama pada saat
koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan
beralamatkan di http://www.tenmax.com.
2.HTTrack
Ditulis dengan menggunakan C, seperti juga Teleport
Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi
sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang
menarik software ini free dan dapat di download pada website resminya di
http://www.httrack.com
3.Googlebot
Merupakan web crawler untuk membangun index pencarian
yang digunakan oleh search engine Google. Kalau website anda ditemukan orang
melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau
konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling
ini.
4.Yahoo!Slurp
Kalau Googlebot adalah web crawler andalan Google,
maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan
oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.
5.YaCy
Sedikit berbeda dengan web crawler lainnya di atas,
YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan
menggunakan java, dan didistribusikan pada beberapa ratus mesin computer
(disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi
index, sehingga tidak memerlukan server central. Contoh search engine yang
menggunakan YaCy ialah Sciencenet, untuk pencarian dokumen di bidang sains.
Sumber
Tidak ada komentar:
Posting Komentar