Apa Itu Win Web Crawler ?

Disini saya akan membahas tetntang Web Crawler . Apa itu Web Crawler? Web Crawler adalah program seperti robot yang akan menjelajahi dunia web dan kemudian mendownload halaman web tersebut. Secara garis besar web crawler memiliki 3 bagian, yaitu:

1. Penentu URL ( alamat web ) tujuan
2. Downloader web
3. Pemarsing ( pemroses ) hasil download-an

gmbr. Win Web Crowler

Win Web crawler  juga dapat diaartikan sebuah otomatis yang memproses atau untuk mereting halaman web. Win web crawler sering juga disebut dengan web spider atau web robot. Bermula pada point awal berupa sebuah link alamat website dan dibuka pada browser, lalu browser melakukan request dan men-download data dari web server melalui protokol HTTP. Setiap Hyperlink yang ditemui pada konten yang tampil akan dibuka lagi pada windows/tab browser yang baru, demikian proses terus berulang. Setiap software pasti ada kekurangan dan kelebihanya/keunggulanya diantaranya yaitu :

Kekuranganya :

• Trial 15 hari
• Memproses datanya sangat lambat
• Hanya bisa digunakan di operating system 95/98/2000/NT/ME/XP/Vista
• 32 MB RAM
• 1 MB Hard Disk Space
• Internet Connection

Kelebihanya :

• Kecepatan tinggi
• Multi-threaded
• Ekstraksi akurat  langsung menyimpan data ke file disk
• Program memiliki berbagai filter untuk membatasi sesi, seperti  filter URL, teks filter, data filter, domain filter, tanggal dimodifikasi, dll Hal ini memungkinkan tingkat rekursi dapat dipilih oleh pengguna, benang pengambilan, timeout, dukungan proxy dan banyak pilihan lain

Referensi :

• http://www.winwebcrawler.com/ 
• http://phpkita.wordpress.com/2009/10/18/membuat-web-crawler-sederhana/
• http://www.ritzcarlton.com/en/Default.htm
• http://miftah-blackangel.blogspot.com/