Web Archive

Web Archive adalah Sebuah file format terkompresi, didefinisikan oleh Java EE standar, untuk menyimpan semua sumber daya yang diperlukan untuk menginstal dan menjalankan aplikasi Web dalam satu file.

Cara Kerja Web Archiving

Yang paling umum web pengarsipan teknik menggunakan web crawler untuk mengotomatisasi proses pengumpulan halaman web. Web crawler biasanya mengakses halaman web dengan cara yang sama dengan yang dilakukan user yang menggunakan web browser untuk menemukan website yang ingin dicari.

Contoh Web Archive

Local Website Archive

Aplikasi inilah yang memampukan kamu dapat dengan cepat untuk menyimpan dan mengarsipkan secara lengkap halaman web, disertai dengan keseluruhan gambar untuk tujuan digunakan sebagai referensi. Kamu dapat mengorganisasir arsip halaman web ke dalam kategori-kategori yang relevan atau sejenis, dan dapat menggunakan built-in browser display untuk menampilkannya secara offline.

Sebagai tambahan, kamu juga dapat melakukan pencarian keseluruhan halaman web yang tersimpan melalui penggunaan keyword, serta dapat melakukan ekspor secara keseluruhan ataupun beberapa item saja yang terseleksi ke dalam sebuah file executable selfextracting. File tersebutlah yang dapat digunakan untuk mengirimkan koleksi-koleksi kamu tersebut kepada teman, ataupun melakukan transfer ke sebuah komputer berbeda.

Sumber

http://lintartamara.blogspot.co.id/2013/04/analisis-web-pengukuran-web-crawler.html

Sejarah Search Engine

Sejarah Lahirnya Search Engine (Mesin Pencari) Perkembangan search engine berawal dari diciptakannya perangkat lunak yang bernama Archie oleh Alan Emtage, seorang mahasiswa dari Universitas McGill, Montreal, Kanada, pada tahun 1990. Perangkat lunak Archie mampu mengindex file-file terdapat pada FTP server publik. Ini merupakan aplikasi pertama yang digunakan untuk mencari informasi di internet, sehingga Archie dinobatkan sebagai nenek moyang dari search engine. Search engine berikutnya adalah Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) dan Jughead (Jonzy’s Universal Gopher Hierarchy Excavation And Display), yang mampu mengindex halaman-halaman plain text yang terdapat pada server gopher.

World Wide Web Wanderer merupakan aplikasi search engine pertama yang menggunakan teknologi robot dalam melakukan proses indeks halaman-halaman web yang terdapat pada web server. Aplikasi ini dirintis oleh Matthew Gray, seorang mahasiswa dari MIT, namun sayang, aplikasi ini menimbulkan kontroversi, karena akibat dari kinerja robot ini menghabiskan bandwith yang sangat besar. Berikutnya, pada tahun 1993, Martijn Koster membuat ALIWEB (Archie-Like Indexing of the Web). ALIWEB mengizinkan pengguna internet untuk men-submit halaman webnya untuk di indeks dengan teknologi kumpulan meta-data Aplikasi-aplikasi diataslah yang menginspirasi lahirnya teknologi-teknologi search engine yang baru, mulai dari munculnya website search engine webcrawler, yahoo, lycos, altavista, excite, hotbot, alltheweb, google, baidu dan banyak lagi yang lainnya.

Sumber

https://rizkavirgiliaputri.wordpress.com/2015/05/15/searcing-engine/

Sejarah dan Perkembangan SEO

Sejarah dan Perkembangan SEO, istilah Search Engine Optimization/SEO pertama kali dikemukakan karena muncul vitus spam yang telah menyusup ke Usenet. Pada waktu itu, dunia internet belum memilii sistem search engine atau mesin pencari yang canggih seperti saat ini, sehingga mudah dimanipulasi oleh para hacker.

Oleh karena itu, banyak para programmer yang berlomba-lomba untuk membuat algoritma sistem pencarian data, yang didasarkan sepenuhnya pada informasi meta tag dari kode html sebuah situs website. Meta tag menyediakan informasi tentang konten atau isi dalam suatu halaman web, dengan serangkaian kata kunci atau keyword.

Namun, ada beberapa programmer yang melakukan tindakan ilegal, dengan menuliskan kata kunci yang tidak sesuai dengan konten situs yang sesungguhnya, sehingga situs mesin pencari salah menempatkan peringkat pada situs tersebut. Selanjutnya menimbulkan kerugian, baik bagi mesin pencari maupun bagi pengguna internet yang mengharapan hasil yang relevan.

Seiring dengan berjalannya waktu, 2 orang pendiri Google yang bernama Larry Page dan Sergey Brin berusaha untuk membangun Backrub, yaitu sebuah mesin pencari sederhana yang mengandalkan perhitungan matematika untuk membuat peringkat sebuah halaman website, algoritma tersebut dinamakan PageRank

Algoritma PageRank

Mampu menjalankan fungsi matematika yang kompleks untuk mengitung jumlah link yang mengarah pada suatu halaman website, dengan menganalisa kualitas masing-masing link tersebut. Backrub hanyalah sebuah permulaan. Pada tahun 1998, Larry Page dan Sergey Brin mendirikan google yang merupakan versi tingkat lanjut dari backrub.

Dalam waktu yang singkat GOOGLE memperoleh reputasi yang tinggi dan kepercayaan dari publik pengguna internet karena berhasil menyajikan hasil pencarian yang berkualitas, cepat dan  relevan. Selanjutnya PageRank menjadi standar, baik bagi mesin pencari lain maupun bagi webmaster yang berusaha agar situs webnya memperoleh nilai PageRank tertinggi pada hasil pencarian.

Sumber

http://lenteratulisan.blogspot.co.id/2016/04/sejarah-dan-perkembangan-seo.html

Prinsip kerja search engine

Setelah sebelumnya ada mengetahui pengertian dari search engne Berikut kita akan membahas  beberapa istilah dari sistem kerja mesin pencari yang perlu anda ketahui di antaranya adalah

1.Spider

Spider adalah program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedannya adalah bahwa browser menapilkan secara langsung informasi yang ada baik yang berupa teks, gambar,file,video dll Untuk kepentingan manusia yang menggunakannya pada saat itu,

Spider sendiri tidak melakukan untuk menampilkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, Robot spider dijalankan oleh mesin secara otomatis. Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya dan disimpan kedalam database yang dimiliki oleh search engine.

2.Crawler

Crawler adalah M program yang dimiliki mesin pencari untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya Crawler adalah untuk menentukan spider harus pergi kemana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh search engine.

3.Indexer

indexer merupakan Komponen yang melakukan aktivitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsur, seperti teks, headers, struktur atau fitur dari gaya penulisan, tag HTML khusus, dan lainnya.

4.Database

Database adalah tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, di-download dan sudah dianalisis. terkadang disebut juga dengan index dari suatu search engine.

5.Result Engine

Result Engine adalah Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada search engine. Mesin ini menentukan halaman mana yang menemui kriteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampulan yang akan ditampilkan.

Proses result engine ini dilaksanakan berdasarkan algoritma perangkingan yang dimiliki oleh mesin pencari tersebut,Para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh serach engine tersebut.

6.Web Server

Web Server adalah komponen yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web Server ini menghasilkan informasi atau dokumen dalam format HTML. Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web Server juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada komputer yang meminta informasi.

Sumber

http://www.ekonomi-kreatif.com/pengertian-search-engine/

Perkembangan Search Engine

Search Engine atau Mesin Pencari adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladendalam suatu jaringan. Search engine merupakan perangkat pencari informasi dari dokumen-dokumen yang tersedia. Hasil pencarian umumnya ditampilkan dalam bentuk daftar yang seringkali diurutkan menurut tingkat akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi atas data yang tersimpan dalam suatu basisdata ataupun direktori web.

Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritma kepemilikan dan basis data tertutup, di antaranya yang paling populer adalah Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor dan OpenFTS.

Saat awal perkembangan internet, Tim Berners-Lee membuat sebuah situs web yang berisikan daftar situs web yang ada di internet melalui peladen web CERN. Sejarah yang mencatat sejak tahun 1992 masih ada hingga kini. Dengan semakin banyaknya situs web yang aktif membuat daftar ini tidak lagi memungkinkan untuk dikelola oleh manusia. Utilitas pencari yang pertama kali digunakan untuk melakukan pencarian di internet adalah Archie yang berasal dari kata "archive" tanpa menggunakan huruf "v". Archie dibuat tahun 1990 oleh Alan Emtage, Bill Heelan dan J. Peter Deutsch, saat itu adalah mahasiswa ilmu komputer Universitas McGill, Amerika Serikat. Cara kerja program tersebut adalah mengunduh daftar direktori serta berkas yang terdapat pada layanan ftp publik (anonim) kemudian memuatnya ke dalam basisdata yang memungkinkan pencarian.

Mesin pencari lainnya seperti Aliweb, muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset di tahun 1994.

Segera setelah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista. Masing-masing bersaing dengan menambahkan layakan-layanan tambahan seperti yang dilakukan oleh Yahoo.

Tahun 2002 Yahoo! mengakuisisi Inktomi, setahun kemudian mengakuisisi AlltheWeb dan Altavista kemudian meluncurkan mesin pencari sendiri yang didasarkan pada teknologi gabungan dari mesin-mesin pencari yang telah diakuisisinya serta memberikan layanan yang mengutamakan pencarian Web daripada layanan-layanan lainnya.

Di bulan desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya. Mesin ini memiliki banyak fungsi baru dan tingkat unjuk kerja yang jauh lebih baik.

Mesin pencari juga dikenal sebagai target investasi internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan mesin pencari yang masuk ke dalam pasar saham diketahui mencatat keuntungan besar. Sebagian lagi sama sekali menonaktifkan layanan mesin pencari, dan hanya memasarkannya pada edisi-edisi enterprise saja, contoh Northern Light sebelumnya diketahui merupakan salah satu perintis layanan mesin pencari di internet.

Buku Osmar R. Zaïane From Resource Discovery to Knowledge Discovery on the Internet menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google. Mesin-mesin pencari lainnya mencakup a9.com, AlltheWeb, Ask Jeeves, Clusty, Gigablast, Teoma,Wisenut, GoHook, Kartoo, dan Vivisimo.

Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala/link yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.

Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.

Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.

Ada jenis mesin pencari lain: mesin pencari real-time, seperti Orase. Mesin seperti ini tidak menggunakan indeks. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal: informasi selalu mutakhir, (hampir) tak ada pranala mati, dan lebih sedikit sumber daya sistem yang diperlukan. (Google menggunakan hampir 100.000 komputer, Orase hanya satu.) Tetapi, ada juga kelemahannya: pencarian lebih lama rampungnya.

Manfaat mesin pencari bergantung pada relevansi hasil-hasil yang diberikannya. Meskipun mungkin ada jutaan halaman web yang mengandung suatu kata atau frasa, sebagian halaman mungkin lebih relevan, populer, atau autoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan berbagai metode untuk menentukan peringkat hasil pencarian agar mampu memberikan hasil "terbaik" lebih dahulu. Cara mesin menentukan halaman mana yang paling sesuai, dan urutan halaman-halaman itu diperlihatkan, sangat bervariasi. Metode-metode nya juga berubah seiring waktu dengan berubahnya penggunaan internet dan berevolusinya teknik-teknik baru.

Sebagian besar mesin pencari web adalah usaha komersial yang didukung pemasukan iklan dan karenanya sebagian menjalankan praktik kontroversial, yaitu membolehkan pengiklan membayar agar halaman mereka diberi peringkat lebih tinggi dalam hasil pencarian.

Sumber

http://rajivraa.blogspot.co.id/2013/10/sejarah-dan-perkembangan-search-engine.html

PENGUKURAN WEB

Di bawah ini ada beberapa tools yang digunakan untuk mengeukur website dari segi kecepatan akses dan performanya, serta mengukut banyaknya pengunjung suatu website, berikut ini penjelasan mengenai beberapa tools yang digunakan untuk mengukur kecepatan akses website.

1. Pingdom Tools merupakan sebuah alat ukur kecepatan website dapat di akses, nilai dari sebuah website, dan berapa ukuran dari sebuah website tersebut.

Beberapa kelebihannya di kategorikan sebagai berikut  :

Performance Grade : melihat nilai kecepatan performa halaman web, dari akses DNS, browser cache, combine external css dan lain-lain.

Waterfall : melihat detail kecepatan akses ketika membuka halaman web, dari gambar bahkan sampai seberapa cepat script tersebut dapat di akses.

Page Analysis : melihat detail analisa halaman web.

History : melihat detail akses dari beberapa hari lalu.

Kekurangan yang terdapat pada tools ini, sama seperti tools alat ukur akses web pada umumnya yaitu Membutuhkan akses internet yang stabil, karena tidak mungkin kita bisa mengukur kecepatan akses suatu website kalau akses internet kita terhadap website tersebut tidak stabil/berjalan dengan baik.

2. GTmetrix adalah website untuk menganalisa kecepatan web yang tersedia secara gratis, dengan menggunakan google page speed dan Yahoo Yslow sebagai analyze engine dan untuk menampilkan hasil serta rekomendasi yang harus dilakukan.

Dengan GTmetrix juga dapat membandingkan beberapa URL sekaligus dan jika mendaftar sebagai anggota maka dapat:

-          Melihat tes sebelumnya untuk membandingkan hasilnya

-          Menjadwalkan cek website secara otomatis

-          Menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak

Kelebihan GTmetrix :

-          Dapat menggunakan google page speed dan YSLOW sebagai analyze engine

-          Dapat membandingkan beberapa URL sekaligus

-          Menjadwalkan cek website secara otomatis

-          Dapat menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak.

Kekurangan GTmetrix :

-          Jika menggunakan GTmetrix harus menggunakan internet yang cepat.

3. Alexa Rank

Alexa Internet, Inc. adalah perusahaan yang berbasis di California yang mengoperasikan situs yang menyediakan informasi mengenai banyaknya pengunjung suatu situs dan urutannya. Alexa Internet didirikan pada tahun 1996 oleh Brewster Kahle dan Bruce Gilliat. Cara kerja Alexa rank Alexa memberikan peringkat ke sebuah situs berdasarkan jumlah pengunjung unik. Semakin rendah alexarank dari situs berarti situs memiliki sedikit pengunjung unik.Jadi jika Anda bisa mendapatkan lebih banyak traffic ke situs Anda, Anda akan mendapatkan lebih rendah alexa rank.

 Kelemahan Alexa:

1. Jika pengguna internet (pengakses situs anda tidak menginstal Alexa Toolbar di browsernya) maka sekalipun ada 1000 pengunjung situs anda dalam sehari, Alexa akan tetap menilai situs anda tidak ada pengunjungnya.

2. Jika dalam sehari ada yang mengakses situs anda 20 kali dengan alamat IP (Internet protocol) yang sama, maka akan dianggap situs anda hanya dikunjungi oleh 1 satu orang hanya dapat poin 1, akan berbeda jika situs anda dikunjungi oleh 20 orang dengan alamat IP berbeda (unik) maka situs anda akan memperoleh nilai 20 (nilai ini hanya pengandaian, Alexa mempunyai formula sendiri dalam menentukan nilai sebuah web) .

Kelebihan Alexa :

1. Alexa rank akan menampilkan tingkat popularitas dari sebuah situs web yang dibandingkan dengan web milik kita,termasuk jangkauan,tampilan halaman,dan masih banyak lagi.

2. Pencarian analisa akan menampilkan kepada kita yang merupakan syarat untuk kita untuk berkompetisi untuk mendapatkan sebuah traffic.

3. Data pengunjung akan menampilkan kepada kita apa yang menarik dari website kita yang dilihat oleh pengunjun – pengunjung website kita

4. Data clickstream akan menampilkan kepada kita sebagai pemilik website dimana dalam mendapatkan traffic dari program keanggotaan dan kemitraan.

Sumber

http://clickforgamers.blogspot.co.id/2013/04/pengukuran-web-crawler-search-engine.htmlPENGUKURAN WEB

Di bawah ini ada beberapa tools yang digunakan untuk mengeukur website dari segi kecepatan akses dan performanya, serta mengukut banyaknya pengunjung suatu website, berikut ini penjelasan mengenai beberapa tools yang digunakan untuk mengukur kecepatan akses website.

1. Pingdom Tools merupakan sebuah alat ukur kecepatan website dapat di akses, nilai dari sebuah website, dan berapa ukuran dari sebuah website tersebut.

Beberapa kelebihannya di kategorikan sebagai berikut  :

Performance Grade : melihat nilai kecepatan performa halaman web, dari akses DNS, browser cache, combine external css dan lain-lain.

Waterfall : melihat detail kecepatan akses ketika membuka halaman web, dari gambar bahkan sampai seberapa cepat script tersebut dapat di akses.

Page Analysis : melihat detail analisa halaman web.

History : melihat detail akses dari beberapa hari lalu.

Kekurangan yang terdapat pada tools ini, sama seperti tools alat ukur akses web pada umumnya yaitu Membutuhkan akses internet yang stabil, karena tidak mungkin kita bisa mengukur kecepatan akses suatu website kalau akses internet kita terhadap website tersebut tidak stabil/berjalan dengan baik.

2. GTmetrix adalah website untuk menganalisa kecepatan web yang tersedia secara gratis, dengan menggunakan google page speed dan Yahoo Yslow sebagai analyze engine dan untuk menampilkan hasil serta rekomendasi yang harus dilakukan.

Dengan GTmetrix juga dapat membandingkan beberapa URL sekaligus dan jika mendaftar sebagai anggota maka dapat:

-          Melihat tes sebelumnya untuk membandingkan hasilnya

-          Menjadwalkan cek website secara otomatis

-          Menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak

Kelebihan GTmetrix :

-          Dapat menggunakan google page speed dan YSLOW sebagai analyze engine

-          Dapat membandingkan beberapa URL sekaligus

-          Menjadwalkan cek website secara otomatis

-          Dapat menyimpan laporan

-          Memilih hasil laporan untuk ditampilkan kepublic atau tidak.

Kekurangan GTmetrix :

-          Jika menggunakan GTmetrix harus menggunakan internet yang cepat.

3. Alexa Rank

Alexa Internet, Inc. adalah perusahaan yang berbasis di California yang mengoperasikan situs yang menyediakan informasi mengenai banyaknya pengunjung suatu situs dan urutannya. Alexa Internet didirikan pada tahun 1996 oleh Brewster Kahle dan Bruce Gilliat. Cara kerja Alexa rank Alexa memberikan peringkat ke sebuah situs berdasarkan jumlah pengunjung unik. Semakin rendah alexarank dari situs berarti situs memiliki sedikit pengunjung unik.Jadi jika Anda bisa mendapatkan lebih banyak traffic ke situs Anda, Anda akan mendapatkan lebih rendah alexa rank.

 Kelemahan Alexa:

1. Jika pengguna internet (pengakses situs anda tidak menginstal Alexa Toolbar di browsernya) maka sekalipun ada 1000 pengunjung situs anda dalam sehari, Alexa akan tetap menilai situs anda tidak ada pengunjungnya.

2. Jika dalam sehari ada yang mengakses situs anda 20 kali dengan alamat IP (Internet protocol) yang sama, maka akan dianggap situs anda hanya dikunjungi oleh 1 satu orang hanya dapat poin 1, akan berbeda jika situs anda dikunjungi oleh 20 orang dengan alamat IP berbeda (unik) maka situs anda akan memperoleh nilai 20 (nilai ini hanya pengandaian, Alexa mempunyai formula sendiri dalam menentukan nilai sebuah web) .

Kelebihan Alexa :

1. Alexa rank akan menampilkan tingkat popularitas dari sebuah situs web yang dibandingkan dengan web milik kita,termasuk jangkauan,tampilan halaman,dan masih banyak lagi.

2. Pencarian analisa akan menampilkan kepada kita yang merupakan syarat untuk kita untuk berkompetisi untuk mendapatkan sebuah traffic.

3. Data pengunjung akan menampilkan kepada kita apa yang menarik dari website kita yang dilihat oleh pengunjun – pengunjung website kita

4. Data clickstream akan menampilkan kepada kita sebagai pemilik website dimana dalam mendapatkan traffic dari program keanggotaan dan kemitraan.

Sumber

http://clickforgamers.blogspot.co.id/2013/04/pengukuran-web-crawler-search-engine.html

Pengertian Web Crawler

Web crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.

Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.

Ketika web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar informasi yang dikumpulkan web crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex informasinya. Website itu kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking halaman-halamannya.

Namun search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yakni, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini. Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.

Web crawl bisa beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan.

Sumber

https://djuyadi.wordpress.com/2010/03/06/web-crawl-web-spider-web-robot-bot-crawl-automatic-indexer/

Pengertian SEO

Pengertian SEO atau Search Engine Optimization adalah suatu teknik untuk memaksimalkan suatu website agar lebih dikenal atau lebih mudah dibaca oleh search engine. Teknik SEO dilakukan melalui proses yang systematis artinya teknik seo

SEO

harus mengikuti aturan-aturan yang berlaku pada suatu search engine tertentu yang menjadi rujukannya

Teknik SEOditerapkan pada suatu website dengan tujuan untukmeningkatkan jumlah pengunjung website tersebut. Banyak sekali faktor yang menentukan keberhasilan dalam SEO namun dapat di golongkan menjadi dua yaitu :

Onpage Optimazation yaitu teknik melakukan optimasi dari dalam suatu website dengan jalan memodifikasi faktor-faktor tertentu dari bagian suatu website misalkan menentukan title, tag, content yang relevan dengan title dan lain-lain

Offpage Optimazation yaitu teknik optimasi yang dilakukan dari luar bagian website dengan tetap mengacu pada alogaritma search engine tertentu misalkan memperbanyak backlink yang berkualitas

Teknik SEO bagi kebanyakan orang bisa terbilang sulit karena membutuhkan skill yang cukup dan tingkat kesabaran yang tinggi sedangkan hasilnya tidak dapat dilihat secara langsung. Selain itu metode search engine tertentu, untuk meng-index hasil pencarian juga sering berubah. Oleh karena itu SEO dapat dikatakan sangat dinamis karena metodenya berubah dari waktu ke waktu dan juga SEO tidak dapat memberikan jaminan apakah website Anda akan muncul dalam index pencarian teratas atau tidak.

Sumber

http://www.pojokwebsite.com/pengertian-seo.html

Pengertian Search Engine

Apa itu search engine.Search engine adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www,publikasi milis,ftp, ataupun news group dalam sebuah ataupun sejumlah server komputer dalam suatu jaringan. Search engine atau mesin pencari merupakan seperangkat alat pencari informasi dari dokumen-dokumen yang tersedia.

Hasil pencarian dari mesin pencari umumnya ditampilkan dalam bentuk daftar yang diurutkan menurut tingkat akurasi dan relevansinya ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas lainnya. Di atas adalah pengertian sear engine wikipedia

Cara kerja mesin pencari

Apakah anda tau bagaimana cara kerja mesin pencari.Dan bagaimana dalam waktu yang singkat sebuah mesin pencari mampu mengumpulkan jutaan informasi dari berbagai situs web yang ada di dunia.Berikut adalah ilustrasi cara kerja search engine.

Search engine bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW.( world wide web ) Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala/link yang dilihatnya.Setelah semua link yang di temuka di telusuri maka Isi setiap halaman kemudian dianalisis untuk menentukan cara indeks-nya

Contohnya adalah kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag. Data tentang halaman web yang terkumpul disimpan dalam sebuah database indeks untuk kemudian digunakan dalam pencarian selanjutnya.

Sebagian search engine , seperti Google, menyimpan seluruh atau sebagian halaman sumber yang disebut cache maupun informasi tentang halaman web itu sendiri di dalan cache browcer

Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.

Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.

Sumber

http://www.ekonomi-kreatif.com/pengertian-search-engine/

Manfaat SEO Untuk Blog dan Website

Manfaat SEO Untuk Blog dan Website - Seperti yang kita tahu SEO adalah serangkaian proses yang dilakukan secara sistematis yang bertujuan hanya untuk meningkatkan volume dan kualitas trafik kunjungan melalui mesin pencari menuju situs web tertentu dengan memanfaatkan mekanisme kerja atau algoritma mesin pencari. Jadi manfaat yang kita dapatkan dari SEO itu antara lain :

Meningkatnya kualitas trafik - Menurut saya dengan kita pengoptimalkan SEO dari pagi, siang dan malam tak hayal kita akan mendapatkan kualitas trafik yang berkualitas dari google, yahoo dan bing.

Meningkatkan popularitas blog -Dengan pengoptimalan SEO yang baik tak jarang juga blog kita berada di halaman pertama di SERP dan dapat mudah di kenali.

Meningkatkan sebuah bisnis online - Sudah pasti bisnis online kita akan dapat pelangan-pelangan baru.

Tambahan sitelink dari google Dan blog kita dapat penilaian khusus yang diberikan Google.

Sumber

http://komunitasbelajarkomputer.blogspot.co.id/2013/04/manfaat-seo-untuk-blog-dan-website.html

Manfaat Search Engine

Manfaat Search Engine Banyak dari kita sering memakai Search Engine, lalu apa manfaat dari Search Engine? Pastinya manfaat dari Search Engine adalah mempermudah seseorang untuk mencari informasi yang diinginkan secara cepat, dan tepat. Karena dengan hanya mengetik kata kunci yang diinginkan, misalnya kata "Pengertian Search Engine" maka akan langsung muncul berbagai website dan blog yang memberikan informasi mengenai kata kunci tersebut dengan cepat dan tepat.

Dari berbagai sektor Search Engine sebenarnya telah memberikan banyak manfaat seperti dilihat dari sudut pemilik web blog. Dimana setiap web blog yang memberikan informasi yang relevan dan lengkap, maka dapat dipastikan secara tidak langsung halaman informasi web blog anda akan naik ke halaman pertama pencarian. Selanjutnya pengunjung akan terus berdatangan dan membuat web blog anda akan kebanjiran pengunjung.

Umumnya tidak semua artikel pada web blog satu dengan yang lainnya lengkap atau kaya akan informasi yang dibutuhkan oleh pengunjung. Namun berbagai pemilik web blog mulai memaksakan artikelnya agar mampu berada ke halaman pertama dengan melakukan berbagai cara, salah satunya adalah teknik SEO. Bayangkan bila salah satu kata kunci memiliki ribuan traffic perbulannya, dan artikel atau jualan anda berada di urutan pertama.

Dapat dibayangkan bisnis anda pun akan berkembang dengan pesat sesuai dengan berjalannya waktu. Contohnya jika anda menjual Alat Pemadam Kebakaran, maka sesuai dengan kata kuncinya anda dapat membuat berbagai artikel yang berhubungan dengan "Alat Pemadam Kebakaran" dengan informasi yang lengkap dan jelas. Maka dengan begitu sektor pasar anda akan sangat mudah sekali menggapai web blog bisnis anda.

Sumber

http://www.seogereggi.com/2015/03/pengertian-search-engine-mesin-pencari.html

Macam-Macam Search Engine

Ada beberapa macam Search Engine :

1. Google

Website : www.google.com

Selain pencarian web, Google juga menyediakan jasa pencarian gambar, pencarian berita serta pencarian pada arsip USENET (newsgroup), serta direktori, seperti Yahoo! Kelemahannya terletak pada tidak tersedianya pencarian file, video, dan audio. Keunggulan Google terutama adalah pada pencarian teks, terutama dari algoritma PageRank, database-nya yang besar serta banyaknya jenis file yang diindeksnya.

* Kelebihan  

1. Kecepatan dan kemudahan dalam mencari.

2. lebih canggih dengan fitur yang dimilikinya.

3. Tampilan yang sederhana                            .

4. Google merupakan satu-satunya mesin pencari yang memilki cach. Dengan adanya cache ini, si pencari dapat menghemat waktu pencarian, karena hasil pencarian yang akan ditampilkan.

5. Dapat mencari segala informasi seperti gambar, berita artikel, hiburan dll.

* Kekurangan           

1. Dengan kelebihan yang dimilikinya, ternyata mesin pencari ini jadi bidikan para spamer untuk menampilkan iklan-iklan yang tidak diperlukan. Mereka memanfaatkan setiap celah yang ada pada sistem algoritma Google untuk memaksa iklan mereka tampil pada halaman terdepan. Maka, pencarian pun terasa tergangggu.

2. Yahoo!

Website: www.yahoo.com

Salah satu portal terbesar di Internet, selain MSN., dan juga salah satu mesin pencaru tertua. Halaman utamanya sendiri tidak terlalu ramah untuk pencarian, tetapi Yahoo! menyediakan search.yahoo.com untuk itu. Yahoo! menggunakan jasa Google untuk mencari informasi di web, ditambah dengan informasi dari databasenya sendiri. Kelebihan Yahoo! adalah direktorinya. Yahoo! juga menyediakan pencarian yellow pages dan peta, yang masih terbatas pada Amerika Serikat. Yahoo juga menyediakan pencarian gambar. berikut ini kelebihan dan kekurangannya yang lebih jelas :

* Kelebihan:

1. carta surat menyurat modern untuk membuat orang menjadi lebih maju

2. salah satu web yang menyediakan layanan fasilitas gratis

3. salah satunyapun yang anda bilang, bila di refresh cepat

4. banyak fasilitas yang disediakan, seperti: Y!A Y!A Y! mail Y! 360 dan lain2

5. sudah ada di banyak negara

* Kekurangan:

1. Satu id yahoo hanya untuk yahoo, tak bisa untuk produk windows, seperti IM dan msn

2. Teralu mudah untuk membuat id, sehingga kadang-kadang disalah gunakan

3. Fitur Y!M msh sangat kalah jauh dengan IM keluaran windows

4. Skin untuk Y!M msh sangatlah simple, tak seperti IM yang ada cukup banyak

3. AskJeeves

Website : http://www.ask.com

Situs mesin pencari yang satu ini mengunggulkan kemampuannya untuk memahami bahasa manusia. Pengguna bisa menggunakan kalimat lengkap, bukan kata kunci. Situs ini berguna untuk mengetahui jawaban dari pertanyaan(misal: when did world war II end?)

* Kelebihan

Keunggulan utamanya adalah ia akan mencari situs penyedia jawaban untuk pertanyaan anda.

4. Bing

Website : www.bing.com

Bing merupakan mesin pencari web milik Microsoft yang launching pada 1 juni 2009. Sebelumnya layanan ini dikenal dengan nama MSN search dan Windows Live seacrh dan Live Search yang sudah ada sejak 1998. Saat ini Bing sudah digunakan sekitar 9.5 % pengguna internet sebagai mesin penjari. Bing memiliiki tampilan dengan latar pemandangan yang selalu berubah-ubah.

Kelebihan :

1. Mempunyai fasilitas instant answer.

2. Hasil pencarian image atau video dapat ditampilkan dan disaring secara detail

3. Kotak detail pada link hasil pencarian.

4. Bing.com ini mesin pencari yang sangat complet, semua yang Anda cari pasti ada.

5. Sistem filternya bisa kita aktif kan ataudi non aktifkan, jadi anda bisa membuka situs yang diblokir.

Kekurangan :

1. Tidak dapat berhitung.

2. Fiturnya tidak lengkap.

3. Bing.com kurang di minati oleh pengguna.

4. Bing.com kurang cepat dalam pencariannya.

6. AOL Search

AOL Inc. (NYSE: AOL) dulunya adalah perusahaan America Online, Inc., dan merupakan penyelenggara jasa Internet global yang berpusat di New York dan sebelum berstatus publik sejak tanggal 9 Desember 2009, AOL dioperasikan oleh perusahaan Time Warner. Pada saat ini AOL melayani banyak perusahaan dalam hal layanan Internet di berbagai negara di dunia, sehingga menjadikan AOL sebagai ISP bersifat Internasional dengan jumlah pelanggan mencapai 30 juta pengguna.

Kelebihan :

1. download di aol lebih cepat

2. bisa membuat surat elektronik

Kekurangan :

1. fiturnya sangat kurang dan mesin pencarinya pun kurang akurat

Sumber

https://rizkavirgiliaputri.wordpress.com/2015/05/15/searcing-engine/

Jenis-Jenis Search Engine

Jenis-Jenis Search Engine didasarkan pada cara atau teknik mengoleksi/mengumpulkan data dari halaman situs web, mesin pencari dapat dikelompokkan menjadi 4 jenis search engine:

1. Human Organized Search Engine

Jenis Search engine yang di kelola secara manual dalam artian jenis search engine ini adalah sepenuhnya ditangani oleh manusia, penggunaan metode ini dengan menyortir informasi yang sesuai permintaan dari pengguna agar lebih relevan dan bermanfaat bagi pencari informasi.

Situs mesin pencari dengan metode ini memperkerjakan para ahli sesuai bidang keahlian untuk mengelompokkan situs web sesuai dengan bidangnya. Beberapa situs search engine yang mengunakan jenis search engine manual:

http://www.yahoo.com

http://www.looksmart.com

2. Computer Created Search Engine

Jenis Search Engine ini memiliki banyak kelebihan karena dapat menyajikan informasi yang banyak meskipun terkadang beberapa informasi yang tidak relevan dengan yang diinginkan pencari informasi. Jenis Search engine ini mengaplikasikan spider software atau software laba-laba untuk menyusupi situs web tertentu dan selanjutnya mengumpulkan data serta mengelompokkannya dengan sedikit bantuan secara manual, diantara situs yang menggunakan metode ini:

http://www.webcrawler.com

http://www.excite.com

http://www.inktomi.com

http://www.nothernlight.com

3. Hybrid Seacrh Engine

Jenis Search engine ini merupakan penggabungan secara manual dan komputerisasi, dengan demikian menghasilkan hasil pencarian lebih akurat. Peran manusia disini adalah sebagai penelaah dalam proses pengoleksian database halaman situs web. Diantara situs mesin pencari dengan metode ini :

http://www.lycos.com

http://www.altavista.com

http://www.hotbot.com

http://www.goto.com

http://www.snap.com

http://www.directthit.com

http://www.google.com

go.com

4. MetaCrawler/Metasearch

Jenis Search engine ini adalah perantara dari search engine yang sebenarnya. Mesin ini bekerja mengirimkan permintaan pencarian ke berbagai mesin pencari dan menampilkan banyal hasil pencarian dari berbagai mesin pencari yang ada. Situs serch engine dengan metode metasearch diantaranya:

http://www.dogpile.com

http://www.infind.com

http://www.snap.com

SUMBER

https://rizkavirgiliaputri.wordpress.com/2015/05/15/searcing-engine/

FUNGSI CRAWLER

Crawler bertugas untuk mengindeks, membuat rangking, menyusun dan menata halaman dalam bentuk indeks terstruktur agar bisa dicari dalam waktu yang sangat cepat. Obyek dari crawler adalah isi halaman, file, folder dan direktori web.

Sedangkan subyek dari robots.txt adalah mesin pencari/search engine crawler. Crawler ini penting dipahami untuk SEO. Crawler akan berhadapan dengan robotsg.txt yang akan memandu mesin pencari/search engine seperti google, yahoo dan bing untuk mengindeks sebuat blog atau website.

Sehingga crawler akan tahu mana halaman, folder atau file yang boleh diindeks atau tidak. Semakin lengkap sebuah panduan dalam robots.txt akan lebih baik. Dengan demikian robot crawler akan dengan cepat mengindeks isi website. Kebanyakan halaman situs berisi link ke halaman lain.

Sebuah spider dapat memulai dari manapun. Apabila ia melihat sebuah link kepada halaman lain, maka ia akan segera menuju ke sana dan mengambilnya. Search engine seperti Alta vista mempunyai banyak spider yang bekerja secara pararel.

Sangat direkomendasikan untuk tidak menggunakan javascript pada menu utama. Gunakanlah tag noscript. Hal ini dikarenakan javascript tidak bisa diambil oleh spider untuk search engine. Dan semua link yang mengandung javascript akan ditolak sebagai halaman teks.

Fungsi Web Crawler / Web Spider

1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.

2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.

3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.

Sumber

http://sengineku.blogspot.co.id/2010/10/arti-dan-fungsi-crawler.html

http://www.blogmashendra.com/2014/05/pengertian-dan-fungsi-web-crawler.html

CONTOH WEB CRAWLER

1.Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

2.HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

3.Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4.Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5.YaCy

Sedikit berbeda dengan web crawler lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy ialah Sciencenet, untuk pencarian dokumen di bidang sains.

Sumber

https://elsietelibertador76.wordpress.com/tag/pengukuran-web/

Struktur Sebuah Website

Hal pertama dalam mempelajari sesuatu biasanya adalah pengenalan. Begitu juga mengenai website, sebelum mempelajarinya lebih jauh, ada baiknya kita mengetahui bagian-bagian pembentuk sebuah website. Minimalnya dengan itu kita tahu, bagian mana yang bisa kita tangani, dan mana yang harus menggunakan jasa orang lain. Atau, kita tahu bagian mana yang harus diotak-atik dalam troubleshoting.

Secara garis besar, agar dapat diakses oleh publik, sebuah website harus memiliki empat komponen utama. Jika manusia memiliki nama, tubuh, jiwa, dan rumah tempat tinggal, maka sebuah website pun memilikinya.

Nama website, umumnya panduan dari domain dan TLD (Top Level Domain), dimana nama ini bersifat uniq yaitu tidak ada yang sama satupun didunia ini. Domain website ini adalah jayaweb, website ini menggunakan tld .com, jadi nama website ini adalah jayaweb.com. Beberapa tld lainnya yaitu .net, .info, .biz, dll. Tapi ada juga nama website menggunakan subdomain (sub/anak dari domain), semisal blog.jayaweb.com

Tubuh, dalam hal ini adalah struktur dan layout dasar sehingga website dapat tampil dengan baik. Struktur utama sebuah website dibentuk oleh script html, dihiasi oleh css dan gambar latar dan icon, agar dapat mengolah data maka dicerdaskan oleh php, asp, jsp atau lainnya. Dan agar terlihat lebih atraktif, interaktif dan lebih hidup, biasanya sebuah website disenjatai dengan javascript dan gambar-gambar animasi dan flash. Jika Anda enggan pelajari web programing, minimalnya Anda harus mempelajari cms agar dapat membuat website sendiri, semisal cms wordpress dan joomla.

Jiwa, adalah fungsi dan isi/content yang berkenaan dengan fungsi website, sesuai dengan tujuan dibuatnya website itu. Macam-macam website berkenaan dengan hal ini diantaranya adalah website sebagai toko online, website sebagai blog, portal, social media, album photo, profil perusahaan, dll, yang tentunya memiliki type content yang berbeda sesuai fungsinya. Untuk web desainwebnet.com, contentnya adalah artikel tentang pembuatan website, belajar website dan info bisnis online, karena website ini saya peruntukan sebagai web yang juga berfungsi juga untuk publikasi.

Rumah, bagi sebuah website adalah hosting untuk menempatkan file-file dan database website tersebut. Hosting disini adalah server yang terhubung ke internet, jadi sever local semisal apache di localhost bukanlah sebuah hosting dalam bahasan disini. Jadi ketika seseorang mengakses sebuah website, sebenarnya dia sedang mengakses sebuah komputer server yang terkoneksi ke internet, yang telah disediakan oleh pihak hosting untuk disewakan.

Sumber

http://jayaweb.com/artikel/desain-web/91-struktur-sebuah-website.html