Cara kerja mesin pencari

Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web yang diambil langsung dari WWW. Halamanhalaman ini diambil dengan web crawler, browser web otomatis yang mengikuti setiap pranala yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag).

Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.

Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya. Hasil pencarian biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

Search engine merupakan sebuah sistem database yang telah dirancang untuk mengindeks alamat-alamat internet (URL, FTP, usenet, dan lain-lain). Untuk melaksanakan tugasnya ini, search engine memiliki program khusus yang biasanya disebut spider, bot, atau crawler. Pada saat user mendaftarkan sebuah alamat web (URL), spider dari search engine akan menerima dan menganalisis URL tersebut.

Dengan proses dan prosedur yang serba otomatis, spider ini akan memutuskan apakah web yang didaftarkan layak diterima atau tidak. Jika layak, spider akan menambahkan alamat URL tersebut ke sistem database mereka. Rangking-pun segera ditetapkan dengan algoritma dan caranya masing-masing.

Jika tidak layak, terpaksa user harus bersabar dan mengulangi pendaftaran dengan periode tertentu. Jadi, semua yang namanya search engine pasti memiliki program yang disebut Spider. Program inilah yang sebenarnya menentukan apakah website user bisa diterima atau tidak.

Program spider berbeda dengan directory yang mengindeks halaman web secara manual. Manual yang dimaksud adalah mereka menggunakan orang biasa untuk menganalisis setiap halaman web yang masuk, tidak menggunakan spider atau crawler seperti halnya search engine.

Keunggulan directory dibanding search engine adalah memberikan hasil pencarian yang lebih relevan dengan kualitas yang relatif lebih baik. Namun karena semua proses dilakukan secara manual menggunakan editor manusia, jumlah database yang dimiliki biasanya jauh lebih kecil dibandingkan dengan search engine.

Itulah sebabnya sekarang ini banyak perusahaan yang mengelola directory menerapkan sistem ganda, yaitu menggunakan directory + search engine. Contoh nyata adalah Yahoo yang menggandeng Google sebagai search engine default-nya. Contoh beberapa directory terkenal selain Yahoo adalah Open Directory Project, Looksmart, dan NBCi.

Location: Indonesia