jawaban apa itu robots.txt…

Posted: 19 June 2008 in Internet
Tags: , ,

Setelah berkeliling”, browsing”, chating”, eating”, sleeping”, dreaming”, coding”, pontang-panting pusiiiiiiiiiiiiiiiing, akhirnya gw ngerti jg apa itu robots.txt. robots.txt dipakai untuk memberi tahu search engine ‘crawler’  folder” mana yang boleh atau tidak boleh dikunjungi. robots.txt harus ditulis dengan huruf kecil, bukan Robots.txt atau ROBOTS.txt atau RoBoTs.txt. robots.txt biasanya ditempatkan di direktori root. Misalnya gw punya web http://www.goblogsia.com, nah posisi robots.txt pasti ada di root, http://www.goblogsia.com/robots.txt. Itulah kenapa gugle jg punya robots.txt. Gugle gak mau foder” ‘penting’nya ada yg kebuka.

Untuk mengetahui mana yg boleh dikunjungi crawler, ditandai dengan kata Allow. Untuk direktori yg ga boleh dikunjungi dirandai dengan kata Disallow. Satu baris hanya dapat dipakai untuk satu direktori.

Nah, klo robots.txt nya bisa dikonsumsi publik, berarti kita bisa tau folder” apa aja yg ada di suatu web. Betul?

Klo biasa pake Joomla, Mambo, dll, biasanya ada robots.txt nya.

Klo crawler itu apa? Crawler merupakan alat yang digunakan search engine untuk mengumpulkan data dari suatu web. om gugle pakenya googlebot, yahoo pake yahoo-slurp, dll.

Sekian dulu ah…

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s