Setelah berkeliling”, browsing”, chating”, eating”, sleeping”, dreaming”, coding”, pontang-panting pusiiiiiiiiiiiiiiiing, akhirnya gw ngerti jg apa itu robots.txt. robots.txt dipakai untuk memberi tahu search engine ‘crawler’ folder” mana yang boleh atau tidak boleh dikunjungi. robots.txt harus ditulis dengan huruf kecil, bukan Robots.txt atau ROBOTS.txt atau RoBoTs.txt. robots.txt biasanya ditempatkan di direktori root. Misalnya gw punya web [...]
Posts Tagged ‘robots.txt’
Gw jg blm tau apaan robot.txt, yang jelas gw nemu ini… http://www.google.com/robots.txt User-agent: * Allow: /searchhistory/ Disallow: /news?output=xhtml& Allow: /news?output=xhtml Disallow: /search Disallow: /groups Disallow: /images Disallow: /catalogs Disallow: /catalogues Disallow: /news Disallow: /nwshp Disallow: /? Disallow: /addurl/image? Disallow: /pagead/ Disallow: /relpage/ Disallow: /relcontent Disallow: /sorry/ Disallow: /imgres Disallow: /keyword/ Disallow: /u/ Disallow: /univ/ Disallow: [...]
