Membuat robots.txt untuk mencegah bot spam dan Validasinya
Spam bot menjengkelkan dan suka menghabiskan bandwidth, berikut merupakan contoh robots.txt yang hanya mengijinkan bot-bot tertentu nama file robots.txt : User-agent: * Disallow: / User-agent: Googlebot Disallow: User-agent: Slurp Disallow: User-agent: YahooSeeker/M1A1-R2D2 Disallow: User-agent: Teoma Disallow: User-agent: msnbot Disallow: User-agent: Googlebot-Image Disallow: User-agent: Yahoo-MMCrawler Disallow: User-agent: msnbot-media Disallow: User-agent: psbot Disallow: User-agent: ia_archiver Disallow: Untuk tool nya jika anda ingin membuat sendiri, silakan kunjungi http://www.clickability.co.uk/robotstxt.html . Dan jika ingin validasi robots.txt, silakan ke situs http://www.frobee.com/robots-txt-check