Membuat robots.txt untuk mencegah bot spam dan Validasinya

Spam bot menjengkelkan dan suka menghabiskan bandwidth, berikut merupakan contoh robots.txt yang hanya mengijinkan bot-bot tertentu nama file robots.txt :

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Slurp
Disallow:

User-agent: YahooSeeker/M1A1-R2D2
Disallow:

User-agent: Teoma
Disallow:

User-agent: msnbot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Yahoo-MMCrawler
Disallow:

User-agent: msnbot-media
Disallow:

User-agent: psbot
Disallow:

User-agent: ia_archiver
Disallow: 
Untuk tool nya jika anda ingin membuat sendiri, silakan kunjungi http://www.clickability.co.uk/robotstxt.html .
Dan jika ingin validasi robots.txt, silakan ke situs http://www.frobee.com/robots-txt-check

Komentar

Posting Komentar

Postingan populer dari blog ini

Legenda ajisaka, joko linglung, bumi kesongo Dan asal usul honocoroko

Gambar
Konon kabarnya bahwa tanah Pulau jawa ini sudah dikuasai oleh Kerajaan Galuh yang diperintah Prabu Sindulaya Sang Hyang Prabu Watu Gunung. Pusat pemerintahannya berada di Jawa Barat, karena dianggap mempunyai peranan penting terhadap raja-raja di luar Jawa. Beliau memang berhasil mengangkat nama Galuh menjadi termasyhur dan juga rakyatnya hidup makmur. Prabu Watu Gunung dikaruniai empat orang putra, yaitu Dyah ayu Dewi menjadi ratu di Nusatembini, Pangeran Adipati Dewata Cengkar, Dewata Pemunah Sakti menjadi adipati di Madura, dan yang terakhir Pangeran Adipati Dewata Agung menjadi adipati di Pulau Bali. Rakyat Galuh cenderung tidak senang terhadap salah seorang pangeran yaitu Pangeran Adipati Dewata Cengkar. Tingkah lakunya yang kasar terhadap rakyat kecil dan suka menganiaya orang sangat tidak mencerminkan sebagai seorang pangeran. Lebih-lebih terhadap salah satu kegemarannya yang suka memakan daging manusia. Hal tersebut menjadikan rakyat Galuh yang dulunya hidup tenteram berubah me...
Baca selengkapnya

Sistem Bilangan Biner Penjumlahan dan Pengurangan Complement

SISTEM BILANGAN BINER Sistem bilangan biner merupakan sistem bilangan dengan basis 2. Sistem bilangan biner menggunakan dua buah simbol yaitu : 0 dan 1. Contoh bilangan biner adalah 1001 yang dapat diartikan dalam sistem bilangan desimal menjadi sebagai berikut : Position value dalam sistem bilangan biner merupakan perpangkatan dari nilai 2. Nilai desimal dari sistem bilangan biner juga dapat dicari menggunakan rumus dibawah ini. Contoh : Pertambahan Bilangan BINER Pertambahan pada sistem bilangan biner dilakukan dengan cara yang sama dengan pertambahan pada sistem bilangan desimal. Dasar dari pertambahan sistem bilangan biner dapat dilihat pada gambar dibawah ini. Contoh pertambahan bilangan BINER : Pengurangan Bilangan BINER Pengurangan pada sistem bilangan BINER dilakukan dengan cara yang sama dengan pengurangan sistem bilangan desimal. Dasar dari pengurangan sistem bilangan BINER dapat dilihat pada gambar dibawah ini.Contoh pengurangan...
Baca selengkapnya

Javascript Untuk Menampilkan Jam Secara Up To Date

Berikut merupakan Javascript Untuk Menampilkan Jam Secara Up To Date. Tinggal buat div dengan id sesuai dengan yang ada pada js berikut. Tau bisa download disini <script type="text/javascript"> tday  =new Array("Sunday","Monday","Tuesday","Wednesday","Thursday","Friday","Saturday"); tmonth=new Array("January","February","March","April","May","June","July","August","September","October","November","December"); function GetClock(){ d = new Date(); nday   = d.getDay(); nmonth = d.getMonth(); ndate  = d.getDate(); nyear = d.getYear(); nhour  = d.getHours(); nmin   = d.getMinutes(); nsec   = d.getSeconds(); if(nyear<1000) nyear=nyear+1900;      if(nhour ==  0) {ap = " AM";nhour = 12;} else if(nhour <= 11) {ap = " AM";} else if(nhour == 12) {a...
Baca selengkapnya