Membuat robots.txt untuk mencegah bot spam dan Validasinya

Spam bot menjengkelkan dan suka menghabiskan bandwidth, berikut merupakan contoh robots.txt yang hanya mengijinkan bot-bot tertentu nama file robots.txt :

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Slurp
Disallow:

User-agent: YahooSeeker/M1A1-R2D2
Disallow:

User-agent: Teoma
Disallow:

User-agent: msnbot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Yahoo-MMCrawler
Disallow:

User-agent: msnbot-media
Disallow:

User-agent: psbot
Disallow:

User-agent: ia_archiver
Disallow: 
Untuk tool nya jika anda ingin membuat sendiri, silakan kunjungi http://www.clickability.co.uk/robotstxt.html .
Dan jika ingin validasi robots.txt, silakan ke situs http://www.frobee.com/robots-txt-check

Komentar

Posting Komentar

Postingan populer dari blog ini

Legenda ajisaka, joko linglung, bumi kesongo Dan asal usul honocoroko

Gambar
Konon kabarnya bahwa tanah Pulau jawa ini sudah dikuasai oleh Kerajaan Galuh yang diperintah Prabu Sindulaya Sang Hyang Prabu Watu Gunung. Pusat pemerintahannya berada di Jawa Barat, karena dianggap mempunyai peranan penting terhadap raja-raja di luar Jawa. Beliau memang berhasil mengangkat nama Galuh menjadi termasyhur dan juga rakyatnya hidup makmur. Prabu Watu Gunung dikaruniai empat orang putra, yaitu Dyah ayu Dewi menjadi ratu di Nusatembini, Pangeran Adipati Dewata Cengkar, Dewata Pemunah Sakti menjadi adipati di Madura, dan yang terakhir Pangeran Adipati Dewata Agung menjadi adipati di Pulau Bali. Rakyat Galuh cenderung tidak senang terhadap salah seorang pangeran yaitu Pangeran Adipati Dewata Cengkar. Tingkah lakunya yang kasar terhadap rakyat kecil dan suka menganiaya orang sangat tidak mencerminkan sebagai seorang pangeran. Lebih-lebih terhadap salah satu kegemarannya yang suka memakan daging manusia. Hal tersebut menjadikan rakyat Galuh yang dulunya hidup tenteram berubah me
Baca selengkapnya

Sistem Bilangan Biner Penjumlahan dan Pengurangan Complement

SISTEM BILANGAN BINER Sistem bilangan biner merupakan sistem bilangan dengan basis 2. Sistem bilangan biner menggunakan dua buah simbol yaitu : 0 dan 1. Contoh bilangan biner adalah 1001 yang dapat diartikan dalam sistem bilangan desimal menjadi sebagai berikut : Position value dalam sistem bilangan biner merupakan perpangkatan dari nilai 2. Nilai desimal dari sistem bilangan biner juga dapat dicari menggunakan rumus dibawah ini. Contoh : Pertambahan Bilangan BINER Pertambahan pada sistem bilangan biner dilakukan dengan cara yang sama dengan pertambahan pada sistem bilangan desimal. Dasar dari pertambahan sistem bilangan biner dapat dilihat pada gambar dibawah ini. Contoh pertambahan bilangan BINER : Pengurangan Bilangan BINER Pengurangan pada sistem bilangan BINER dilakukan dengan cara yang sama dengan pengurangan sistem bilangan desimal. Dasar dari pengurangan sistem bilangan BINER dapat dilihat pada gambar dibawah ini.Contoh pengurangan
Baca selengkapnya

Pengertian, kekurangan dan kelebihan Algoritma K-Nearest Neighbour

Gambar
Algortima K-Nearest Neighbour Algortima KNN merupakan sebuah metode untuk melakukan klasifikasi terhadap obyek baru berdasarkan (K) tetangga terdekatnya (Gorunescu, 2011). KNN termasuk algoritma supervised learning, dimana hasil dari query instance yang baru, diklasifikasikan berdasarkan mayoritas dari kategori pada KNN. Kelas yang paling banyak muncul yang akan menjadi kelas hasil klasifikasi. Urutan Algoritma KNN 1.Menentukan parameter K (jumlah tetangga paling dekat) 2.Menghitung kuadrat jarak euclidian (euclidean distance) masing-masing obyek terhadap data sampel yang diberikan 3.Mengurutkan objek-objek tersebut ke dalam kelompok yang mempunyai jarak euclid terkecil 4.Mengumpulkan kategori Y (klasifikasi nearest neighbor) 5.Dengan menggunakan kategori mayoritas,maka dapat diprediksikan nilai query instance yang telah dihitung Kelebihan Lebih efektif di data training yang besar Dapat menghasilkan data yang lebih akurat Kekurangan Perlu ditentukan nilai k yang paling opti
Baca selengkapnya