Pengertian dan format file robots.txt

Robots.txt merupakan sebuah file text (bukan html) yang di tempatkan pada halaman situs web untuk menginformasikan robot pencari (search robots) agar tidak mendatangi halaman tertentu. Cara yang termudah untuk membuat robots.txt adalah dengan menggunakan Generate Robot yang telah tersedia pada Webmaster Tools dari mbah Google. Anda bisa membuat file tersebut, Anda juga dapat menggunakan analisa robotß.txt sesuai dengan yang di harapkan.

Pertama buatlah file robots.txt, selanjutnya simpan pada domain utama dengan nama robots.txt. Letakkan robot pada lokasi di mana ia akan melakukan pemeriksaan terhadap file, jika di simpan pada lokasi lain maka spider robot tidak akan dapat menemukan file tersebut dan tidak akan bekerja. (Sebagai Contoh: http://namablog.com/robots.txt.). Jika mesin pencari tidak menemukannya, maka mereka pun tidak akan mencarinya ke seluruh situs Anda demi menemukan file robot.txt. Selain menggunakan layanan dari Google Webmaster Tools, Anda juga bisa membuat file robot.txt secara manual, dengan menggunakan editor text, dalam bentuk file ASCII-encoded, bukan berbentuk file HTML, dan nama file harus dengan huruf kecil semua.
Format robots.txt

1. User-agent: Berisi aturan yang akan di ikuti oleh robot.


2. Disallow: Berisi lokasi atau folder yang di inginkan untuk di blok

Untuk memblokir seluruh tempat web, gunakan slash ("/")

Disallow: /

Untuk memblokir direktori dan seluruh isi, formatnya:

Disallow: /folder

Untuk memblokir sebuah isi halaman formatnya:

Disallow: /nama-file.html

Untuk menghapus gambar tertentu dari pencarian berdasarkan gambar Google formatnya:

User-agent: Googlebot-image
Disallow: /images/gambar.jpg

Berikut ini adalah contoh sebuah file robots.txt:

User agent: *
Disallow: /administrator/
Disallow: /component/
Disallow: /images/
Disallow: /includes/
Disallow: /media/
Disallow: /plugins/
Disallow: /modules/
Disallow: /tmp/
Disallow: /xmlrpc/