Membuat dan menggunakan file robots.txt

File robots.txt akan membatasi robots search engine (dikenal dengan istilah bots), melakukan crawl terhadap website.bots secara otomatis mengecek ada tidaknya robots.txt , sebelum melakukan akses terhadap halaman tertentu dari sebuah situs.
Anda harus membuat sebuah file robots.txt, jika anda ingin ada bagian tertentu dari situs anda yang tidak akan dicrawl oleh google.
Jika ingin Google mengindex semua halaman yang ada, anda tidak perlu membuat file robots.txt. File robots.txt diletakkan di domain root dan harus dinamakan robots.txt.
misalnya website anda adalah http://www.website-anda.com, maka anda harus meletakkan file robots .txt seperti berikut :
http://www.website-anda.com/robots.txt
jika anda meletakan pada http://www.website-anda.com/direktori/robots.txt , maka ini adalah cara yang salah, karena robots.txt tidak boleh diletakkan pada subdirektori.
Menggunakan file robots.txt
Anda bisa menggunakan file robots.txt untuk mencegah googlebot melakukan crawl terhadap beberapa bagian halaman situs anda.Sebagai contoh untuk mencegah google bot melakukan crawl terhadap direktori bernama "admin", anda bisa menggunakan file robots.txt yang berisi teks berikut :

User-agent : Googlebot
Disallow : /admin

Sedangkan untuk mencegah googlebot melakukan crawl terhadap jenis file tertentu misalnya berjenis JPEG, anda bisa menggunakan file robots.txt yang berisi teks berikut

User-agent : Googlebot
Disallow : /*.JPEG

Sedangkan untuk mencegah Googlebot melakukan crawl terhadap halaman dinamis yang anda buat, buat file robots.txt yang berisi file berikut :

User-agent : googlebot
Disallow : /*?

Perhatikan jika ada website lain yang melakukan link terhadap halaman tersebut, halaman ini akan ditambahkan pada index Google. Akibatnya URL dari halaman dan informasi yang ada didalamnya akan terlihat di Google sebagai hasil pencarian.
tapi, bagaimana pun juga, tidak akan ada isi halaman yang akan dicrawl,dindeks atau ditampilkan.

Untuk mencegah halaman ditambahkan ke index Google , walaupun dilink oleh website lain, gunakan meta tag "no index" dan pastikan halaman tersebut tidak muncul pada robots.txt.Ketikan googlebot melakukan crawl terhadap halaman, metag tag noindex akan dieksekusi dan URL tersebut akan dibuang dari index.

Disarikan dari : Webmaster Help Center