Membuat dan menggunakan file robots.txt

File robots.txt akan membatasi robots search engine (dikenal dengan istilah bots), melakukan crawl terhadap website.bots secara otomatis mengecek ada tidaknya robots.txt , sebelum melakukan akses terhadap halaman tertentu dari sebuah situs.
Anda harus membuat sebuah file robots.txt, jika anda ingin ada bagian tertentu dari situs anda yang tidak akan dicrawl oleh google.
Jika ingin Google mengindex semua halaman yang ada, anda tidak perlu membuat file robots.txt. File robots.txt diletakkan di domain root dan harus dinamakan robots.txt.
misalnya website anda adalah http://www.website-anda.com, maka anda harus meletakkan file robots .txt seperti berikut :
http://www.website-anda.com/robots.txt
jika anda meletakan pada http://www.website-anda.com/direktori/robots.txt , maka ini adalah cara yang salah, karena robots.txt tidak boleh diletakkan pada subdirektori.
Menggunakan file robots.txt
Anda bisa menggunakan file robots.txt untuk mencegah googlebot melakukan crawl terhadap beberapa bagian halaman situs anda.Sebagai contoh untuk mencegah google bot melakukan crawl terhadap direktori bernama "admin", anda bisa menggunakan file robots.txt yang berisi teks berikut :

User-agent : Googlebot
Disallow : /admin

Sedangkan untuk mencegah googlebot melakukan crawl terhadap jenis file tertentu misalnya berjenis JPEG, anda bisa menggunakan file robots.txt yang berisi teks berikut

User-agent : Googlebot
Disallow : /*.JPEG

Sedangkan untuk mencegah Googlebot melakukan crawl terhadap halaman dinamis yang anda buat, buat file robots.txt yang berisi file berikut :

User-agent : googlebot
Disallow : /*?

Perhatikan jika ada website lain yang melakukan link terhadap halaman tersebut, halaman ini akan ditambahkan pada index Google. Akibatnya URL dari halaman dan informasi yang ada didalamnya akan terlihat di Google sebagai hasil pencarian.
tapi, bagaimana pun juga, tidak akan ada isi halaman yang akan dicrawl,dindeks atau ditampilkan.

Untuk mencegah halaman ditambahkan ke index Google , walaupun dilink oleh website lain, gunakan meta tag "no index" dan pastikan halaman tersebut tidak muncul pada robots.txt.Ketikan googlebot melakukan crawl terhadap halaman, metag tag noindex akan dieksekusi dan URL tersebut akan dibuang dari index.

Disarikan dari : Webmaster Help Center

Langkah- langkah Mengikuti Program Google AdSense

1. Buatlah sebuah blog /website.
2. Isi Content website anda dengan isi yang sesuai. Semakin banyak dan bagus isi website atau blog akan semakin bagus. ingat pepatah lama " Content is the King ".
3. Daftarkan website anda di Google (misalnya di google : http://www.google.com/addurl) atau search engine lainnya. Memang butuh waktu untuk bisa diindeks oleh google.Sante saja , tidak usah terburu-buru. isi saja dulu website anda dengan isi yang variatif.
4. Setelah website sudah didaftarkan, sambil mengisi content, daftarkan website/blog anda ke program adsense. Anda bisa memakai link di blog ini.
5. Setelah itu muncul login.

Karena anda baru saja memulai, klik Sign up Now ..

6. Isi data website dan data pribadi yang diminta.

Jika semua sudah terisi, maka submit data data ini. dalam jangka waktu kurang lebih 2-5 hari akan ada relpy dari google, apakah website kita layak memasang iklan dari program adsense atau tidak.
Jika disetujui, ikuti langkah berikutnya di blog ini

Google AdSense

Pendapatan pasif dari internet? (Yang pasti bukan MLM...no MLM .. go to hell MLM ).
Google sukses membuka lapangan kerja baru lewat bisnis iklan yang mereka bangun. Google yang kaya karena sen demi sen pendapatan iklan yang mereka kumpulkan ,telah membuat program pemasangan Iklan (Ad Words ) dan membuka kesempatan mendapatkan pendapatan bagi mereka yang rela space websitenya diisi iklan dengan program Adsense.
Anda bisa ikut program ini. Program ini halal 100%, sudah banyak yang berhasil mendapatkan Cek dari om Google. Saya sendiri baru ikut 5 bulan yang lalu. Yah, dengan semangat biasa biasa saja dan tidak ngoyo, saya sudah mendapat $ 31 . Lumayan , cuma duduk ,ngopi, main internet, chatting, browsing sambil backup dan update Website.
dapet duit terus, bukan omong kosong gaya MLM. cari downline lah, meeting lah, hahaha..
kalau ada yang tersinggung, maap saja.Sekarang kan masanya kebebasan berpendapat..