Laporkan jika link apk download error atau rusak dikolom komentar. Terima Kasih sudah berkunjung semoga betah .dan silahkan request Mengenal Robots.txt - Jalandollar.com

Mengenal Robots.txt

Mengenal Robots.txt
Apa itu robots.txt? robots.txt adalah file yang berguna untuk mencegah atau mengizinkan spider search engine atau robots search engine mengindex atau mengcrawl konten atau isi dari website kita. Secara default suatu website pasti di crawl oleh para spider search engine. Tiap informasi yang ada di website kita pasti tercrawl oleh spiderbot search engine baik itu googlebot, yahoo bot, msn bot atau yang lainnya untuk kepentingan mereka. Kasarnya website kita ditelanjangi oleh mereka! digeledah! Mangnya kita mau ditelanjangin mereka??

Nah untuk itulah kita menggunakan file yang bernama robots.txt yang berguna mencegah dan melindungi privasi kita :)

Bagaimana cara membuat file robots.txt?
Bentuk file robots.txt adalah text biasa jadi kita bisa membuatnya pake notepad atau text editor lainnya. Jadi kita tinggal bikin pake notepad lalu upload ke bagian root website kita misalnya di ahmadalimuddin.com/robots.txt, file robots.txt ini hanya berlaku untuk satu domain saja tidak berlaku untuk subdomain jadi file robots di ahmadalimuddin.com/robots.txt tidak berlaku untuk subdomain blog.ahmadalimuddin.com ;)

Apa isinya?
Ini isi dasar dari file robots.txt

User-agent: *
Disallow: /


Ini berarti menghalangi semua robot (User-agent : *) mengindex semua yang ada website kita ( Dissallow: / )

Sekarang kita buat pengecualian. misalnya kita pengen google's image bot mengcrawling tiap gambar yang ada diwebsite kita. maka isi robots.txt kita jadi seperti ini..

User-agent: Googlebot-image
Disallow: /


Nah kalo kita pengen menghalangi semua bot mengindex halaman-halaman tertentu yang penting bagi kita misalnya konten /phpmyadmin/ atau direktori /admin/ maka kita isi file robots.txt kita jadi seperti ini...

User-agent: *
Disallow: /phpmyadmin/
Disallow: /admin/


Kalo kita pengen ngizinin spider bot / crawler mengindex semua yang ada di website kita ya kita ga usah pake robots.txt atau kalo mau robots.txt nya isi dengan..

User-agent: *
Disallow:


jadi Disallow: nya di kosongin aja.. ;D

Referensi :
en.wikipedia.org/wiki/Robots_Exclusion_Standard
www.javascriptkit.com/howto/robots.shtml
bloger SEO

Dapatkan Tips pertuyulan Setiap Harinya!

  • Dapatkan tips dan trik yang belum pernah kamu tau sebelumnya
  • Jadilah orang pertama yang mengetahui hal-hal baru di dunia pertuyulan
  • Dapatkan sapujagad Gratis: Cara Dapat 200 Juta / bulan dari Ads selain adsense

0 Response to "Mengenal Robots.txt"

Post a Comment

Catatan Untuk Para Jejaker
  • Mohon Tinggalkan jejak sesuai dengan judul artikel.
  • Tidak diperbolehkan untuk mempromosikan barang atau berjualan.
  • Dilarang mencantumkan link aktif di komentar.
  • Komentar dengan link aktif akan otomatis dihapus
  • *Berkomentarlah dengan baik, Kepribadian Anda tercemin saat berkomentar.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel