Setting Robot.txt Pada Blogger

Hai sobat turtlebin kali ini bahasan tentang Cara Setting Robots.txt Khusus Blogger Dan Penjelasannya - Jika anda seorang blogger niscaya anda pernah mendengar Robots.txt , dan niscaya di saat pertama kali kita mendengar kata tersebut kita akan merasa kebingungan , nah kita sama saya juga di saat pertama kali mendengan ungkapan robots.txt niscaya saya akan merasa bingung.

Cara Setting Robots.txt Khusus Blogger Dan Penjelasannya

Apa itu robots.txt

Robots.txt adalah file teks berformat.txt yang harus ada di setiap situs web yang didaftarkan di Google, Yahoo!, dan Bing. Robots.txt sangat terkait dengan SEO karena berfungsi untuk mengontrol atau mengontrol halaman atau direktori mana yang dapat dilihat atau diindeks oleh mesin telusur.

Cara kerja dari robots.txt

Jika situs anda berdomain .com dan domain anda didaftarkan pada mesin pemcari google.com atau mesin penelusuran lainnya. maka secara otomatis anda memperbolehkan atau meminta robot-robot yang dimiliki oleh mesih pencari tersebut untuk mendatangi dan merayapi situs yang anda miliki. nah di saat pertama kali robot-robot pencari tersebut merayapi situs anda maka yang pertama mereka cari merupakan file robots.txt. File robots.txt tersebut berisi perintah-perintah tentang halaman mana saja yang diperbolehkan diperbolehkan untuk di index atau ditampilkan pada situs mesin pencari. pada blogspot , default robots.txt dikontrol selaku berikut:

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED

Kode diatas bermakna selaku berikut:

"User-agent:" Mediapartners-Google" menunjukkan bahwa arahan di bawah ini hanya berlaku untuk robot perayap atau bot crawler; "Mediapartners-Google" adalah robot perayap untuk Google AdSense.

" disallow: " berarti tidak ada batas-batas untuk para robot untuk merayapi halaman anda , dengan kata lain , para robot sanggup marayapi semua halaman disitus anda.

" User-agent: * " berarti bahwa kode/perintah yang diposisikan di bawahnya berlaku pada semua robot pencari dewakili dengan tanda *.

" disallow: /search "Melarang robot pencari untuk mencari URL dengan awalan urlbloganda.com/search.

" allow: / " membiarkan robot pencari marayapi semua halaman kecuali yang disebutkan dalam perintah tidak diizinkan.

"sitemap:" merupakan sitemap dari situs anda , yang diberitahukan terhadap robot pencari biar mudah di saat menjelahahinya lagi. Sitemap mencakup semua link yang ada di situs untuk crawler dapat mengaksesnya.

Cara mengendalikan Robots.txt

Jika kita ingin memodifikasi atau mengendalikan robots.txt Anda , pertama anda mesti waspada apalagi dulu dan paham betul sebab kesalahan pengaturan sanggup menghasilkan situs web adna tidak terindex oleh mesin pencari.

a. Memblokir url

Untuk memblokir postingan tertentu biar tidak diindeks oleh semua mesin penelusuran , anda sanggup melakukan dengan menempatkan arahan dibawah ini.

user-agent: *
disalllow: /2012/11/url-permalink-posting.html

Kode yang berwarna merah merupakan pola dari struktur arahan url posting blogspot yang diblokir tanpa menuliskan nama domain web.

b. Memblokir folder/direktori

Untuk memblokir folder atau direktori yang terdapat pada situs yang kita miliki dengan arahan menyerupai dibawah ini:

user-agent: *
disallow: /cgi-bin/
disallow: /wp-admin/
disallow: /wp-includes/
disallow: /wp-content/plugins/
disallow: /wp-content/cache/
disallow: /wp-content/themes/

Kode di atas melarang robot pencari untuk merayapi semua file web di folder kita.

c. Memblokir url yang mengandung karakter/kata tertentu.

Dengan menggunakan robots.txt kita sanggup pergunakan untuk memblokir url yang memiliki karakter/kata tertentu biar tidak sanggup terindex oleh mesin pencari. Misalnya saya menggunakan aksara tanda tanya (?) yang umumnya dipakai pada url untuk query setting atas penarian pada web tertentu yang menyebabkan duplikat.

user-agent: * disallow: /*?* #untuk memblok semua url yang mengandung "?"
allow: /*?$ #untuk mengizinkan susukan pada semua url yang memiliki akhiran "?"

d. Memblokir susukan pada ekstensi/format file tertentu.

Robots.txt sanggup kita atur untuk memblokir file dalam situr yang anda miliki dan memiliki format tertentu. Misalnya, kita akan memblokir file css, php, dan javascript.

user-agent: *
disallow: /*.php$
disallow: /*.js$
disallow: /*.css$

Cara memasang robots.txt

Robots.txt digunakan oleh blogger untuk mencegah atau memungkinkan search engine melakukan pengindeksan pada blog kita. Dengan demikian, kita memiliki kemampuan untuk memilih mana halaman yang diindeks dan mana yang tidak. Di sini, saya akan menjelaskan cara mengontrol robots.txt pada blogger kita agar konten tidak duplikat pada halaman pencarian, halaman mobile, dan permalink komentar.

Untuk cara settingnya silahkan masuk ke blogger kita dan pilih setelan->search preference kemudian pilih custom robots.txt->edit

Setting Robots.txt bloger

Selanjutnya masukkan arahan berikut pada form yang tersedia

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
Sitemap: https://webanda/feeds/posts/default?orderby=UPDATED

Ganti kata yang berwarna merah dengan alamat web atau blog anda kemudian simpan pergantian yang sudah kita masukkan tadi.

Sekarang jaman nya web yang mobile friendly jadi anda juga mesti wajib baca postingan ini

Bahaya: Disallow M=1 dan M=0 pada Robos.txt dan Algoritma Google Mobile Tidak Akan Merayapi Blog Versi Mobile Anda

Kesimpulan

Robots.txt sungguh mempunyai kegunaan bagi blog yang anda pergunakan , dengan memutuskan mana saja yang sanggup di susukan dengan menggunakan script yang robots.txt , dengan menggunakan robots.txt kecepatan susukan dari suatu web akan kian cepat.

demikian postingan saya mengenai Setting Robots.txt Khusus Blogger semoga postingan saya ini berharga untuk kita semua

Share this artikel