Setting Robot.txt untuk SEO (WordPress Self Hosting)

Apa saja sitemap yang harus dimasukkan ke dalam Robot.txt supaya indext lebih cepat untuk SEO artikel?

Novice Asked on August 6, 2020 in SEO.
Add Comment

Kira2 begini gan robots di web ane

User-agent: *
Allow: /
Allow: /*.js
Allow: /*.css

Sitemap: https://domain.com/sitemap_index.xml
Sitemap: https://domain.com/post-sitemap.xml
Sitemap: https://domain.com/page-sitemap.xml
Sitemap: https://domain.com/product-sitemap.xml
Sitemap: https://domain.com/category-sitemap.xml
Sitemap: https://domain.com/post_tag-sitemap.xml
Sitemap: https://domain.com/product_cat-sitemap.xml
Sitemap: https://domain.com/product_tag-sitemap.xml

Nggk harus juga sih masukin sitemap di robots file

Novice Answered on August 6, 2020.
Add Comment

Robot.txt yang biasa mimin pake sih yang default saja, kecuali ada kebutuhan khusus agar directory tertentu jangan di crawl baru disesuaikan

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Forum Master Answered on August 6, 2020.

Aku mau nanya min, untuk label dan tag. Lebih bagus di minta untuk Crawling atau tidak ya? Dalam arti lain. Lebih baik keindex atau tidak sama sekali?

on August 6, 2020.
Add Comment

Cuman sara. Kalo semisalnya masih belom tahu apa apa mengenai robot txt alangkah baiknya di sering default aja ok. Dari pada nanti kena masalah dalam pengindexannya

Novice Answered on August 6, 2020.
Add Comment

Sebaiknya gausah di ganti2 sih gan, dibuat default aja (seminimal2-nya menampilkan URL Sitemap)

sitemap: https://sehatdirumah.com/sitemap.xml

 

Kalau emang tertarik buat kostumisasi bisa liat contoh di sini. Atau ini ada contoh robots.txt web-nya Apple.com di https://www.apple.com/robots.txt lumayan bagus buat contoh.

 

# robots.txt for http://www.apple.com/





User-agent: *


Disallow: /*/includes/*


Disallow: /*retail/availability*


Disallow: /*retail/availabilitySearch*


Disallow: /*retail/pickupEligibility*
 
User-agent: Sogou web spider


Disallow: /*


Allow: /cn/*


Allow: /cn-k12/*





User-agent: Sogou inst spider


Disallow: /*


Allow: /cn/*


Allow: /cn-k12/*





User-agent: Sogou spider2


Disallow: /*


Allow: /cn/*


Allow: /cn-k12/*
 
Sitemap: https://www.apple.com/shop/sitemap.xml


Sitemap: https://www.apple.com/autopush/sitemap/sitemap-index.xml


Sitemap: https://www.apple.com/newsroom/sitemap.xml


Sitemap: https://www.apple.com/retail/sitemap/sitemap.xml


Sitemap: https://www.apple.com/today/sitemap.xml

 

Novice Answered on August 6, 2020.
Add Comment

Ini mungkin bisa buat referensi https://wpbeginner.com/robots.txt

Novice Answered on August 7, 2020.
Add Comment

Robot.txt biarkan default

Submit sitemap yang ingin diindex, ini sesuai settingan plugin SEO nya. Mana yang index dan noindex.

https://domain.com/sitemap_index.xml
https://domain.com/post-sitemap.xml
https://domain.com/page-sitemap.xml

Submit ke Google Console

Di Google Console tunggu sampai muncul report dari sitemap yang kita submit.

Kalau datanya sudah muncul, maka akan ada permalik dari situs kita.

Terus lihat di bagian Coverage, halaman mana saja yang statusnya belum diindex. Yang bisa kita lakukan adalah meminta google untuk mengindex halaman situs kita tersebut.

Hasilnya kadang bisa langsung keindex saat itu juga atau mengunggu beberapa hari. Cara ini lebih cepat dari pada kita tidak meminta google untuk mengindex situs kita..

Novice Answered on August 7, 2020.
Add Comment

Oh iya tambahan gan, ketimbang ngoprek robot.txt-nya, keliatannya kalau dari sisi SEO lebih pengaruh sitemap.xml yang terupdate dan sesuai sama konten web deh

Novice Answered on August 7, 2020.

ok siap ty gan

on August 8, 2020.
Add Comment

Boleh juga melihat file robots.txt website yang satu ini https://searchengineland.com/robots.txt

Novice Answered on August 13, 2020.
Add Comment

apa yang boleh,  apa yang tidak

Novice Answered on August 31, 2020.
Add Comment

Your Answer

By posting your answer, you agree to the privacy policy and terms of service.