Yasin K Yasin K is a Technical Content Writer for Niagahoster Blog. Other words are unimportant things you will never need to know. Let the content speak for itself :)

Cara Setting Robot TXT di WordPress

4 min read

Cara Setting Robot TXT di WordPress-resize

Pemilik situs pasti juga menginginkan situs miliknya berada di peringkat atas pencarian Google. Namun, mesin pencari Google tidak bisa membedakan halaman mana yang boleh dan tidak boleh diindeks. Agar halaman setiap situs dapat terindeks dengan rapi dan membatasi halaman yang tidak boleh diindeks, Anda membutuhkan file robots.txtApa itu robots.txt dan bagaimana cara setting robot txt di WordPress? Kami akan membahasnya melalui artikel ini.

Sebelum itu, perlu diketahui bahwa dengan memberikan robots.txt pada situs, maka akan memberikan tanda ke Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.

Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.

Apa itu Robots.txt?

Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya adalah sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.

Ketika membuat website baru dan dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian. Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.

Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.

Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.

Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.

Letak File Robots.txt

File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.

Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Membuat sendiri file robots.txt yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual.

File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.

Rule File Robots.txt di WordPress

Konfigurasi robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

User-agent: Bingbot

Disallow: /

Atau Anda dapat menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa situs pencari untuk melakukan ‘crawl’.  Anda cukup menambahkan beberapa baris skrip seperti dibawah ini.

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://karsanusantara.com/sitemap.xml

Keterangan:

  1. User-agent: bagian ini digunakan untuk mendeskripsikan rule jenis/nama robot.
  2. Allow: untuk menambahkan bagian mana yang dapat diakses oleh robot.
  3. Disallow: untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot.

Skrip di atas merupakan contoh dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan. Misalnya, jika terdapat halaman forum, maka yang perlu dilakukan adalah disallow folder forum agar tidak terbaca oleh mesin pencarian agar tidak muncul pada hasil pencarian. Bisa jadi jika tidak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.

Cara Setting Robot TXT di WordPress

Ada beberapa cara yang dapat Anda lakukan untuk mengaktifkan Robot TXT di WordPress. Cara yang paling simpel dan tidak memerlukan tambahan plugin adalah dengan mengunggah file robots.txt secara manual. Setidaknya akan ada tiga cara yang akan kita bahas pada artikel ini, yaitu cara setting robot txt di WordPress menggunakan All in One SEO Pack, Yoast SEO, dan yang terakhir menggunakan cara manual.

  • Menggunakan Plugin All in One SEO Pack

Setidaknya ada empat cara setting robot txt di WordPress menggunakan plugin All in One SEO Pack.

Langkah 1 – Instal All in One SEO Pack

Anda perlu melakukan instalasi plugin All in One SEO Pack jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.

Langkah 2 –  Feature Manager

Setelah proses instalasi selesai, kemudian masuk ke dalam menu All in One SEO. Kemudian mengaktifkan fitur robots.txt yang ada di dalamnya.

Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.

Cara Setting Robot TXT di WordPress

Langkah 3 – Klik Robots.txt

Saat robots.txt sudah aktif, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.

Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.

Cara Setting Robot TXT di WordPress - 2_compressed

Langkah 4 – Menambahkan Rule

Anda tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.

  • Menggunakan Plugin Yoast SEO

Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin Yoast SEO. Plugin ini fungsinya hampir sama dengan All in One SEO Pack. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.

Langkah 1 – Instal Plugin

Langkah pertama perlu dilakukan tentu saja melakukan instalasi plugin Yoast SEO.

Langkah 2 – Masuk ke Halaman Tools

Setelah terinstal, navigasikan menu menuju ke “SEO -> Tools”. Pada halaman ini akan ada beberapa pilihan yang muncul, klik “File Editor”.

Cara Setting Robot TXT di WordPress 3

Langkah 3 – Membuat File Robots.txt

Pada halaman selanjutnya akan ada pilihan untuk “Create a New Robots.txt”. Pada halaman ini, masukkan rule yang ingin diterapkan pada situs web.

Anda dapat menyesuaikan dengan kebutuhan situs Anda masing-masing.

  • Mengunggah Manual File Robots.txt

Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.

Langkah 1 – Membuat File Robots.txt

Anda dapat membuat terlebih dahulu file robots.txt menggunakan aplikasi note di perangkat desktop. Pada contoh ini kami menggunakan Atom.

Masukkan rule ke dalam file dan klik “Save”.

Cara Setting Robot TXT di WordPress - 5

Langkah 2 –  Mengunggah File Robots.txt ke Server Hosting

Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.

Cara Setting Robot TXT di WordPress - 6_compressed

Submit ke Google Search Console

Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Google Search Console.

Cara Setting Robot TXT di WordPress - 7

Kesimpulan

Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di ‘crawl’. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan ‘crawl’ pada file atau folder tertentu.

Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau ‘rule’ robots.txt secara manual.

Terima kasih sudah menyimak artikel ini, semoga dapat memberikan gambaran kepada Anda mengenai penggunaan dan cara setting robot txt di WordPress.

Yasin K Yasin K is a Technical Content Writer for Niagahoster Blog. Other words are unimportant things you will never need to know. Let the content speak for itself :)

4 Replies to “Cara Setting Robot TXT di WordPress”

    1. Hai, kak. Fungsi disallow mencegah search engine untuk melakukan crawling di folder tersebut. Misalnya fungsi yang dituliskan disallow: /wp-content, maka satu folder wp-content tersebut tidak dapat dicrawl dan diindex oleh search engine.

Leave a Reply

Your email address will not be published. Required fields are marked *