Blog

/

Digital Marketing

/

4 Cara Setting robots.txt di WordPress, Panduan Lengkap!

4 Cara Setting robots.txt di WordPress, Panduan Lengkap!

Siti Khadijah Azzukhruf Firdausi

17 February 2024

6057

Image Banner

Menerapkan cara setting robots.txt di WordPress adalah langkah penting dalam mengontrol mesin pencari yang menjelajahi website. Dengan file robots.txt, kamu bisa memberikan instruksi kepada robot mesin pencari tentang halaman yang bisa diindeks.


Hal ini bisa memastikan bahwa konten yang diinginkan tetap bisa muncul di hasil pencarian. Sementara itu, halaman yang tidak relevan atau sensitif tetap terlindungi.


Untuk membantumu dalam mempelajari cara setting robots.txt di WordPress, MinDi sudah siapkan panduan lengkap di sini. Baca sampai habis ya!


Apa itu robots.txt?


Robots.txt adalah file teks khusus yang ada di direktori utama sebuah website. File ini digunakan untuk memberikan instruksi kepada mesin pencari dan robot web lainnya. 


Instruksi yang diberikan terkait dengan bagaimana cara mengindeks dan menjelajahi situs tersebut. Umumnya, letak file robots.txt adalah di root domain situs web. Mesin pencari akan mencari file ini secara otomatis ketika mereka mengunjungi suatu website untuk diindeks.


Fungsi utama dari file robots.txt adalah memberikan petunjuk kepada mesin pencari tentang bagian website mana yang boleh atau tidak boleh mereka kunjungi dan indeks. Dengan file tersebut, pemilik website dapat mengontrol akses dan visibilitas kontennya di mesin pencari.


Manfaat Menggunakan robots.txt


Berikut adalah beberapa manfaat penggunaan file robots.txt:


  • Mengoptimalkan SEO

Dengan menandai halaman mana yang boleh diindeks, kamu bisa membantu mesin pencari agar fokus crawling pada halaman terpenting di website. Hal ini bisa meningkatkan perfoma SEO dan peringkat situs di hasil pencarian.


  • Meningkatkan Keamanan

Dengan memblokir akses ke halaman sensitif (halaman login atau area admin), kamu bisa melindungi website dari peretas atau cybercrime lainnya.


  • Mempercepat Website

Dengan mencegah mesin pencari mengakses halaman tak perlu, kamu bisa mengosongkan sumber daya di server agar bisa mempercepat performa website.


Baca Juga: Pelajari Cara Membuat Blog di WordPress yang Menarik


Perintah dan Konfigurasi untuk File robots.txt di WordPress


Berikut adalah beberapa perintah penting yang ada pada file robots.txt:


  • User-Agent: Perintah untuk mendeskripsikan rule nama/jenis robot.

  • Allow: Perintah untuk menandai bagian mana yang dapat diakses oleh robot.

  • Disallow: Perintah untuk menandai bagian mana yang tidak boleh diakses oleh robot.


Konfigurasi file robots.txt termasuk cukup sederhana karena hanya terdiri dari beberapa perintah yang diperlukan saja. Berikut adalah contoh dari konfigurasi file robots.txt yang bisa diterapkan:


User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

User-agent: Bingbot

Disallow: /


Selain contoh di atas, ada cara setting lain yang bisa digunakan untuk mengizinkan mesin pencari melakukan crawling ke website. Berikut adalah skripnya:


User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://yourdomain.com/sitemap.xml


Skrip di atas adalah contoh konfigurasi robots.txt yang mengarahkan mesin pencari untuk menjelajahi isi konten website.


Baca Juga: Kupas Tuntas Bagaimana Cara Kerja Mesin Pencari


Cara Setting robots.txt di WordPress dengan Yoast SEO


Berikut adalah langkah-langkah untuk menerapkan cara setting robots.txt di WordPress dengan Yoast SEO:


Langkah 1: Instal Plugin Yoast SEO



install plugin Yoast SEO


Langkah 2: Masuk ke Menu Tools




menu tools Yoast SEO



Langkah 3: Buat File robots.txt




  • Masukkan Rule yang Mau Diterapkan Pada Website

  • Sesuai Rule dengan Kebutuhan Website di Sini



Cara Setting robots.txt di WordPress dengan All in One SEO


Berikut adalah beberapa langkah untuk melakukan setting robots.txt di WordPress dengan All in One SEO:


Langkah 1: Instal Plugin All in One SEO



Langkah 2: Aktifkan Fitur robots.txt




Langkah 3: Tambahkan Rule



Cara Setting robots.txt di WordPress dengan Rank Math


Berikut adalah beberapa langkah untuk menerapkan cara setting robots.txt di WordPress dengan Rank Math:


Langkah 1: Instal Plugin Rank Math & Edit robots.txt




Langkah 2: Masukkan Kode di File robots.txt


Rank Math akan otomatis menambahkan serangkaian rules termasuk sitemap ke file robots.txt. Tapi, kamu tetap bisa menambahkan atau mengedit kode sesuai keinginanmu pada area teks yang tersedia. 



Langkah 3: Simpan Perubahan


Setelah selesai mengedit file robots.txt, klik Save Changes.


Baca Juga: 8 Rekomendasi Plugin Wajib WordPress untuk SEO


Cara Setting robots.txt di WordPress Manual dengan FTP


Cara setting robots.txt di WordPress yang terakhir bisa dilakukan secara manual dengan mengunggah file melalui FTP (File Transfer Protocol). Berikut adalah langkah-langkahnya:


Langkah 1: Buat File robots.txt





Langkah 2: Upload File robots.txt




Itulah beberapa cara setting robots.txt di WordPress yang bisa kamu terapkan. Dengan memahaminya, kamu bisa mengendalikan akses robot mesin pencari ke website. Hal ini bisa berdampak bagi visibilitas website milikmu di hasil pencarian.


Selain robots.txt, ada upaya lain yang harus dilakukan untuk tingkat visibilitas website di mesin pencari. Apakah kamu tertarik untuk mempelajarinya? Jika iya, MinDi rekomendasikanmu untuk ikut Bootcamp Digital Marketing dibimbing.id.


Lewat program ini, kamu bisa belajar trik SEO hingga strategi pemasaran di media sosial. Materinya lengkap dan didasari silabus beginner friendly. Sehingga, program ini cocok banget buat kamu yang beralih karir dan mulai dari nol.


Di sini, kamu bakal dibimbing sampai jadi! Yuk, segera daftar dan mulai karir yang lebih baik bersama Dibimbing.id!





bootcamp digital-marketing

Share

Author Image

Siti Khadijah Azzukhruf Firdausi

A writer with a passion for linguistics and crafting words into interesting writing. Explore my writing and share your thoughts on it.

Artikel Terkait

6 Langkah Awal Mengembangkan Produk Digital - dibimbing.id

Product Management

Digital Marketing

6 Langkah Awal Mengembangkan Produk Digital - dibimbing.id

Di era saat ini, siapa sih yang ga pengen punya produk digital yang sukses di pasaran? Berikut bebe...

Image Author

Kezia Margaretha

11 November 2022

Apa Itu Backlink Dofollow dan Seberapa Penting?

Digital Marketing

Apa Itu Backlink Dofollow dan Seberapa Penting?

Salah satu strategi yang sangat efektif dalam SEO adalah membangun tautan balik (backlink), termasu...

Image Author

Muhammad Fazer Mileneo

09 September 2023

Perbedaan SEO dan SEM, Mana yang Cocok untuk Bisnismu?

Digital Marketing

Perbedaan SEO dan SEM, Mana yang Cocok untuk Bisnismu?

Masih bingung tentang perbedaan SEO dan SEM? Artikel ini akan kupas tuntas seluk beluk dari SEO dan...

Image Author

Nadia L Kamila

05 October 2023

Cara Menentukan Teknik Promosi Media Sosial yang Cocok

Digital Marketing

Cara Menentukan Teknik Promosi Media Sosial yang Cocok

Temukan macam-macam teknik promosi media sosial yang cocok untukmu dan cari tahu mana yang paling c...

Image Author

Anisa Fitri Maulida

02 November 2023

Kenali Social Media Marketing: Definisi, Tujuan, Skill, dan Gaji

Digital Marketing

Kenali Social Media Marketing: Definisi, Tujuan, Skill, dan...

Beberapa pekerjaan tentunya memiliki tujuan masing-masing dalam perusahaan, begitu juga tujuan soci...

Image Author

Anisa Fitri Maulida

08 December 2023

Memahami 5 Job Desk Copywriter yang Utama, Yuk Pelajari!

Digital Marketing

Memahami 5 Job Desk Copywriter yang Utama, Yuk Pelajari!

Job desk copywriter adalah tanggung jawab yang melibatkan pengembangan konten kreatif dan persuasi...

Image Author

Siti Khadijah Azzukhruf Firdausi

16 January 2024