Blog

Digital Marketing

4 Cara Setting robots.txt di WordPress, Panduan Lengkap!

Siti Khadijah Azzukhruf Firdausi

•

17 February 2024

•

6545

Menerapkan cara setting robots.txt di WordPress adalah langkah penting dalam mengontrol mesin pencari yang menjelajahi website. Dengan file robots.txt, kamu bisa memberikan instruksi kepada robot mesin pencari tentang halaman yang bisa diindeks.

Hal ini bisa memastikan bahwa konten yang diinginkan tetap bisa muncul di hasil pencarian. Sementara itu, halaman yang tidak relevan atau sensitif tetap terlindungi.

Untuk membantumu dalam mempelajari cara setting robots.txt di WordPress, MinDi sudah siapkan panduan lengkap di sini. Baca sampai habis ya!

Apa itu robots.txt?

Robots.txt adalah file teks khusus yang ada di direktori utama sebuah website. File ini digunakan untuk memberikan instruksi kepada mesin pencari dan robot web lainnya.

Instruksi yang diberikan terkait dengan bagaimana cara mengindeks dan menjelajahi situs tersebut. Umumnya, letak file robots.txt adalah di root domain situs web. Mesin pencari akan mencari file ini secara otomatis ketika mereka mengunjungi suatu website untuk diindeks.

Fungsi utama dari file robots.txt adalah memberikan petunjuk kepada mesin pencari tentang bagian website mana yang boleh atau tidak boleh mereka kunjungi dan indeks. Dengan file tersebut, pemilik website dapat mengontrol akses dan visibilitas kontennya di mesin pencari.

Manfaat Menggunakan robots.txt

Berikut adalah beberapa manfaat penggunaan file robots.txt:

Mengoptimalkan SEO
Dengan menandai halaman mana yang boleh diindeks, kamu bisa membantu mesin pencari agar fokus crawling pada halaman terpenting di website. Hal ini bisa meningkatkan perfoma SEO dan peringkat situs di hasil pencarian.

Meningkatkan Keamanan
Dengan memblokir akses ke halaman sensitif (halaman login atau area admin), kamu bisa melindungi website dari peretas atau cybercrime lainnya.

Mempercepat Website
Dengan mencegah mesin pencari mengakses halaman tak perlu, kamu bisa mengosongkan sumber daya di server agar bisa mempercepat performa website.

Baca Juga: Pelajari Cara Membuat Blog di WordPress yang Menarik

Perintah dan Konfigurasi untuk File robots.txt di WordPress

Berikut adalah beberapa perintah penting yang ada pada file robots.txt:

User-Agent: Perintah untuk mendeskripsikan rule nama/jenis robot.
Allow: Perintah untuk menandai bagian mana yang dapat diakses oleh robot.
Disallow: Perintah untuk menandai bagian mana yang tidak boleh diakses oleh robot.

Konfigurasi file robots.txt termasuk cukup sederhana karena hanya terdiri dari beberapa perintah yang diperlukan saja. Berikut adalah contoh dari konfigurasi file robots.txt yang bisa diterapkan:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /

Selain contoh di atas, ada cara setting lain yang bisa digunakan untuk mengizinkan mesin pencari melakukan crawling ke website. Berikut adalah skripnya:

User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml

Skrip di atas adalah contoh konfigurasi robots.txt yang mengarahkan mesin pencari untuk menjelajahi isi konten website.

Baca Juga: Kupas Tuntas Bagaimana Cara Kerja Mesin Pencari

Cara Setting robots.txt di WordPress dengan Yoast SEO

Berikut adalah langkah-langkah untuk menerapkan cara setting robots.txt di WordPress dengan Yoast SEO:

Langkah 1: Instal Plugin Yoast SEO

Buka Dashboard WordPress >> Plugins >> Add New
Cari Plugin Yoast SEO
Klik Install Now
Tunggu Plugin Selesai Diinstal
Klik Aktifkan
Masuk ke situs WordPress
Lihat bagian Dashboard
Klik Yoast SEO di Menu Admin
Klik menu tools

Langkah 2: Masuk ke Menu Tools

Klik file editor

menu tools Yoast SEO

Langkah 3: Buat File robots.txt

Klik Create robots.txt file

Masukkan Rule yang Mau Diterapkan Pada Website
Sesuai Rule dengan Kebutuhan Website di Sini

Cara Setting robots.txt di WordPress dengan All in One SEO

Berikut adalah beberapa langkah untuk melakukan setting robots.txt di WordPress dengan All in One SEO:

Langkah 1: Instal Plugin All in One SEO

Buka Dashboard WordPress >> Plugins >> Add New
Cari Plugin All in One SEO
Klik Install Now
Tunggu Plugin Terinstal
Klik Aktifkan

Langkah 2: Aktifkan Fitur robots.txt

Masuk ke Bagian Menu All in One SEO
Aktifkan Fitur robots.txt yang Ada di Halaman Feature Manager

Langkah 3: Tambahkan Rule

Temukan Pilihan Menu robots.txt di Tab Bagian Kiri
Klik Menu robots.txt
Tambahkan User-Agent, Rule, dan Directory Path

Cara Setting robots.txt di WordPress dengan Rank Math

Berikut adalah beberapa langkah untuk menerapkan cara setting robots.txt di WordPress dengan Rank Math:

Langkah 1: Instal Plugin Rank Math & Edit robots.txt

Buka Dashboard WordPress >> Plugins >> Add New
Cari Plugin Rank Math
Klik Install Now
Tunggu Plugin Terinstal
Klik Aktifkan
Arahkan ke Dashboard WordPress >> Rank Math >> General Settings >> Edit robots.txt

Langkah 2: Masukkan Kode di File robots.txt

Rank Math akan otomatis menambahkan serangkaian rules termasuk sitemap ke file robots.txt. Tapi, kamu tetap bisa menambahkan atau mengedit kode sesuai keinginanmu pada area teks yang tersedia.

Langkah 3: Simpan Perubahan

Setelah selesai mengedit file robots.txt, klik Save Changes.

Baca Juga: 8 Rekomendasi Plugin Wajib WordPress untuk SEO

Cara Setting robots.txt di WordPress Manual dengan FTP

Cara setting robots.txt di WordPress yang terakhir bisa dilakukan secara manual dengan mengunggah file melalui FTP (File Transfer Protocol). Berikut adalah langkah-langkahnya:

Langkah 1: Buat File robots.txt

Buat file robots.txt melalui aplikasi note, seperti Notepad bawaan Windows.
Buat sejumlah script rules untuk file robots.txt.
Klik Save
Simpanlah file dengan nama robots.txt.

Langkah 2: Upload File robots.txt

Mengunggah file yang telah dibuat ke root server website yang dimiliki.
Letakkan file robots.txt yang dibuat di folder public_html.
Cek kembali file sudah terunggah dengan sukses dengan mengetik namadomain/robots.txt di browser.

Itulah beberapa cara setting robots.txt di WordPress yang bisa kamu terapkan. Dengan memahaminya, kamu bisa mengendalikan akses robot mesin pencari ke website. Hal ini bisa berdampak bagi visibilitas website milikmu di hasil pencarian.

Selain robots.txt, ada upaya lain yang harus dilakukan untuk tingkat visibilitas website di mesin pencari. Apakah kamu tertarik untuk mempelajarinya? Jika iya, MinDi rekomendasikanmu untuk ikut Bootcamp Digital Marketing dibimbing.id.

Lewat program ini, kamu bisa belajar trik SEO hingga strategi pemasaran di media sosial. Materinya lengkap dan didasari silabus beginner friendly. Sehingga, program ini cocok banget buat kamu yang beralih karir dan mulai dari nol.

Di sini, kamu bakal dibimbing sampai jadi! Yuk, segera daftar dan mulai karir yang lebih baik bersama Dibimbing.id!