Jika Anda bertanya-tanya bagaimana cara mengoptimalkan file WordPress robots.txt untuk SEO yang lebih baik , Anda telah datang ke tempat yang tepat.

Dalam panduan singkat ini, saya akan menjelaskan apa itu file robots.txt, mengapa penting untuk meningkatkan peringkat pencarian Anda , dan bagaimana cara mengeditnya dan mengirimkannya ke Google.

Mari Simak !

Apa itu file WordPress robots.txt dan apakah saya perlu khawatir?

File robots.txt adalah file di situs Anda yang memungkinkan Anda untuk menolak akses mesin pencari ke file dan folder tertentu. Anda dapat menggunakannya untuk memblokir bot Google (dan mesin pencari lainnya) agar tidak merayapi halaman tertentu di situs Anda. Ini contoh file:

Jadi bagaimana cara menolak akses ke mesin pencari benar-benar meningkatkan SEO Anda? Tampaknya berlawanan dengan keinginan anda ...

Ini berfungsi seperti ini: Semakin banyak halaman di situs Anda, semakin banyak halaman yang harus dirayapi Google.

Misalnya, jika Anda memiliki banyak kategori dan tag halaman di blog Anda, halaman-halaman ini berkualitas rendah dan tidak perlu dijelajahi oleh mesin pencari. mereka hanya menghabiskan waktu perayapan situs Anda (jumlah halaman yang dialokasikan Google akan merayapi situs Anda pada waktu tertentu).

Waktu perayapan penting karena menentukan seberapa cepat Google mengetahui perubahan situs Anda - dan seberapa cepat peringkat Anda. Ini khususnya dapat membantu dengan SEO eCommerce !

Harus berhati-hati untuk melakukan ini dengan benar, karena dapat membahayakan SEO Anda jika dilakukan dengan buruk. Untuk info lebih lanjut tentang cara mengindeks-benar halaman yang benar, lihat panduan ini oleh DeepCrawl .

Jadi, apakah Anda perlu mengacaukan file WordPress robots.txt Anda?

Jika Anda berada di kategori yang sangat kompetitif dengan situs besar, mungkin. Namun, jika Anda baru memulai blog pertama Anda , membangun tautan ke konten Anda dan membuat banyak artikel berkualitas tinggi  adalah prioritas yang lebih besar.

Cara mengoptimalkan file WordPress robots.txt untuk SEO yang lebih baik

Sekarang, mari kita bahas bagaimana cara mendapatkan (atau membuat) dan mengoptimalkan file WordPress robots.txt.

Robots.txt biasanya berada di folder root situs Anda. Anda harus terhubung ke situs Anda menggunakan  klien FTP  atau dengan menggunakan manajer file cPanel Anda untuk melihatnya. Ini hanya file teks biasa yang bisa Anda buka dengan Notepad.

Jika Anda tidak memiliki file robots.txt di direktori root situs Anda, maka Anda dapat membuatnya. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan menyimpannya sebagai robots.txt. Kemudian, cukup unggah ke folder root situs Anda.

Seperti apa tampilan file robots.txt yang ideal?

Format untuk file robots.txt sangat sederhana. Baris pertama biasanya menyebutkan agen pengguna. Agen pengguna adalah nama bot pencarian yang Anda coba komunikasikan. Misalnya, Google bot atau Bing bot. Anda dapat menggunakan tanda bintang * untuk menginstruksikan semua bot.

Baris berikutnya mengikuti dengan Izinkan atau Batalkan instruksi untuk mesin pencari, sehingga mereka tahu bagian mana yang ingin Anda indeks, dan mana yang Anda tidak ingin diindeks.

Ini sebuah contoh:

 

 

User-Agent: * 

Allow: /?display=wide 

Allow: /wp-content/uploads/ Disallow: /readme.html 

Disallow: /refer/ 

Sitemap: http://www.codeinwp.com/post-sitemap.xml

Sitemap: http://www.codeinwp.com/page-sitemap.xml 

Sitemap: http://www.codeinwp.com/deals-sitemap.xml 

Sitemap: http://www.codeinwp.com/hosting-sitemap.xml

 

Perhatikan bahwa jika Anda menggunakan plugin seperti Yoast atau All in One SEO , Anda mungkin tidak perlu menambahkan bagian sitemap, karena mereka mencoba melakukannya secara otomatis. Jika gagal, Anda dapat menambahkannya secara manual seperti pada contoh di atas.

 

Apa yang harus saya larang atau noindex?

Dalam pedoman webmaster Google, mereka menyarankan webmaster untuk tidak menggunakan file robots.txt mereka untuk menyembunyikan konten berkualitas rendah. Jadi, menggunakan file robots.txt Anda untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip Anda lainnya mungkin bukan pilihan yang bijak.

Ingat, tujuan robots.txt adalah untuk memberi tahu bot apa yang harus dilakukan dengan konten yang mereka jelajahi di situs Anda. Itu tidak menghentikan mereka untuk merayapi situs web Anda.

Juga, Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan secara otomatis oleh WordPress.

Namun saya merekomendasikan Anda untuk melarang file readme.html di file robots.txt Anda. File readme ini dapat digunakan oleh seseorang yang mencoba mencari tahu versi WordPress yang Anda gunakan. Jika ini seseorang, mereka dapat dengan mudah mengakses file hanya dengan menjelajahinya. Plus, menempatkan tag larangan di dapat memblokir serangan berbahaya.

Bagaimana cara mengirim file WordPress robots.txt saya ke Google?

Setelah memperbarui atau membuat file robots.txt, Anda dapat mengirimkannya ke Google menggunakan Google Search Console.

Namun, saya sarankan mengujinya terlebih dahulu menggunakan alat pengujian robots.txt Google .

 

Jika Anda tidak melihat versi yang Anda buat di sini, Anda harus mengunggah ulang file robots.txt yang Anda buat ke situs WordPress Anda. Anda dapat melakukan ini menggunakan Yoast SEO .

 

Kesimpulan

Anda sekarang tahu cara mengoptimalkan file WordPress robots.txt untuk SEO yang lebih baik.

Ingatlah untuk berhati-hati ketika membuat perubahan besar pada situs Anda melalui robots.txt. Meskipun perubahan ini dapat meningkatkan lalu lintas pencarian Anda, mereka juga dapat melakukan lebih banyak kerusakan daripada kebaikan jika Anda tidak hati-hati.

 

Artikel Terkait