Semalt: Cara Memblokir Darodar Robots.txt

File Robots.txt adalah file teks biasa yang berisi instruksi tentang bagaimana perayap web atau bot harus merayapi sebuah situs. Aplikasi mereka terbukti dalam bot mesin pencari yang umum di banyak situs web yang dioptimalkan. Sebagai bagian dari Protokol Pengecualian Robot (REP), file robots.txt membentuk aspek penting dari pengindeksan konten situs web serta memungkinkan server untuk mengautentikasi permintaan pengguna yang sesuai.

Julia Vashneva, Manajer Sukses Pelanggan Senior Semalt , menjelaskan bahwa menautkan adalah aspek dari Search Engine Optimization (SEO), yang melibatkan memperoleh lalu lintas dari domain lain dalam niche Anda. Untuk tautan "ikuti" untuk mentransfer jus tautan, penting untuk menyertakan file robots.txt di ruang hosting situs web Anda untuk bertindak sebagai instruktur tentang bagaimana server berinteraksi dengan situs Anda. Dari arsip ini, instruksi diberikan dengan mengizinkan atau melarang bagaimana beberapa agen pengguna tertentu berperilaku.

Format Dasar file robots.txt

File robots.txt berisi dua baris penting:

Agen-pengguna: [nama-agen-pengguna]

Disallow: [URL string tidak dapat dirayapi]

File robots.txt lengkap harus berisi dua baris ini. Namun, beberapa dari mereka dapat berisi beberapa baris agen-pengguna dan arahan. Perintah-perintah ini mungkin berisi aspek-aspek seperti memungkinkan, melarang atau menjelajah-keterlambatan. Biasanya ada jeda baris yang memisahkan setiap set instruksi. Setiap instruksi allow atau disallow dipisahkan oleh pemisah baris ini, terutama untuk robots.txt dengan beberapa baris.

Contohnya

Misalnya, file robots.txt mungkin berisi kode seperti:

Agen-pengguna: darodar

Disallow: / plugin

Disallow: / API

Disallow: / _comments

Dalam hal ini, ini adalah file blok robots.txt yang membatasi perayap web Darodar untuk mengakses situs web Anda. Dalam sintaksis di atas, kode tersebut memblokir aspek-aspek situs web seperti plugin, API, dan bagian komentar. Dari pengetahuan ini, dimungkinkan untuk mencapai banyak manfaat dari mengeksekusi file teks robot secara efektif. File Robots.txt dapat melakukan banyak fungsi. Misalnya, mereka dapat siap untuk:

1. Izinkan semua konten web crawler ke halaman situs web. Contohnya;

Agen pengguna: *

Melarang:

Dalam hal ini, semua konten pengguna dapat diakses oleh perayap web apa pun yang diminta untuk sampai ke situs web.

2. Blokir konten web tertentu dari folder tertentu. Sebagai contoh;

Agen-pengguna: Googlebot

Disallow: / example-subfolder /

Sintaks ini mengandung nama agen-pengguna Googlebot milik Google. Ini membatasi bot dari mengakses halaman web apa pun di string www.ourexample.com/example-subfolder/.

3. Blokir perayap web tertentu dari halaman web tertentu. Sebagai contoh;

Agen-pengguna: Bingbot

Disallow: /example-subfolder/blocked-page.html

Agen pengguna Bing bot milik perayap web Bing. Jenis file robots.txt ini membatasi perayap web Bing dari mengakses halaman tertentu dengan string www.ourexample.com/example-subfolder/blocked-page.

Informasi penting

  • Tidak setiap pengguna menggunakan file robts.txt Anda. Beberapa pengguna mungkin memutuskan untuk mengabaikannya. Sebagian besar perayap web tersebut termasuk Trojans dan malware.
  • Agar file Robots.txt dapat terlihat, file itu harus tersedia di direktori situs web tingkat atas.
  • Karakter "robots.txt" peka huruf besar-kecil. Akibatnya, Anda tidak boleh mengubahnya dengan cara apa pun termasuk kapitalisasi beberapa aspek.
  • "/Robots.txt" adalah domain publik. Siapa pun dapat menemukan informasi ini ketika menambahkannya ke konten URL apa pun. Anda tidak boleh mengindeks detail penting atau halaman yang Anda inginkan tetap pribadi.

send email