Advertisement
Robots.txt adalah sebuah fail TEKS yang secara de facto dijadikan sebagai rujukan awal oleh program penelusur milik mesin pencari (search engine) atau Servis Internet sejenis. Program penelusur Lazim yang disebut sebagai web robot, web crawler, atau web labah-labah, akan memeriksa Adakah sebuah tapak memiliki fail robots.txt dan kemudian memeriksa Arahan-arahan yang diberikan di dalamnya. Perenggan robot mesin pencari ini kemudian akan mengindeks halaman web berdasarkan isntruksi yang ada di fail robots.txt.
Dengan membuat fail robots.txt dan menempatkannya di laman web You, maka proses Indeks dapat lebih Berkesan dan terkontrol. Sebagai contoh, Jika Anda tidak ingin halaman-halaman tertentu diindeks dan kemudian dipaparkan di mesin pencari, maka Anda dapat melarangnya melalui fail robots.txt. Penerapannya bisa untuk melarang Indeks ke lokasi halaman yang sudah dihapus, melarang lokasi yang dianggap rawan duplikasi konten secara SEO (Misalnya tag atau Kategori), dan Sebagainya. Anda juga bisa memblokir robot dari tapak tertentu yang tidak jelas fungsinya namun menghabiskan bandwidth hosting anda.
Ada dua bahagian Perintah utama yang Lazim digunakan di fail robots.txt, yaitu:
Pengguna-ejen: untuk menetapkan Tetapan pada robot yang tercantum di bahagian ini. Jika Tetapan diberlakukan untuk semua robot, maka gunakan Simbol Bintang *.
Larang: untuk menetapkan halaman Mana yang tidak Boleh diindeks oleh robot yang disebutkan di bahagian pengguna-ejen. Perintah pelarangan diawali dengan Simbol Garis miring /.
Berikut ini beberapa contoh penulisan Perintah di dalam fail robots.txt:
Untuk mempersilakan semua program robot untuk mengindeks tapak anda, maka cukup tuliskan baris berikut:
Agen-pengguna: *
Larang:
Penjelasan: semua robot tidak ada yang pengawet Keajaiban dari kersik alias bebas mengindeks. Ini Perintah paling Lazim digunakan para Pemilik eBooks.
Sebaliknya, Jika ingin melarang robot manapun untuk mengindeks tapak anda, maka tuliskan baris berikut:
Agen-pengguna: *
Larang: /
Penjelasan: mengindeks semua robot pengawet Keajaiban dari kersik (Misalnya dipakai di tapak bawah tanah)
Untuk melarang para robot mengakses halaman tertentu, tuliskan baris berikut:
Agen-pengguna: *
Larang: / login.html
Larang / cadangan /
Larang: / ahli / info.php
Penjelasan: robot tidak Boleh mengindeks fail login.html, folder sandaran, dan halaman info.php di folder ahli.
Untuk melarang sebuah program robot tertentu namun mengijinkan robot-robot lainnya, tuliskan baris berikut:
Pengguna-ejen: NamaRobot
Larang: /
Penjelasan: robot bernama NamaRobot tidak Boleh mengindeks, yang lain Boleh (baca Nota di bahagian akhir untuk Mengenal nama robot).
Untuk mengijinkan sebuah robot tertentu dan melarang robot-robot lainnya, tuliskan baris berikut:
Agen-pengguna: Google
Larang:
Agen-pengguna: *
Larang: /
Penjelasan: robot Google Boleh mangeindeks, lainnya tidak Boleh.
Sebagai tip, Anda juga dapat menuliskan lokasi fail sitemap.xml tapak anda di baris terakhir:
Agen-pengguna: *
Larang:
Sitemap: http://blogseoreview.blogspot.com/feeds/posts/default?orderby=updated
Penjelasan: tambahkan alamat lengkap url fail sitemap tapak anda. Jika punya beberapa sitemap, tuliskan di baris Seterusnya>.
Beberapa robot mesin pencari terkemuka juga bisa Memahami Penggunaan wildcard untuk melarang beberapa lokasi dengan satu atau dua baris Perintah:
Agen-pengguna: *
Larang: / * pdf $
Larang: / arkib * /
Penjelasan: baris kedua melarang semua robot mengindeks semua fail pdf. Baris ketiga profil melarang pengindeksan pada folder-folder yang diawali dengan kata arkib (Misalnya / arkib-2010, / arkib-2011 / arsiplama, Dan Sebagainya).
Nb.
Hati-hati dalam Mengasaskan Perintah di robots.txt, kesalahan Perintah bisa berakibat tapak anda tidak diindeks oleh mesin pencari.
Fail robots.txt harus diberi nama persis: robots.txt dan bukan dengan nama lain (pastikan Huruf Kecil semua).
Fail robots.txt harus diletakkan di Direktori utama (root). Contoh: http://blogseoreview.blogspot.com/robots.txt.
Terperinci rencana Blogger, Anda dapat membuat fail robots.txt untuk blog anda melalui fitur yang telah tersedia di bahagian: Setelan> Preferensi Penelusuran> Perayap dan pengindeksan.
Jika Anda ingin melarang program robot tertentu namun tidak mengetahui nama pengguna ejen-nya, maka periksa log atau analisis statistik tapak anda, atau temukan daftarnya di tapak http://www.user-agents.org.
Jika Anda ingin agar sebuah halaman atau folder RAHASIA di tapak anda tidak diindeks program robot, sebaiknya jangan menggunakan robots.txt untuk melarangnya. Hal ini disebabkan fail robots.txt dapat diakses dan dilihat oleh siapapun, sehingga Justru akan menjadi bumerang. Gunakan fail. Htaccess atau metode pengaman lainnya Jika memang Anda ingin sudah tentu merahasiakan lokasi tertentu.
Dengan membuat fail robots.txt dan menempatkannya di laman web You, maka proses Indeks dapat lebih Berkesan dan terkontrol. Sebagai contoh, Jika Anda tidak ingin halaman-halaman tertentu diindeks dan kemudian dipaparkan di mesin pencari, maka Anda dapat melarangnya melalui fail robots.txt. Penerapannya bisa untuk melarang Indeks ke lokasi halaman yang sudah dihapus, melarang lokasi yang dianggap rawan duplikasi konten secara SEO (Misalnya tag atau Kategori), dan Sebagainya. Anda juga bisa memblokir robot dari tapak tertentu yang tidak jelas fungsinya namun menghabiskan bandwidth hosting anda.
Ada dua bahagian Perintah utama yang Lazim digunakan di fail robots.txt, yaitu:
Pengguna-ejen: untuk menetapkan Tetapan pada robot yang tercantum di bahagian ini. Jika Tetapan diberlakukan untuk semua robot, maka gunakan Simbol Bintang *.
Larang: untuk menetapkan halaman Mana yang tidak Boleh diindeks oleh robot yang disebutkan di bahagian pengguna-ejen. Perintah pelarangan diawali dengan Simbol Garis miring /.
Berikut ini beberapa contoh penulisan Perintah di dalam fail robots.txt:
Untuk mempersilakan semua program robot untuk mengindeks tapak anda, maka cukup tuliskan baris berikut:
Agen-pengguna: *
Larang:
Penjelasan: semua robot tidak ada yang pengawet Keajaiban dari kersik alias bebas mengindeks. Ini Perintah paling Lazim digunakan para Pemilik eBooks.
Sebaliknya, Jika ingin melarang robot manapun untuk mengindeks tapak anda, maka tuliskan baris berikut:
Agen-pengguna: *
Larang: /
Penjelasan: mengindeks semua robot pengawet Keajaiban dari kersik (Misalnya dipakai di tapak bawah tanah)
Untuk melarang para robot mengakses halaman tertentu, tuliskan baris berikut:
Agen-pengguna: *
Larang: / login.html
Larang / cadangan /
Larang: / ahli / info.php
Penjelasan: robot tidak Boleh mengindeks fail login.html, folder sandaran, dan halaman info.php di folder ahli.
Untuk melarang sebuah program robot tertentu namun mengijinkan robot-robot lainnya, tuliskan baris berikut:
Pengguna-ejen: NamaRobot
Larang: /
Penjelasan: robot bernama NamaRobot tidak Boleh mengindeks, yang lain Boleh (baca Nota di bahagian akhir untuk Mengenal nama robot).
Untuk mengijinkan sebuah robot tertentu dan melarang robot-robot lainnya, tuliskan baris berikut:
Agen-pengguna: Google
Larang:
Agen-pengguna: *
Larang: /
Penjelasan: robot Google Boleh mangeindeks, lainnya tidak Boleh.
Sebagai tip, Anda juga dapat menuliskan lokasi fail sitemap.xml tapak anda di baris terakhir:
Agen-pengguna: *
Larang:
Sitemap: http://blogseoreview.blogspot.com/feeds/posts/default?orderby=updated
Penjelasan: tambahkan alamat lengkap url fail sitemap tapak anda. Jika punya beberapa sitemap, tuliskan di baris Seterusnya>.
Beberapa robot mesin pencari terkemuka juga bisa Memahami Penggunaan wildcard untuk melarang beberapa lokasi dengan satu atau dua baris Perintah:
Agen-pengguna: *
Larang: / * pdf $
Larang: / arkib * /
Penjelasan: baris kedua melarang semua robot mengindeks semua fail pdf. Baris ketiga profil melarang pengindeksan pada folder-folder yang diawali dengan kata arkib (Misalnya / arkib-2010, / arkib-2011 / arsiplama, Dan Sebagainya).
Nb.
Hati-hati dalam Mengasaskan Perintah di robots.txt, kesalahan Perintah bisa berakibat tapak anda tidak diindeks oleh mesin pencari.
Fail robots.txt harus diberi nama persis: robots.txt dan bukan dengan nama lain (pastikan Huruf Kecil semua).
Fail robots.txt harus diletakkan di Direktori utama (root). Contoh: http://blogseoreview.blogspot.com/robots.txt.
Terperinci rencana Blogger, Anda dapat membuat fail robots.txt untuk blog anda melalui fitur yang telah tersedia di bahagian: Setelan> Preferensi Penelusuran> Perayap dan pengindeksan.
Jika Anda ingin melarang program robot tertentu namun tidak mengetahui nama pengguna ejen-nya, maka periksa log atau analisis statistik tapak anda, atau temukan daftarnya di tapak http://www.user-agents.org.
Jika Anda ingin agar sebuah halaman atau folder RAHASIA di tapak anda tidak diindeks program robot, sebaiknya jangan menggunakan robots.txt untuk melarangnya. Hal ini disebabkan fail robots.txt dapat diakses dan dilihat oleh siapapun, sehingga Justru akan menjadi bumerang. Gunakan fail. Htaccess atau metode pengaman lainnya Jika memang Anda ingin sudah tentu merahasiakan lokasi tertentu.
