Anda yang sudah berkenalan dengan Search Engine Optimization atau SEO pasti juga sudah berjumpa dengan yang namanya file robots.txt. Sebagai pengulangan dan pengingat kembali, robots.txt merupakan sebuah file yang berlokasi di root folder server kita yang berguna untuk berkomunikasi dengan spider, bots, atau crawler. Ketiga nama tersebut di atas memiliki arti yang sama. Bisa diibaratkan mereka itu adalah semacam binatang di dunia internet yang kerjanya berkunjung dari satu web ke web yang lain dengan maksud dan tujuan berbeda.

Ketika berbicara tentang SEO, maka yang kita bahas selanjutnya adalah robot atau crawler yang dipelihara oleh Google, berikut robot-robot dari mesin pencari lainnya. Para pengrajin SEO biasa menyebutnya sebagai Googlebot. Googlebot inilah yang berkelana dari satu halaman web ke halaman web lainnya, termasuk halaman web kita, guna mencari dan mencatat segala hal yang mereka temukan selama di perjalanan. Berkat Googlebot inilah, maka halaman demi halaman dari web kita dapat tercatat oleh mesin pencari Google untuk kemudian diolah untuk ditampilkan ke dalam halaman hasil pencarian Google (SERP = Search Engine Result Page).

Para Googlebot ini memang milik Google dan bekerja atas perintah Google. Namun, sebagai pemilik web, kita juga bisa memberikan perintah ataupun berkomunikasi dengan mereka. Caranya melalui file yang bernama robots.txt tersebut. File ini merupakan sebuah file teks biasa yang di dalamnya memuat perintah-perintah khusus dengan sintaks tertentu. Penjelasan lebih lanjut tentang robots.txt bisa dibaca di sini.

Nah, kemudian bagaimana caranya membuat file robots.txt? Sangat mudah. Bagi Anda yang bekerja dengan komputer berbasis Windows pasti punya sebuah aplikasi yang bernama Notepad. Dengan mengetikkan beberapa perintah yang diperlukan untuk mengarahkan para Googlebot, kita cukup menyimpannya dengan nama file robots.txt, lalu kita upload ke server dengan menggunakan aplikasi FTP.

Cara lainnya adalah dengan menggunakan berbagai layanan online yang tersedia di internet. Cara ini lebih mudah dan cepat karena kita tidak usah repot untuk mengingat dan mengetikkan satu per satu baris perintah dalam file robots.txt. Umumnya kita tinggal memasukkan beberapa pilihan untuk menentukan robot mana saja yang boleh mengakses halaman, berikut direktori mana saja yang boleh diakses dari web server kita. Dengan beberapa kali klik, kita akan langsung disodorkan dengan sebuah file robots.txt yang sudah jadi dan siap di-upload ke dalam server.

Beberapa layanan berikut ada yang berbayar namun sebagian besar dari mereka menyediakannya secara gratis. Soal hasil, mungkin takkan jauh berbeda satu sama lain. Tinggal masing-masing kenyamanan kita saja untuk menggunakannya.

1. 1-hit Robots.Txt Generator
2. Advanced Robots.txt Generator
3. DotNetNuke Robots.txt Generator Module
4. Global promoter’s Robots.txt File Generator
5. Hypergurl Robot Text Generator
6. Invision-graphics Robots.txt Generator Tool
7. Mcanerin’s Robots.txt Tool
8. Oven Fresh Robots.txt Maker
9. Online Robots.txt Generator
10. Position gold’s Robots.txt Generator
11. Page promoter’s Robots.txt
12. Robotstxt.ca
13. RoboGen ROBOTS.TXT Editor
14. Robot-Manager Standard Edition
15. Submit corner’s Robots Generator
16. Seo Administrator – robots.txt generator
17. Site submit robots.txt
18. SEO Tools – Robots.txt Generator
19. SEO-watch. Robots.txt Generator
20. Search bliss Robots.txt Generator
21. Visibility Robots.txt Generator
22. Website tool box pro Robots.txt File Generator
23. Yellow pipe’s Robots.txt Generator

My Link Love

Coba baca yang ini..

• Hari ini 2 Tahun Yang Lalu
• Meja dan Bangku Menjadi Satu
• Google SearchWiki
• Di mana Ada Kemauan Di situ Ada Jalan
• Bahagiakan Pacar, Istri, Ibu, dan Mertua Anda dengan YogYes.com
• Kelangkaan Aqua
• Meninggalnya Ayah Ninien
• Tragedi Mumbai
• KumpulBlogger Offline! Hosting Account Suspended
• Rumah Ibadah Untuk Burung Anda