إذا أخبرك شخص ما أنه حتى تتمّ فهرسة صفحات موقعه الإلكتروني وحتى تظهر على نتائج البحث يجب أن يقوم بإعداد ملف robots.txt وخصوصا إذا كان يستخدم بلوجر أو أحد أنظمة إدارة المحتوى، فيُمكنك إخباره -بثقة- أنّ هذا غير صحيح.
متى يُنصح باستخدام ملف robots.txt؟
في حالة المواقع الإلكترونية الكبيرة والتي تضم أزيد من 500 صفحة فريدة، فإنه فعلا يُنصح باستخدام ملف robots.txt حتى لا يتم اثقال الخادم بسبب كثرة طلبات الزحف لصفحات الموقع الإلكتروني.
غير أنه في حالة المدوّنات الصغيرة وخصوصا منها مدوّنات Blogger فإنه لا يُنصح باستخدام هذا الخيار خصوصا للناشرين المبتدئين، كون علاوة عن أنه لن يُشكل إضافة إيجابية في بدايات المدوّنة، فإن سوء استخدام ملف robots.txt قد يُعرّض الموقع الإلكتروني لمخاطر عديدة، والتي منها:
اختفاء بعض صفحات الموقع الإلكتروني من على بحث Google.
اختفاء المدونة أو الموقع الإلكتروني ككل من على نتائج البحث.
تعذّر وصول زاحف AdSense لمراجعة الموقع الإلكتروني.
[...]
