عن الأداة
يخبر ملف robots.txt برامج الزحف عن عناوين URL التي يُسمح لها بطلبها وتلك التي لا يُسمح لها بذلك. يمكن أن يؤدي أمر Disallow خاطئ واحد إلى محو موقع بالكامل من نتائج البحث، بينما يمكن أن يؤدي أمر مفقود إلى تسريب بيئات التطوير. يقوم هذا الفاحص باسترداد ملف robots.txt لأي موقع، ويعرض القواعد مجمعة حسب وكيل المستخدم (user-agent)، ويسلط الضوء على التعارضات التي تمنع الروبوتات الشرعية. استخدمه قبل الإطلاق، بعد كل تحديث لنظام إدارة المحتوى (CMS)، وعندما ينخفض عدد الزيارات بشكل مفاجئ.