Não é nada de outro mundo, é simples e eficiente.
Basta fornecer o URL principal do seu site, e ele obterá o arquivo robots.txt correspondente, analisará o conteúdo e informará o seguinte:
- se alguma regra desconhecida for encontrada
- Se alguma contradição entre as regras for encontrada, será identificada.
- ou regra pouco clara encontrada
A grande vantagem: Você pode fazer o teste simulando o Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox e UptimeRobot.





