Rien de sorcier, c'est simple et efficace.
Il vous suffit de fournir l'URL principale de votre site, et le système récupérera le fichier robots.txt correspondant, l'analysera et vous indiquera :
- si une règle inconnue est trouvée
- en cas de contradiction entre les règles
- ou règle peu claire trouvée
Le gros avantage : Vous pouvez effectuer le test en simulant l'un des robots suivants : Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox ou UptimeRobot.




