Ce n'est pas sorcier, mais c'est simple et efficace.
Il suffit d'indiquer l'URL de votre site principal et le logiciel récupère le fichier robots.txt correspondant, l'analyse pour vous et vous le communique :
- si une règle inconnue est trouvée
- en cas de contradiction entre les règles trouvées
- ou une règle peu claire a été trouvée
Le gros plus : Vous pouvez effectuer le test en simulant Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox et UptimeRobot.
Gratuit, Aucun téléchargement/Installation requis, Pas d'enregistrement
