No es ciencia espacial, pero es sencillo y eficaz.
Sólo tiene que indicar la URL de su sitio web principal y el programa obtendrá el archivo robots.txt correspondiente, lo analizará y le informará:
- si se encuentra alguna regla desconocida
- en caso de contradicción entre las normas encontradas
- o norma poco clara encontrada
La gran ventaja: puede realizar la prueba simulando Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox y UptimeRobot
Gratis, No requiere descarga ni instalación, Sin registro