No es ninguna ciencia, pero es simple y eficiente.
Simplemente proporcione la URL de su sitio principal y obtendrá el archivo robots.txt en vivo correspondiente y lo analizará para usted y le dirá:
- Si se encuentra alguna regla desconocida
- Si se encuentra alguna contradicción entre las reglas
- o se encontró una regla poco clara
La gran ventaja: Puedes hacer la prueba simulando Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox y UptimeRobot.
