Non è una scienza missilistica, ma è semplice ed efficiente.
Basta fornire l'URL del tuo sito principale e il sistema otterrà il file robots.txt corrispondente, lo analizzerà e ti dirà:
- se viene trovata una regola sconosciuta
- se viene riscontrata qualche contraddizione tra le regole
- o regola poco chiara trovata
Il grande vantaggio: puoi fare il test simulando Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox e UptimeRobot





