不是火箭科学,但简单高效。
只需提供您的主网站 URL,它就会获取相应的实时 robots.txt 文件,并为您分析和告知:
- 如果发现任何未知规则
- 如果发现规则之间有任何矛盾
- 或发现规则不明确
最大的优点 您可以模拟 Googlebot、Bingbot、Yandex、DuckDuckBot、Baiduspider、Slurp、Sogou、Exabot、ia_archiver、AhrefsBot、MJ12bot、SemrushBot、SEOkicks-Robot、BLEXBot、DotBot、rogerbot、SeznamBot、Screaming Frog、SiteCheckerBot、Wotbox 和 UptimeRobot 进行测试。
免费, 无需下载/安装, 没有注册