这并不复杂，而是简单高效。
只需提供您的主网站 URL，它就会获取相应的 robots.txt 文件并进行分析，然后告诉您：
- 如果发现任何未知规则
- 如果发现规则之间存在任何矛盾
- 或发现不明确的规则
最大的优点： 您可以通过模拟 Googlebot、Bingbot、Yandex、DuckDuckBot、Baiduspider、Slurp、搜狗、Exabot、ia_archiver、AhrefsBot、MJ12bot、SemrushBot、SEOkicks-Robot、BLEXBot、DotBot、rogerbot、SeznamBot、Screaming Frog、SiteCheckerBot、Wotbox 和 UptimeRobot 来进行测试。
