그리 복잡한 기술은 아니지만, 간단하고 효율적입니다.
메인 사이트 URL만 입력하면 해당 robots.txt 파일을 가져와 분석하고 다음과 같은 정보를 알려줍니다.
- 알 수 없는 규칙이 발견된 경우
- 규칙들 사이에 모순이 발견될 경우
- 또는 불분명한 규칙이 발견되었습니다.
가장 큰 장점: Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox 및 UptimeRobot 중 하나를 시뮬레이션하여 테스트를 수행할 수 있습니다.
