그리 복잡한 기술은 아니지만, 간단하고 효율적입니다.
메인 사이트 URL만 입력하면 해당 robots.txt 파일을 가져와 분석하고 다음과 같은 정보를 알려줍니다.
가장 큰 장점: Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox 및 UptimeRobot 중 하나를 시뮬레이션하여 테스트를 수행할 수 있습니다.
| robots.txt 테스터 | Google 검색 콘솔 | 비명 지르는 개구리 |
|---|---|---|
| 기능: Rank Math에서 제공하는 이 온라인 도구는 robots.txt 파일을 검사하고 유효성을 검증합니다. 오류를 찾아 명령어를 검토할 수 있도록 도와줍니다. | 기능: 설정 메뉴의 robots.txt 보고서에는 도메인 속성의 상위 20개 호스트에 대해 Google이 찾은 파일 목록이 표시됩니다. 이 보고서에는 가져오기 상태, 확인 시간, 파일 크기, 구문 분석 오류 횟수, 마지막으로 가져온 콘텐츠가 표시되며 오류 및 경고는 강조 표시됩니다. | 기능: 이것은 데스크톱 크롤러입니다. 구성 > Robots.txt에서 해당 파일을 준수하거나, 무시하거나, 무시하되 상태를 보고하도록 설정할 수 있습니다. 규칙에 의해 차단된 URL은 상태 코드 0과 "Robots.txt에 의해 차단됨"이라는 상태로 표시됩니다. |
| 적용 범위 및 제한 사항: 이 보고서는 도메인 수준 속성에 대해서만 제공되며, 경로가 포함된 URL 접두사 속성에 대해서는 제공되지 않습니다. 특정 URL이 차단되었는지 확인하려면 URL 검사 도구를 사용하십시오. | 적용 범위 및 제한 사항: 크롤링은 구성에 설정된 사용자 에이전트를 따르며, Googlebot 및 Bingbot과 같은 사전 설정 또는 사용자 지정 문자열을 사용할 수 있습니다. 사용자 지정 robots.txt 파일은 도구 내에서 다운로드, 편집 및 테스트할 수 있으며, 해당 크롤링에 대해서만 기존 파일을 덮어씁니다. | |
| 변경 및 수정 사항: 이 보고서는 긴급 상황 발생 시 robots.txt 파일의 재크롤링을 요청하는 방법을 제공합니다. 또한 지난 30일간의 가져오기 기록을 보여줍니다. | 변경 및 수정 사항: 사용자 지정 파일에서 변경한 내용은 서버에 저장되지 않습니다. 따라서 수동으로 라이브 사이트에 복사해야 합니다. | |
| 비용 및 플랫폼: Rank Math 페이지에는 해당 도구가 무료라고 설명되어 있으며 온라인으로 실행됩니다. | 비용 및 플랫폼: 무료 버전은 크롤링할 수 있는 URL 수가 500개로 제한됩니다. 유료 라이선스는 사용자별로 연간 단위로 판매됩니다. Windows, macOS 및 Linux용 버전이 제공됩니다. |
다룬 주제: robotstxt, 테스터, 실시간 분석, 알 수 없는 규칙, 모순, 불명확한 규칙, Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, SemrushBot, ISO 31000, ISO 9001, ISO 27001, ISO 15489.
고화질 이미지 및 다운로드는 등록된 회원에게만 100% 무료로 제공됩니다.
> 로그인 <
