robots.txt テスター

難しいことではないが、シンプルで効率的だ。

メインサイトのURLを入力するだけで、対応するライブrobots.txtファイルを取得して分析し、以下の情報を表示します。

• 未知のルールが見つかった場合
• 規則間に矛盾が見つかった場合
• または、不明瞭なルールが見つかりました

大きな利点： Googlebot、Bingbot、Yandex、DuckDuckBot、Baiduspider、Slurp、Sogou、Exabot、ia_archiver、AhrefsBot、MJ12bot、SemrushBot、SEOkicks-Robot、BLEXBot、DotBot、rogerbot、SeznamBot、Screaming Frog、SiteCheckerBot、Wotbox、UptimeRobotのいずれかをシミュレートしてテストを実行できます。