難しいことではないが、シンプルで効率的だ。
メインサイトのURLを入力するだけで、対応するライブrobots.txtファイルを取得して分析し、以下の情報を表示します。
大きな利点： Googlebot、Bingbot、Yandex、DuckDuckBot、Baiduspider、Slurp、Sogou、Exabot、ia_archiver、AhrefsBot、MJ12bot、SemrushBot、SEOkicks-Robot、BLEXBot、DotBot、rogerbot、SeznamBot、Screaming Frog、SiteCheckerBot、Wotbox、UptimeRobotのいずれかをシミュレートしてテストを実行できます。
| robots.txt テスター | Google Search Console | 叫ぶカエル |
|---|---|---|
| 関数： これはRank Mathが提供するオンラインツールで、robots.txtファイルをテストおよび検証します。エラーを検出し、指示内容を確認できるようにすることを目的としています。 | 関数： 設定画面のrobots.txtレポートには、ドメインプロパティの上位20ホストに対してGoogleが検出したファイルが一覧表示されます。取得ステータス、チェック時間、ファイルサイズ、解析エラーの数、およびエラーと警告が強調表示された最終取得コンテンツが表示されます。 | 関数： これはデスクトップクローラーです。設定の「Robots.txt」で、このファイルを尊重する、無視する、または無視するがステータスを報告する、のいずれかを選択できます。ルールによってブロックされたURLは、ステータスコード0と「Robots.txtによってブロックされました」というステータスで表示されます。 |
| 適用範囲と制限事項： このレポートはドメインレベルのプロパティのみに対応しており、パスを持つURLプレフィックスプロパティには対応していません。特定のURLがブロックされているかどうかを確認するには、代わりにURL検査ツールを使用してください。 | 適用範囲と制限事項： クロールは、設定で指定されたユーザーエージェントに従って実行されます。GooglebotやBingbotなどのプリセット、またはカスタム文字列を指定できます。カスタムrobots.txtはツール内でダウンロード、編集、テストでき、そのクロール時のみライブファイルを上書きします。 | |
| 変更および修正： このレポートでは、緊急時にrobots.txtファイルの再クロールを要求する方法が提供されています。過去30日間の取得履歴が表示されます。 | 変更および修正： カスタムファイルで行った編集はサーバーには書き込まれません。ライブサイトに手動でコピーする必要があります。 | |
| 費用とプラットフォーム： Rank Mathのページには、このツールは無料であると記載されている。オンラインで動作する。 | 費用とプラットフォーム： 無料版のクロール制限は500URLです。有料ライセンスは年間契約で、ユーザー単位で販売されます。Windows、macOS、Linux向けのバージョンが用意されています。 |
取り上げるトピック： robotstxt、Tester、ライブ分析、不明なルール、矛盾、不明瞭なルール、Googlebot、Bingbot、Yandex、DuckDuckBot、Baiduspider、Slurp、Sogou、Exabot、ia_archiver、AhrefsBot、SemrushBot、ISO 31000、ISO 9001、ISO 27001、およびISO 15489。
フルサイズの画像とダウンロードは、登録会員のみが100％無料で利用できます。
> ログイン <
