Keine Raketenwissenschaft, sondern einfach und effizient.
Geben Sie einfach Ihre Hauptwebsite-URL an, und das Programm ruft die entsprechende robots.txt-Datei ab, analysiert sie für Sie und teilt Ihnen Folgendes mit:
- falls eine unbekannte Regel gefunden wird
- falls ein Widerspruch zwischen den Regeln festgestellt wird
- oder unklare Regel gefunden
Der große Pluspunkt: Sie können den Test durchführen, indem Sie einen der folgenden Bots simulieren: Googlebot, Bingbot, Yandex, DuckDuckBot, Baiduspider, Slurp, Sogou, Exabot, ia_archiver, AhrefsBot, MJ12bot, SemrushBot, SEOkicks-Robot, BLEXBot, DotBot, rogerbot, SeznamBot, Screaming Frog, SiteCheckerBot, Wotbox oder UptimeRobot.
