Просмотр robots.txt

Инструменты вебмастера Использований: 22

Онлайн-просмотр robots.txt. Введите домен, чтобы получить и разобрать robots.txt сайта: правила Allow/Disallow группируются по User-agent, а также показываются адреса Sitemap и задержка сканирования. Удобно для проверки правил обхода и SEO-аудита.