Генератор robots.txt

Онлайн-генератор robots.txt: настройте правила Allow/Disallow, URL Sitemap и задержку сканирования визуально и создайте соответствующую стандарту robots.txt одним щелчком. Необходим для SEO и управления краулерами.