Проверка robots.txt

Анализ файла robots.txt сайта