Проблема в том что есть задача провести обработку файла robots.txt
Сразу говорю, просто подскажите, обьясните с помощью чего её делать?
какие команды функции?
Проверка наличия файла robots.txt
Проверка указания директивы Host
Проверка количества директив Host, прописанных в файле
Проверка размера файла robots.txt
Проверка указания директивы Sitemap
Проверка кода ответа сервера для файла robots.txt
(Добавление)
Заранее спасибо)
|