Он невменяемый, в секунду от двух и бывает до десяти запросов, а еще пользователи и другие боты, сервер ложится.
написал в роботе
User-agent: msnbot
Crawl-delay: 10
как они у себя пишут http://www[dot]bing[dot]com/community/si[dot][dot][dot]wler-msnbot[dot]aspx
а ему похоже плевать на это.
Может у кого была похожая проблема?
1. anton_177 - 02 Марта, 2015 - 08:01:56 - перейти к сообщению
2. Ch_chov - 02 Марта, 2015 - 08:33:53 - перейти к сообщению
http://stackoverflow[dot]com/questio[dot][dot][dot]crawling-my-site
Возможно имя бота другое надо указать
http://www[dot]bing[dot]com/webmaster/he[dot][dot][dot]ing-use-8c184ec0
Вообще банить поисковых ботов конечно сомнительный поступок.
Возможно имя бота другое надо указать
http://www[dot]bing[dot]com/webmaster/he[dot][dot][dot]ing-use-8c184ec0
Вообще банить поисковых ботов конечно сомнительный поступок.