Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Форумы портала PHP.SU :: Версия для печати :: Как можно тормознуть бинг бота?
Форумы портала PHP.SU » » Работа с сетью » Как можно тормознуть бинг бота?

Страниц (1): [1]
 

1. anton_177 - 02 Марта, 2015 - 08:01:56 - перейти к сообщению
Он невменяемый, в секунду от двух и бывает до десяти запросов, а еще пользователи и другие боты, сервер ложится.
написал в роботе
User-agent: msnbot
Crawl-delay: 10
как они у себя пишут http://www[dot]bing[dot]com/community/si[dot][dot][dot]wler-msnbot[dot]aspx
а ему похоже плевать на это.
Может у кого была похожая проблема?
2. Ch_chov - 02 Марта, 2015 - 08:33:53 - перейти к сообщению
http://stackoverflow[dot]com/questio[dot][dot][dot]crawling-my-site

Возможно имя бота другое надо указать
http://www[dot]bing[dot]com/webmaster/he[dot][dot][dot]ing-use-8c184ec0

Вообще банить поисковых ботов конечно сомнительный поступок.

 

Powered by ExBB FM 1.0 RC1