PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Как забанить фейковый Googlebot в htaccess?

Форумы портала PHP.SU » Серверное администрирование » Apache и другие веб-серверы (Модератор: EuGen)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

JustSkeptik	Отправлено: 08 Сентября, 2015 - 20:11:55
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	В последнее время заметил в логах сервера фальшивый Googlebot. Похоже, сканирует сайт с ботнета - по 2-10 запросов в секунду, и каждый раз с нового IP. При этом диапазон IP совершенно непредсказуем - то Вьетнам, то Кыргызстан, то Мексика и т. д. В гугле говорят, что диапазон своих белых IP не раскрывают, так что, как я понимаю, блокировка по IP методом исключения - не вариант. Реально ли вообще как-то с этим бороться?

DlTA	Отправлено: 08 Сентября, 2015 - 21:12:20
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	если по логам видно что это гуглбот, а по ip это не он, вот и баньте но для начала в robots.txt пропишите предпочитаемое время/задержку для бота, может учтут

JustSkeptik	Отправлено: 08 Сентября, 2015 - 21:19:43
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DlTA пишет: если по логам видно что это гуглбот, а по ip это не он, вот и баньте Как банить? В секунду до 10 запросов, и каждый с разных IP. То есть совсем с разных - даже диапазоны разные. Причем они практически не повторяются - в течение часа каждый запрос с другого IP.

DlTA	Отправлено: 08 Сентября, 2015 - 21:21:51
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	JustSkeptik пишет: Как банить? В секунду до 10 запросов, и каждый с разных IP. То есть совсем с разных - даже диапазоны разные. Причем они практически не повторяются - в течение часа каждый запрос с другого IP. читайте заголовки если по ним видно что это гугл проверяйте ip если он не диапазоне гугла баньте/посылайте ему какую нить статику в каком месте проблема то? (Добавление) DlTA пишет: но для начала в robots.txt пропишите предпочитаемое время/задержку для бота, может учтут

JustSkeptik	Отправлено: 08 Сентября, 2015 - 21:41:00
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DlTA пишет: в каком месте проблема то? Проблема в проверке IP. Как его проверить? (Добавление) DlTA пишет: но для начала в robots.txt пропишите предпочитаемое время/задержку для бота, может учтут Попробую, но маловероятно. У меня на другом сайте схожая ситуация с фейковым яндексботом. В роботсе для яндекса стоит задержка в 10 сек., а подделка все равно отправляет по нескольку запросов в секунду.

DlTA	Отправлено: 08 Сентября, 2015 - 21:53:54
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	getenv("REMOTE_ADDR") возвращает пользовательский IP

JustSkeptik	Отправлено: 08 Сентября, 2015 - 22:03:39
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	То есть этот шаг позволит получить IP зашедшего. А с чем его сравнить? D гугле говорят следующее: Цитата: Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. И рекомендуют сделать следующее: Цитата: Как убедиться, что сайт сканируется роботом Googlebot: С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале. Убедитесь, что доменное имя – googlebot.com или google.com. С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать. https://support[dot]google[dot]com/webma[dot][dot][dot]swer/80553?hl=ru Вот, собственно, и вопрос: возможно ли это реализовать через htaccess?

DlTA	Отправлено: 08 Сентября, 2015 - 22:13:28
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	JustSkeptik пишет: Вот, собственно, и вопрос: возможно ли это реализовать через htaccess? сомневаюсь, а зачем?? обрабатывайте это пыхой

JustSkeptik	Отправлено: 08 Сентября, 2015 - 22:15:29
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DlTA пишет: обрабатывайте это пыхой А как это реализовать на php?

DlTA	Отправлено: 08 Сентября, 2015 - 22:57:03
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	JustSkeptik пишет: А как это реализовать на php? что именно?

JustSkeptik	Отправлено: 09 Сентября, 2015 - 08:38:59
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DlTA пишет: что именно? То, о чем пишет гугл: Цитата: С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале. Убедитесь, что доменное имя – googlebot.com или google.com. С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать. Только не из журнала, а в режиме реального времени. Это возможно?

DeepVarvar	Отправлено: 09 Сентября, 2015 - 09:33:30
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	http://php.net/manual/ru/functio...ethostbyaddr.php ----- Шта? Репозиторий?

JustSkeptik	Отправлено: 09 Сентября, 2015 - 11:10:18
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DeepVarvar пишет: http://php.net/manual/ru/functio...ethostbyaddr.php Да, это именно то, что нужно!

JustSkeptik	Отправлено: 10 Сентября, 2015 - 11:32:10
Новичок Покинул форум Сообщений всего: 15 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	DeepVarvar пишет: http://php.net/manual/ru/functio...ethostbyaddr.php Будет ли работать эта функция с IPv6?

Мелкий	Отправлено: 10 Сентября, 2015 - 11:46:52
Активный участник Покинул форум Сообщений всего: 11926 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 618 раз(а)	Да, если PHP собран с #if HAVE_IPV6 && HAVE_INET_PTON ----- PostgreSQL DBA

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Apache и другие веб-серверы »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.