PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Как отследить запросы ботов к файлам?

Форумы портала PHP.SU » PHP » Программирование на PHP » Вопросы новичков (Модераторы: OrmaJever, Саныч, Строитель)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

Extazy	Отправлено: 08 Декабря, 2014 - 23:58:09
Посетитель Покинул форум Сообщений всего: 490 Дата рег-ции: Янв. 2010 Помог: 0 раз(а)	Уважаемые гуру! Мне необходимо отследить обращение различных ботов к файлам моего сайта. Именно файлам .jpg, .css, а не самим страницам. Вот код для отслеживания ботов: PHP: скопировать код в буфер обмена function robot ($bot) { if(strpos($_SERVER['HTTP_USER_AGENT'], $bot)!==false) { $text = date("Y-m-d H:i") . " $bot посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n"; // запись в файл $file = fopen("bot.txt","a"); fwrite($file, $text); fclose ($file); // отправка на почту mail('example@gmail.com', "$bot посетил страницу", $text); } } // отслеживаем роботов robot('Googlebot'); robot('Yandex'); Но он ведь не сработает, если бот минуя все страницы обратился сразу к файлу.. верно? Может как-то через .htaccess можно подключить отслеживание?

nkl	Отправлено: 09 Декабря, 2014 - 08:05:06
Посетитель Покинул форум Сообщений всего: 305 Дата рег-ции: Янв. 2012 Помог: 1 раз(а)	Можно парсить access-лог веб-сервера. Там-то все регистрируется, будь-то запрос на получение CSS или спрайта с иконками.

DeepVarvar	Отправлено: 09 Декабря, 2014 - 10:13:50
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	Вот список ботов по юзерагентам: http://en[dot]wikipedia[dot]org/wiki/Wik[dot][dot][dot]_number_of_edits Я сомневаюсь что он полный )) Эт к чему - ты просто запаришься ловить конкретно бота. А еще не факт что у бота будет ботовый юзерагент, поставят как у обычного браузера и уже не отличишь. ----- Шта? Репозиторий?

Extazy	Отправлено: 09 Декабря, 2014 - 10:22:36
Посетитель Покинул форум Сообщений всего: 490 Дата рег-ции: Янв. 2010 Помог: 0 раз(а)	Мне нужен конкретный бот под именем Odnoklassniki. В acces логах он есть. Подскажите, каким кодом можно было бы удобно парсить все записи нужного мне бота из access.log, acces.log1, access.log2 ?

DeepVarvar	Отправлено: 09 Декабря, 2014 - 10:48:08
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	CODE (bash): скопировать код в буфер обмена grep odnoklassniki -i ./access.log ----- Шта? Репозиторий?

Extazy	Отправлено: 09 Декабря, 2014 - 11:00:50
Посетитель Покинул форум Сообщений всего: 490 Дата рег-ции: Янв. 2010 Помог: 0 раз(а)	а куда это вписывать?) в командную строку?) а можно сделать чтоб на автомате парсилось и в файл записывалось?

DeepVarvar	Отправлено: 09 Декабря, 2014 - 13:58:15
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	PHP: скопировать код в буфер обмена exec('grep odnoklassniki -i /path/do/access.log >> /path/do/filtered.log'); ----- Шта? Репозиторий?

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Вопросы новичков »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.