Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Нужна помощь, импорт файла и работа с mysql

 PHP.SU

 Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: импорт log файла и работа с БД
Поиск в теме | Версия для печати
hubribubri
Отправлено: 17 Января, 2011 - 18:23:21
Post Id


Новичок


Покинул форум
Сообщений всего: 2
Дата рег-ции: Янв. 2011  


Помог: 0 раз(а)
1) импортировать log файл доступа к сайту в базу данных mysql.
2) база данных должна содержать следующие данные:
- ip посетителя
- время посещения
- тип запроса (Get, Post)
- путь запроса
- код ответа сервера (200, 404, 304 и прочие возможные)
- юзер агент, с которого посещалась страница
3) в базу данных заносить только те запросы, которые были к php, html, phtml
файлам и папкам. Обращение к изображениям, файлам стилей, к иконкам
favicon.ico отсеивать при импорте и в базу заносить не надо.
4) после импорта файла, нужно написать скрипт, который буде формировать
статистику по базе данных.
5) таблица статистики должна быть сформирована так, чтобы можно было
посмотреть:
- кол-во хитов за выбранный день и за все время
- кол-во хостов (уникальных посещений) за выбранный день и за все время.
Критерием уникальности является ip адрес.
- самые популярные страницы за выбранный день и за все время

Дополнительные примечания: никаких рассчетов и дополнительных операций по
обработке информации во время импорта файла в базу производится не должно.
Вся статистика должна формироваться скриптом по информации из базы данных.
При анализе учитывать только страницы с кодом ответа 200 (успешно).
Скрипт должен быть написан рационально и выполнять поставленные задачи за
минимальный промежуток времени. Как импорт так и получение статистики должно
происходить быстро. Приоритетом является скорость получения статистики.
(Добавление)
кусок Log:

109.194.10.22 - - [13/Jul/2010:00:03:26 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/style.css HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/func.js HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:58 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:04:05 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
89.189.22.156 - - [13/Jul/2010:00:06:46 +0400] "GET /pages/id/kustorka.html HTTP/1.0" 200 6508 "http://www.google.ru/search?client=safari&rls=en&q=%D0%9A%D1%83%D1%81%D1%82%D0%BE%D1%80%D0%BA%D0%B0&ie=UTF-8&oe=UTF-8&redir_esc=&ei=z3Q7TKTJBI-mOIT1mNgJ" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/visa.gif HTTP/1.1" 200 1354 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /menu/milonic_src.js HTTP/1.1" 200 5751 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/1.jpg HTTP/1.1" 200 10241 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash2.swf HTTP/1.0" 200 10021 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash1.swf HTTP/1.0" 200 12244 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/maestro.gif HTTP/1.1" 200 1558 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/3.jpg HTTP/1.1" 200 5764 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/4.jpg HTTP/1.1" 200 10346 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /menu/mmenudom.js HTTP/1.1" 200 29683 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon2.jpg HTTP/1.1" 200 436 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon-l.jpg HTTP/1.1" 200 432 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
 
 Top
Мелкий Супермодератор
Отправлено: 17 Января, 2011 - 18:44:38
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)
гугл->"регулярка парсер лога апача"->обработка результата


-----
PostgreSQL DBA
 
 Top
hubribubri
Отправлено: 18 Января, 2011 - 11:01:27
Post Id


Новичок


Покинул форум
Сообщений всего: 2
Дата рег-ции: Янв. 2011  


Помог: 0 раз(а)
Если бы не приходилось использовать mysql, если использовать какой нибудь текстовый файл в место базы, то я могу написать, но я с ней никогда не работал, поможете разобраться?
 
 Top
Мелкий Супермодератор
Отправлено: 18 Января, 2011 - 11:08:38
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)
Разобраться - помогу. Делать за вас - не буду.
Начните отсюда:
http://php.su/mysql/


-----
PostgreSQL DBA
 
 Top
metra
Отправлено: 18 Января, 2011 - 20:44:02
Post Id



Гость


Покинул форум
Сообщений всего: 85
Дата рег-ции: Янв. 2011  


Помог: 0 раз(а)
А если быть еще точнее.

учите PHP + MySQL -> учите регулярные выражение -> пишите простейший скрипт из 2-4х строк. Суть скрипта - взять регуляркой строчку из лога, регуляркой разбить на требуемые части, вставить в поля строки из БД. ВСЕ.
 
 Top
Поиск в теме | Версия для печати
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« SQL и Архитектура БД »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
  



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB