Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Парсинг более 100 страниц за раз

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: Возможно ли на php реализовать парсинг большого количества страниц?
sanstorm
Отправлено: 09 Декабря, 2013 - 09:26:12
Post Id



Новичок


Покинул форум
Сообщений всего: 8
Дата рег-ции: Нояб. 2011  
Откуда: Владивосток


Помог: 0 раз(а)




Возможно ли на php реализовать парсинг большого количества страниц?

Написал небольшой парсер , который в цикле парсит страницы сайта.

но почему то примерно после 100 страницы парсинга скрипт виснет.
до 100 страниц парсит нормально.


Почему может зависать?
Может есть какие то настройки PHP, где можно увеличить память или время действия скрипта?


-----
http://kreedz[dot]ru/ - Кридз Сообщество
 
 Top
caballero
Отправлено: 09 Декабря, 2013 - 09:36:49
Post Id


Активный участник


Покинул форум
Сообщений всего: 5998
Дата рег-ции: Сент. 2011  
Откуда: Харьков


Помог: 126 раз(а)




таймаут работы скрипта выставте


-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore
 
 Top
sanstorm
Отправлено: 09 Декабря, 2013 - 09:41:37
Post Id



Новичок


Покинул форум
Сообщений всего: 8
Дата рег-ции: Нояб. 2011  
Откуда: Владивосток


Помог: 0 раз(а)




в этом собственно и вопрос, где и как это выставляется


-----
http://kreedz[dot]ru/ - Кридз Сообщество
 
 Top
AmsTaFF
Отправлено: 09 Декабря, 2013 - 09:44:56
Post Id


Гость


Покинул форум
Сообщений всего: 84
Дата рег-ции: Июнь 2013  
Откуда: Россия, Москва


Помог: 1 раз(а)




поищите в php.ini, что-то похожее на max_execution_time ... или типа того
 
 Top
esterio
Отправлено: 09 Декабря, 2013 - 11:48:33
Post Id



Активный участник


Покинул форум
Сообщений всего: 5025
Дата рег-ции: Нояб. 2012  
Откуда: Украина, Львов


Помог: 127 раз(а)




MULTI CURL
?
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Работа с сетью »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB