Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Парсер картинок

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Mikle1989
Отправлено: 17 Июня, 2016 - 13:47:38
Post Id


Новичок


Покинул форум
Сообщений всего: 4
Дата рег-ции: Июнь 2016  


Помог: 0 раз(а)




Здравствуйте!
Стоит задача переноса картинок с одного сайта партнера на другой.
Картинки располагаются по одной на детальной страницы, этих страниц около 80.
Задача сохранить картинки в папку.

Если брать парсер simple dom, то с него удобно парсить информацию с одной станицы, которая передается в file_get_htm, а если их 80, получается надо передавать в метод file_get_htm все страницы по очереди.

Подскажите, можно ли как - нибудь гибко решить данную задачу?
 
 Top
Viper
Отправлено: 17 Июня, 2016 - 14:10:18
Post Id



Активный участник


Покинул форум
Сообщений всего: 4555
Дата рег-ции: Февр. 2007  
Откуда: Симферополь


Помог: 98 раз(а)




Дело не в инструменте, а в способе. Организуйте очередь и будет вам счастье.


-----
Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com
Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе
 
 Top
Mikle1989
Отправлено: 17 Июня, 2016 - 14:13:28
Post Id


Новичок


Покинул форум
Сообщений всего: 4
Дата рег-ции: Июнь 2016  


Помог: 0 раз(а)




Напишите, пожалуйста, небольшой пример как это можно организовать
 
 Top
LIME
Отправлено: 17 Июня, 2016 - 19:29:37
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




слишком простая задача для очереди
file_get_htm принимает и строку html насколько помню
решение multi_curl попроще
http://php.net/manual/ru/functio...l-multi-init.php
(Добавление)
Mikle1989 пишет:
Напишите, пожалуйста, небольшой пример
с очередями не получится небольшого))
(Добавление)
хотя 80 страниц можно и тупо в цикле обработать если скорость не сверхкритична
 
 Top
Mikle1989
Отправлено: 17 Июня, 2016 - 23:54:04
Post Id


Новичок


Покинул форум
Сообщений всего: 4
Дата рег-ции: Июнь 2016  


Помог: 0 раз(а)




Спасибо большое, посмотрю материал, да и изучить очереди не помешает
 
 Top
Viper
Отправлено: 18 Июня, 2016 - 00:12:02
Post Id



Активный участник


Покинул форум
Сообщений всего: 4555
Дата рег-ции: Февр. 2007  
Откуда: Симферополь


Помог: 98 раз(а)




Вот статейка про парсинг на NodeJS если вам вдруг php не взлетит. https://habrahabr[dot]ru/post/301426/


-----
Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com
Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе
 
 Top
Mikle1989
Отправлено: 18 Июня, 2016 - 11:01:19
Post Id


Новичок


Покинул форум
Сообщений всего: 4
Дата рег-ции: Июнь 2016  


Помог: 0 раз(а)




Да, интересно тоже ознакомиться, noda я косался, возможно даже будет удобнее, попытаю)
Спасибо!
 
 Top
LIME
Отправлено: 18 Июня, 2016 - 11:10:13
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Еще один выстрел из пушки по воробьям
Viper ты прям мастер преувеличения на этой теме
В чем сила ноды?
Неумирающий процесс + ассинхронность библиотеки типа libevent
Viper акстись
После очередей нода
Фуууфф
(Добавление)
Mikle1989 очереди хороши для фоновых процессов
Чтоб ответ сервера не тормозить
Не путать с менеджером сообщений типа rabbit
он больше для связи компонентов soa архитектуры
Но фондовые процессы тоже может исполнять
Короче для гугления rabbit, gearman, и еще в каждом фреймворке есть свое решение..дешевое и сердитое
(Добавление)
AMPQ...просто положил сюда...кому надо погуглит
 
 Top
Viper
Отправлено: 18 Июня, 2016 - 14:50:04
Post Id



Активный участник


Покинул форум
Сообщений всего: 4555
Дата рег-ции: Февр. 2007  
Откуда: Симферополь


Помог: 98 раз(а)




LIME где ты увидел про очереди в ноде? Не фантазируй Улыбка


-----
Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com
Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе
 
 Top
LIME
Отправлено: 19 Июня, 2016 - 01:32:52
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Сам не фантазируй
Я сказал что ты заставляешь курить то очереди то ноду
Впрочем пофиг
Ответы получились на любой вкус
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB