Форумы портала PHP.SU » Объявления » Наработки по собственным проектам » Грабер для авто портала

Страниц (1): [1]
 

1. herecar - 28 Мая, 2015 - 12:56:45 - перейти к сообщению
Примерно год назад мне в голову пришла идея создать доску авто объявлений.
И естественно мне хотелось добавить туда несколько фич свойственных крупным порталам, в частности некий аналог авто заполнения формы при подачи объявления т.е. выбираю год - скрипт выдает список доступных марок которые выпускали модели в этот год, выбираю марку - скрипт выдает список доступных моделей и.т.д.
Как это реализовать понятно.
Но где взять базу для реализации данного алгоритма?
Мысль об вводила меня в отчаянье.
Долгие ночи поиска не приводили к желаемому результату т.к. мне хотелось найти идеальный вариант, а их мне найти не удалось.
Мой идеал это:
Итак есть популярные ресурсы где можно было "спарсить" нужную мне инфу для базы.
На тот момент (год назад) на ресурсе использовался старый интерфейс.
И данные с сервера отправлялись примерно в таком виде
CODE (javascript):
скопировать код в буфер обмена
  1. var data = new Array();
  2. data['modification_id'] = new Array();
  3. data['modification_id']['options'] = [
  4.  
  5. ];
  6. updateSelect('modification_id','sale',"rotateModification('text', 1)");
  7. unlinkData();


т.е. сервер на запрос с клиента по ajax возвращал чистый js который потом выполнялся в браузере через eval().
Худо бедно бессонными ночами мне удалось спарсить весь каталог.
Но время идет и каталог надо обновлять, а повторно тратить пару суток на парс не очень хотелось.
И вот настал тот прекрасный день когда на "ресурсе" обновили интерфейс, но это не столь важно нежели то что происходило между интерфейсом и сервером.
Разработчики разродились на JSON, и это положило старт новой эпопеи.
Я понимал что этим надо воспользоваться в полной мере и начал разбираться что куда надо отправить что-бы получить нужные данные (см. под спойлером).
И вот за пару дней мной был написан скрипт для автоматического "высасывания" всех данных, всех до последней капли.
И еще день что-бы все слить к себе в базу.
Вот такой каталог получился.

Ну и для тех кому надо. думаю разберетесь.
Спойлер (Отобразить)


Кому нужна база или скрипт пишите в личку договоримся.

 

Powered by ExBB FM 1.0 RC1