Многие сайты имеют две версии выдачи со скриптами и без них.
Если открыть такой в браузере с отключенными скриптами, то контент может быть похожим, а код принципиально другой.
Как достичь этого при парсинге стороннего сайта, как указать, что мой "браузер" не работает со скриптами
1. ppokorp - 18 Февраля, 2019 - 12:49:05 - перейти к сообщению
2. Мелкий - 18 Февраля, 2019 - 13:00:20 - перейти к сообщению
cutl это транспорт. При том транспорт одного конкретного запроса. У curl не было, нет и не будет никакой обработки передаваемых данных. Даже html, я уж не говорю про js.
Поэтому если не хотите работать с js - не реализовывайте обработку js. К curl не имеет никакого отношения.
Поэтому если не хотите работать с js - не реализовывайте обработку js. К curl не имеет никакого отношения.
3. ppokorp - 18 Февраля, 2019 - 13:08:43 - перейти к сообщению
Мелкий пишет:
cutl это транспорт. При том транспорт одного конкретного запроса. У curl не было, нет и не будет никакой обработки передаваемых данных. Даже html, я уж не говорю про js.
Поэтому если не хотите работать с js - не реализовывайте обработку js. К curl не имеет никакого отношения.
Поэтому если не хотите работать с js - не реализовывайте обработку js. К curl не имеет никакого отношения.
наверное я нечетко обозначил задачу.
как мне сформировать запрос, чтобы сайт сделал выдачу именно без скриптов.
столкнулся в сети и с обратной задачей, там сайты наоборот по умолчанию выдавали версию без скриптов или вообще отказывались работать, пока не докажешь ему, что в состоянии работать с его скриптами
4. Мелкий - 18 Февраля, 2019 - 13:34:44 - перейти к сообщению
Сравнивать, какой HTTP запрос делает браузер с выключенным JS и какой делает с включенным. Найти разницу. Реализовать идентичные характеристики для запроса выполняемого через curl.
5. ppokorp - 18 Февраля, 2019 - 14:02:20 - перейти к сообщению
Мелкий пишет:
Сравнивать, какой HTTP запрос делает браузер с выключенным JS и какой делает с включенным. Найти разницу. Реализовать идентичные характеристики для запроса выполняемого через curl.
спасибо