Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
Помог: 10 раз(а)
как, отключить js-редирект, при просмотре результатов, полученных курлом?
Например, если CodeeN перегружен, то он просто перенаправляет на требуемую страницу через 10сек, но как прокси не работает.
EuGen
Отправлено: 30 Мая, 2011 - 17:12:54
Профессионал
Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007 Откуда: Berlin
Помог: 707 раз(а)
0. Отрезать javascript регулярным выражением (или - только ненужный javascript)
1. Не использовать такие прокси.
----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
vsll
Отправлено: 30 Мая, 2011 - 17:20:08
Частый посетитель
Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
Помог: 10 раз(а)
EuGen пишет:
1. Не использовать такие прокси.
оно и понятно, что в мусор
но когда после проверки 30прокси выводится полный отчёт по всем на полстраницы, то если попадается такой, будет перенаправление через 10сек, что мешает хорошенько почитать про все ошибки ))) а где там js не знаю, просто предположила, потому что
Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007 Откуда: Berlin
Помог: 707 раз(а)
Нет, то, что Вы написали - это говорит curl "не идти по редиректу, если сервер об этом сообщает", то есть редирект идет от сервера (заголовок Location).
У Вас же редирект при помощи js - как я понимаю, Вы обрабатываете результат и видите, что там вот такой javascript - с редиректом.
Вот и предполагается по регулярному выражению понимать, что ответ - не то, что ожидается, ждать и делать запрос повторно (надеясь, что в новой итерации сервер уже не будет перегружен)
----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
vsll
Отправлено: 30 Мая, 2011 - 17:26:27
Частый посетитель
Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
Помог: 10 раз(а)
EuGen пишет:
ждать и делать запрос повторно (надеясь, что в новой итерации сервер уже не будет перегружен)
нагрузка на cpu (multi curl)
а просто как-то отключить js нельзя?
EuGen
Отправлено: 30 Мая, 2011 - 17:46:01
Профессионал
Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007 Откуда: Berlin
Помог: 707 раз(а)
Но зачем?
Вы просматриваете результат в браузере чтоли? Как Вам может помешать javascript в ответе сервера?
----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
vsll
Отправлено: 30 Мая, 2011 - 18:28:38
Частый посетитель
Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
Помог: 10 раз(а)
EuGen пишет:
Вы просматриваете результат в браузере чтоли?
Да
EuGen
Отправлено: 30 Мая, 2011 - 21:17:34
Профессионал
Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007 Откуда: Berlin
Помог: 707 раз(а)
Имею ввиду, Вы не делаете CURLOPT_RETURNTRANSFER ?
----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
vsll
Отправлено: 31 Мая, 2011 - 08:37:52
Частый посетитель
Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
Помог: 10 раз(а)
EuGen, Делаю На картинке много лишней информации, потому что программа в состоянии отладки, но вся эта информация получена и в результате манипуляций с исходными массивами результатов и входных данных, а сообщения от http серверов, в случае неудачной попытки подключения, приходят часто, да и от socks тоже, тот же тор ругается если к нему пытаешься подключиться по http
Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007 Откуда: Berlin
Помог: 707 раз(а)
Тогда не понимаю - в чем трудность. Мы видимо о разном.
Если Вам так мешает javascript - так используйте регулярное выражение чтобы его отрезать. Или по нему определяйте, что сервер отдал страницу "сервер перегружен" и делайте повторную попытку.
Ну или по пунктам
- Что у Вас есть
- Что нужно получить
- Что пробовали
- Что не получается
----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
vsll
Отправлено: 31 Мая, 2011 - 09:36:06
Частый посетитель
Покинул форум
Сообщений всего: 530
Дата рег-ции: Февр. 2011
You are using CoDeeN content distribution network(CDN). CoDeeN is a pulling-based HTTP content distribution network(CDN) deployed on PlanetLab with the goal of improving the Web performance.
You see this page because you chose to use CoDeeN in some way. If you don't want to surf through CoDeeN, please undo whatever step you made to use CoDeeN. Please check your proxy setting at your browser, or uninstall any anonymizer software which uses CoDeeN. By the way, using Web anonymizer through CoDeeN will not work smoothly, and your access to CoDeeN get blocked at any time.
Finally, please do not attempt to abuse our system. For security reasons, we closely monitor all the activities through CoDeeN and log all the requests, and in case of abuse these may be used as evidence in police investigation.
Otherwise, CoDeeN is open to public use, so feel free to enjoy the service. You will be redirected to the page you have just requested in ten seconds. "
Все гости форума могут просматривать этот раздел. Только зарегистрированные пользователи могут создавать новые темы в этом разделе. Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.