event пишет:Сайт распознает что я пытаю забрать страницу и просит включить куки и javascript и не отдает ее. Вопрос в том как обойти?
Страница использует js для создания куки, если ты добавишь эту куку в cookies.txt то без проблем сможешь получить доступ к этой странице.
Попробовал загрузить страницу с включенным js - успешно.
Попробывал загрузить страницу с выключенным js - успешно (куки были полученны при предыдущей загрузке)
После очистки куки с выключенным js сайт делает переадресацию.
Если быть точным сомневаюсь, что куки добавляются по средством js скорее всего просто происходит переадресация на страницу, которая создает куки.
Через хром можешь вытащить куки с сайта и добавить их в свой txt, и будет тебе счастье)
(Добавление)
Немного посмотрел как себя ведет страница:
После загрузки js отправляет post запрос сюда
http://bgp.he.net/cc
Далее на этой волшебной странице тебе передаются куки если все данные формы были переданы естественно, и перенаправляет тебя обратно на ту страницу которая тебе нужна.
т.е. если всё делать по уму тебе надо через curl сразу отправлять post-запрос сюда
http://bgp.he.net/cc... По моему вот этот код отправляет форму, вытащи ее оттуда через js_encode и отправь через curl, если это не она, тогда ищи в js файлах на странице.
CODE (
javascript):
скопировать код в буфер обмена
var _0xb539 = ["\x62\x67\x70\x2E\x68\x65\x2E\x6E\x65\x74\x20\x72\x65\x71\x75\x69\x72\x65\x73\x20\x6A\x61\x76\x61\x73\x63\x72\x69\x70\x74\x20\x61\x6E\x64\x20\x63\x6F\x6F\x6B\x69\x65\x73\x20\x74\x6F\x20\x66\x75\x6E\x63\x74\x69\x6F\x6E\x2E\x20\x20\x50\x6C\x65\x61\x73\x65\x20\x65\x6E\x61\x62\x6C\x65\x20\x74\x68\x65\x73\x65\x20\x69\x6E\x20\x79\x6F\x75\x72\x20\x62\x72\x6F\x77\x73\x65\x72\x2E", "\x74\x65\x78\x74", "\x23\x65\x72\x72\x6F\x72", "\x68\x61\x73\x68", "\x6C\x6F\x63\x61\x74\x69\x6F\x6E", "\x3F\x68\x3D", "\x72\x65\x73\x70\x6F\x6E\x73\x65", "\x70\x61\x74\x68", "\x63\x6F\x6F\x6B\x69\x65", "\x6A\x73\x74\x65\x73\x74", "\x70\x6F\x73\x74", "\x61\x6A\x61\x78"];
function printerror() {
$(_0xb539[2])[_0xb539[1]](_0xb539[0])
}
function doredirect(_0x1cc4x3) {
url = '/cr';
if (window[_0xb539[4]][_0xb539[3]]) {
url += _0xb539[5] + encodeURIComponent(window[_0xb539[4]][_0xb539[3]])
}
;
window[_0xb539[4]] = url;
}
$(function () {
$[_0xb539[11]]({
url: '/i', dataType: _0xb539[1], complete: function (_0x1cc4x3) {
ip = _0x1cc4x3[_0xb539[6]];
$[_0xb539[11]]({
url: '/jc',
data: {p: $[_0xb539[9]]($[_0xb539[8]](_0xb539[7])), i: $[_0xb539[9]](ip)},
type: _0xb539[10],
error: printerror,
complete: doredirect
});
}, error: printerror
})
});