Форумы портала PHP.SU :: Версия для печати :: обсуждение машины времени [3]

31. DlTA - 05 Декабря, 2011 - 15:15:35 - перейти к сообщению

tuareg пишет:

т.е записывать на сервер все от картинок и заканчивая js

реализация Teleport

32. tuareg - 05 Декабря, 2011 - 15:17:03 - перейти к сообщению

Наверное

33. Мелкий - 05 Декабря, 2011 - 15:18:14 - перейти к сообщению

tuareg, так. Уже и меня запутал Ниндзя

tuareg пишет:

Все наоборот

Почему наоборот?

34. Ch_chov - 05 Декабря, 2011 - 15:29:54 - перейти к сообщению

Не пойму причем тут user script? HTML без CSS и JS в большинстве случаев выглядит криво. Если нужно иметь точную копию какой либо страницы в сети, то придется загружать её со всеми «потрохами». Нет критериев, по которым можно было бы отделять нужные файлы, которые относятся к тексту статьи от прочих. Причем очень важно подгрузить файлы также с внешних ресурсов. Многие публикации особенно на хабре хранят картинки на внешних файлхостингах. Как следствие вместе с нормальными картинками в копию попадую рекламные банеры и прочий мусор. Аналогично с CSS и JS файлами, которых может быть огромное кол-во.

Для отображения одной веб страницы на большинстве сайтов браузер выполняет от 30 до 80 http запросов. Общий размер этих файлов может превышать 1МБ.

Другая проблема связана с безопасностью. Что если в исходной статье вставить javascript с XSS иньекцией? Паук «съест» этот код и выполнит его на своём сайте, из под своего домена. Т.е. данный JS будет иметь полный доступ к кукам пользователя на этом сайте.

35. Stierus - 05 Декабря, 2011 - 15:34:40 - перейти к сообщению

1. Чем кнопка "сохранить как html" в браузере хуже?

отметая первый вопрос, предложения по системе:
1. Создается Grease monkey скрипт, создающий кнопку "сохранить страницу". При нажатии на эту кнопку мы отправляем нашему крайлеру информацию об авторизации в нашей системе + url страницы + все пользовательские куки (на случай закрытого раздела)
2. Краулер скачивает страницу, запускает поиск js, картинок и css ... во всех css и js снова запускается механризм поиска картинок и других ресурсов - выкачевается все, выставляется статус закрытого документа.
3. Если пользователь хочет открыть доступ к какому-то документу сторонним людям - он должен открыть его (открыть можно для всех, либо открыть доступ по выставленному паролю ... пароль на конкретно этот документ указывается тут же, либо берется какой-то дефолтный, так же установленный пользователем ранее)
4. Документы закрываются средствами nginx, css и js открыты извне для чтения.

ps
Я себе представлял эту идею как бота, блуждающего по инету (как яндекс-бот) и сохраняющий все подряд Улыбка

. В текущем виде смысл системы для меня не понятен - смотри вопрос 1.

36. Ch_chov - 05 Декабря, 2011 - 15:35:27 - перейти к сообщению

Кстати, есть такая штука web.archive.org.
Если кому интересно, вот так выглядел это форум в 2006 г. Улыбка

37. Stierus - 05 Декабря, 2011 - 15:37:26 - перейти к сообщению

Ch_chov, я думал, мы именно такого же писать и будем Улыбка

38. Ch_chov - 05 Декабря, 2011 - 15:42:38 - перейти к сообщению

Делать такой паук на PHP можно лишь со скидкой на то, что проект учебный.
Точно не уверен, но мне кажется wget умеет качать страницы вместе с «потрохами». Теоретически можно сделать просто PHP обёртку для такой утилиты. Будет намного проще и практичней.

39. EuGen - 05 Декабря, 2011 - 15:47:30 - перейти к сообщению

Ch_chov
Например,

CODE (bash):
скопировать код в буфер обмена

wget -kbr -l=3 <url>

Обертку написать.. хм.

PHP:
скопировать код в буфер обмена

exec('wget -kbr -l='.(int)$_SERVER['argv'][1].' '.escapeshellarg($_SERVER['argv'][2]));

- готово