обсуждение машины времени

реализация Teleport

Наверное

tuareg, так. Уже и меня запутал


Почему наоборот?

-----
PostgreSQL DBA

Не пойму причем тут user script? HTML без CSS и JS в большинстве случаев выглядит криво. Если нужно иметь точную копию какой либо страницы в сети, то придется загружать её со всеми «потрохами». Нет критериев, по которым можно было бы отделять нужные файлы, которые относятся к тексту статьи от прочих. Причем очень важно подгрузить файлы также с внешних ресурсов. Многие публикации особенно на хабре хранят картинки на внешних файлхостингах. Как следствие вместе с нормальными картинками в копию попадую рекламные банеры и прочий мусор. Аналогично с CSS и JS файлами, которых может быть огромное кол-во.

Для отображения одной веб страницы на большинстве сайтов браузер выполняет от 30 до 80 http запросов. Общий размер этих файлов может превышать 1МБ.

Другая проблема связана с безопасностью. Что если в исходной статье вставить javascript с XSS иньекцией? Паук «съест» этот код и выполнит его на своём сайте, из под своего домена. Т.е. данный JS будет иметь полный доступ к кукам пользователя на этом сайте.

1. Чем кнопка "сохранить как html" в браузере хуже?

отметая первый вопрос, предложения по системе:
1. Создается Grease monkey скрипт, создающий кнопку "сохранить страницу". При нажатии на эту кнопку мы отправляем нашему крайлеру информацию об авторизации в нашей системе + url страницы + все пользовательские куки (на случай закрытого раздела)
2. Краулер скачивает страницу, запускает поиск js, картинок и css ... во всех css и js снова запускается механризм поиска картинок и других ресурсов - выкачевается все, выставляется статус закрытого документа.
3. Если пользователь хочет открыть доступ к какому-то документу сторонним людям - он должен открыть его (открыть можно для всех, либо открыть доступ по выставленному паролю ... пароль на конкретно этот документ указывается тут же, либо берется какой-то дефолтный, так же установленный пользователем ранее)
4. Документы закрываются средствами nginx, css и js открыты извне для чтения.


ps
Я себе представлял эту идею как бота, блуждающего по инету (как яндекс-бот) и сохраняющий все подряд . В текущем виде смысл системы для меня не понятен - смотри вопрос 1.

Кстати, есть такая штука web.archive.org.
Если кому интересно, вот так выглядел это форум в 2006 г.

Ch_chov, я думал, мы именно такого же писать и будем

Делать такой паук на PHP можно лишь со скидкой на то, что проект учебный.
Точно не уверен, но мне кажется wget умеет качать страницы вместе с «потрохами». Теоретически можно сделать просто PHP обёртку для такой утилиты. Будет намного проще и практичней.

Ch_chov
Например,

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Тем, что она уже реализована!
Вся эта идея - так же не нова и по крайней мере 1 раз реализована. Пару лет назад (кажется, всё на том же хабре) я и слышал про такой сервис.
У меня вообще перманентная меланхолия - всё уже реализовано.


Отображать на другом домене?



Собственно, добавить нечего.

А мусор всякий - да, будет загружаться.

-----
PostgreSQL DBA

Маленький параноик внутри меня забился в самый дальний и тёмный угол.

(Отредактировано автором: 05 Декабря, 2011 - 16:23:48)

Самогонщик, сделаем галку вопрос "для доступа в закрытые разделы сайтов нам магут потребоваться ваши куки, согласны ли вы их предоставить? да \ нет " - это не принципиально

+1


ох, пойду ман перечитаю. Может и кофе варить умеет...

-----
PostgreSQL DBA