Кэширование - нужен совет

Гугл выдает результат по одному из разделов сайта
14 600 000
База данных mysql кряхтит, запрос выполняет от 5 до 30 сек

Сделал кэширование с сохранением кэшированных файлов в папку
причем для поисков один кэш, для юзеров совсем другой

получилось

результат чего?


а файловая система предусматривает такие количество файлов в одном каталоге?

-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

результат поиска, найдено страниц гуглом, а значит индексировано - естественно не каких то там, а именно сайта
база огромная mysql ее даже выкачать проблематично
бот каждую секунду дрючит портал уже в течение несколько месяцев
думаю мог бы и быстрее но тут ограничения в нагрузки на сервер
а это не только гугл но и все остальные подрючивают + юзеры

операционная CentOS
хрен знает где искать ограничение на количество файлов в каталоге


в виндоусе создал в папке 800 000 фотографий, 30 сек папка открывалась
а это линукс...
(Добавление)
Для NTFS:
Maximum number of files in a single folder: 4,294,967,295

http://ask-leo[dot]com/is_there_a_li[dot][dot][dot]ry_can_hold[dot]html

судя по моим манипуляциям получается

Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/hda 960992 54974 906018 6% /

т.е.
960992 файлов

или что то не так?
мля...

(Отредактировано автором: 25 Августа, 2012 - 01:43:59)

дурная идея хранить столько файлов-то...

Храните в БД. Если БД получается большая то разносите базу по хостам. + Хранить такие данные в mysql заранее идиотская идея. Оно вам потом с БД грести данные по полчаса будет. Nosql вам в помощь.

Конечо лучше заранее подробнее описывать задачу и тип хранимых данных, дабы не гадать что вы там городите за сверхсекретную базу данных Арктурианского флота Седьмой галактики.

-----
Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com
Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе

гугл нашел на твоем сайте 14 600 000 страниц?
а можно полюбопытствовать что за сайт такой и как эта цифра получена.
терзают смутные сомнения - либо ты врешь либо не понимаешь о чем говоришь вообще.
как это связано с кешированием и БД я уже даже не спрашиваю.

-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

личный блог, блин
пишу каждую ночь статьи уже 100 лет

зы в таблице столько же значений, при чем тут гугл, при том что кэшировать проще когда бот заходит, походу ты не догоняешь

(Отредактировано автором: 25 Августа, 2012 - 14:47:42)

ссылку можно? Блог с таким посещением должен быт супер популярным в инете.

-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

отправил в личку

Вася, ты просто вводишь в гугл адрес сайта. понятно что он его же и находит. Только смысл в этом какой.
Ты попробуй поиск по ключевой фразе. Сомневаюсь что он вообще что нибудь найдет.

По такой экзотике как путеводитель по кубе он конечно вернул ОДНУ ссылку а вот по "В.Ф. Дунаев Web-програмирование для всех " уже фигвам

кроме того ссылки ведут в основном на pdf файлы. При чем тут Mysql, кеширование и твой блог.

Радует одно - ты не врешь - просто ни фига не смыслишь чего пишешь.

-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

1) Если бд кипит - шардируйе ее
2) Для кэша используйте memcached или redis
3) Гугл выдает результат по одному из разделов сайта 14 600 000 это он пишет, по факту он даст открыть максимум gthdst 1000 результатов, все что дальше - он пишет "Извините, но Google не выдает более 1000 результатов, а вы запросили результаты с номера 1230."