Помогите оптимизировать таблицу

Имеется таблица: id, url, html. В url хранятся урлы вида "http://site.com/news/bla-bla-bla/bla-bla/bla". А в столбце html соответвенно html код запрашиваемого урла. Сейчас в таблице чуть более 10 000 записей, и уже сейчас выборка типа SELECT * FROM crawler WHERE url = 'http://site.com/bla-bla/bla-bla/bla'; занимает пол секунды, а т.к. этот запрос происходит при получении любого url, в целом это влияет на загрузку любой страницы (не важно со старой версии сайта она или с новой). В итоге, имею почти секундную задержку до получения контента.

Пытался победить созданием такого индекса:

А url, я так понимаю, уникальный?

Да, url уникальный. Сейчас попробовал сделать его первичным ключом таблицы, один фиг, оно наоборот еще медленнее стало.
(Добавление)
Перевел таблицу в MYISAM, сделал полнотекстовый индекс для этого поля длиной 255 символов итог: никакого прироста в скорости выборки.

А зачем делать первичным? Пусть первичным будет id. Сделай его для начала уникальным.

http://www[dot]mysql[dot]ru/docs/man/Ful[dot][dot][dot]text_Search[dot]html

Повесьте хэш-индекс.
Правда, mysql их не умеет, так что добавляете ещё поле и заполняете его значением хеш-функции от урла. Возможно простой int и crc32 дадут достаточную селективность. Искать надо, соответственно, по WHERE url = 'http://site.com/bla-bla/bla-bla/bla' and hash_index='значение CRC32 от урла'

-----
PostgreSQL DBA

Да только наоборот WHERE hash_index='значение CRC32 от урла' AND url = 'http://site.com/bla-bla/bla-bla/bla'

tuareg, не имеет значения. Если только для соблюдения принятого в проекте стандарта кодирования.

-----
PostgreSQL DBA

В общем, сделал еще 2 поля одно с md5, а другое с crc32 хэшами урлов, прироста в скорости никакой. Стал на хостера грешить, потому как ранее с ним не работал, дампанул базу на сервер digitalocean'a где все наши проекты крутятся, один хер, скорость выборки не изменилась, прямо печалька какая-то, скорость выборки:

Добавьте еще LIMIT 1;
И выложите EXLAIN запроса
P.S я надеюсь по полям индекс есть?

(Отредактировано автором: 03 Сентября, 2014 - 10:38:22)

Присоединяюсь к вопросу.

-----
PostgreSQL DBA

Вот explain запроса:
id - 1
select_type - SIMPLE
table - crawler
type - const
possible_keys - UK_crawler_crc32_has
key - UK_crawler_crc32_has
key_len - 8
ref - const
rows - 1
Extra - null
P.S.
Если выбирать по id записи, скорость такая же, в среднем 0.8 с.
Вот как щас таблица выглядит:

Не ускорите, если тупо запрос по id => 0.8c . Быстрей работать не будет
Т.е быстрей чем по PK никак.
P.S но это очень странно, почему так долго выполняется этот запрос

(Отредактировано автором: 03 Сентября, 2014 - 11:07:29)

Хэш-индекс не должен быть уникальным, хэш может быть идентичен для разных исходных данных.


Это что такое?

-----
PostgreSQL DBA

Дополню Мелкий вполне хватит и int(11) беззнакового
Т.е по идее Вам вполне хватит

Пардоньте друзья! Все в порядке! Это оказывается мой клиент СУБД так тормозит, хотя я пользовался функцией профилировки запросов в нем. В частности клиент называется dbForge Studio fo MySQL, удобный и няшный, но тупит оказывается.

Сейчас проверил те же самые запросы через консоль и вуаля, запрос по УРЛу занимает 0,02 c., запрос по id 0,00 c., запрос по crc32 хэшу 0.00 c.

Сами полюбуйтесь:
mysql> SELECT * FROM ***.crawler WHERE id = 2145 LIMIT 1;
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| id | url | visit_date | html | crc32_hash |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| 2145 | http://site[dot]com/news/chempionat_[dot][dot][dot]/2014-03-22-8846 | 0000-00-00 00:00:00 | | 3191665859 |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
1 row in set (0,00 sec)

mysql> SELECT * FROM ***.crawler WHERE url = "http://site.com/news/chempionat_rossii_2013_14_22_j_tur_razogrev_22_03_2014/2014-03-22-8846" LIMIT 1;
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| id | url | visit_date | html | crc32_hash |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| 2145 | http://site[dot]com/news/chempionat_[dot][dot][dot]/2014-03-22-8846 | 0000-00-00 00:00:00 | | 3191665859 |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
1 row in set (0,02 sec)

mysql> SELECT * FROM ***.crawler WHERE crc32_hash = 3191665859 LIMIT 1;
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| id | url | visit_date | html | crc32_hash |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
| 2145 | http://site[dot]com/news/chempionat_[dot][dot][dot]/2014-03-22-8846 | 0000-00-00 00:00:00 | | 3191665859 |
+------+---------------------------------------------------------------------------------------------------+---------------------+------+------------+
1 row in set (0,00 sec)

отдельное спасибо пользователю tuareg, именно он посчитал странным столь долгую выборку по primary_key [b]id[/b].

Мораль сей басни такова, меряйте скорость выполнения запросов mysql непосредственно из консоли mysql, а не сторонним говнософтом расположенным на расстоянии в 4-5к км от сервера!..

(Отредактировано автором: 03 Сентября, 2014 - 14:28:39)