Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Форумы портала PHP.SU :: Версия для печати :: Логирование определенных запросов mysql
Форумы портала PHP.SU » PHP » SQL и Архитектура БД » Логирование определенных запросов mysql

Страниц (1): [1]
 

1. Соц Сеть - 18 Мая, 2019 - 17:51:02 - перейти к сообщению
Добрый день коллеги ! хочу настроить Mysql так чтобы в отдельном файле записали логи INSERT DELETE UPDATE , может кто то смог такое реализовать в настройках mysql ?
заранее спасибо!
2. LIME - 18 Мая, 2019 - 17:53:13 - перейти к сообщению
orm религия не позволяет?
подробнее
зачем это надо

привет старичек))

(Добавление)
вариант бинлог + clickhouse
(Добавление)
или elastickstash
(Добавление)
сам мускул такое не умеет...либо я не знаю
(Добавление)
мелкий слово за тобой
3. Мелкий - 18 Мая, 2019 - 18:33:48 - перейти к сообщению
LIME пишет:
мелкий слово за тобой

По администрированию mysql меня спрашивать в общем случае бесполезно. В определённых чертах знаю как он работает и как работать с ним с точки зрения разработчика, но не как его обслуживать.

Из коробки некоего log_statement=dml насколько знаю нет.

Есть general log со всеми запросами (не только DML)
Есть API для модулей аудита. Возможно есть подходящие готовые плагины.
Есть statement-based репликация - возможно можно так получать запросы.
Впрочем, в enterprise есть audit log (что, собственно, одновременно отвечает, почему такого нет в community-edition)
4. LIME - 18 Мая, 2019 - 20:27:28 - перейти к сообщению
вооот
каждый должен заниматься своим делом
я развиваюсь в бизнесе
мелкий супер по субрд
Соц Сеть боюсь ответа не будет пока ты не поставишь бизнес вопрос
тогда решим в каком слое тебе отвечать
Мелкий ты как всегда на уровне
(Добавление)
Мелкий пишет:
Есть general log со всеми запросами (не только DML)
LIME пишет:
вариант бинлог + clickhouse

(Добавление)

Мелкий какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
))

(Добавление)

эээх не юзал ты решения по 10к rps
там все с ног наголову становится
мне не повезло...юзаю

(Добавление)
Мелкий как ты думаешь насчет uuid?
я сильно против
(Добавление)
оох щас он меня разнесет...хотя врядли
5. Мелкий - 18 Мая, 2019 - 21:38:15 - перейти к сообщению
LIME пишет:
эээх не юзал ты решения по 10к rps

кого я там могу открыто называть с кем работаем?.. Lamoda, HH, uchi, coub. Ну раз не видел всего-то 10к rps - спорить мне что ли и показывать графики? Не могу показывать. Так что ладно, это число - что-то большое. Наверное.

LIME пишет:
как ты думаешь насчет uuid?

Люди его почему-то любят. За что - не знаю. Ещё почему-то любят писать его в varchar или text. Получается совершенно по дурацки пишется в btree, так и со статистикой значений каша.

LIME пишет:
вариант бинлог + clickhouse

бинлог != general log.
Бинлог это скорее про репликацию в mysql.

LIME пишет:
какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?

Нет, не понял. Могу догадываться
6. LIME - 18 Мая, 2019 - 21:51:44 - перейти к сообщению
Мелкий пишет:
Lamoda, HH, uchi, coub
круто))...(сарказм...мериямся приборами и я выигрываю)
Мелкий пишет:
Ещё почему-то любят писать его в varchar или text.
нууу...давай такой зашквар вообще не рассматривать
Мелкий пишет:
Бинлог это скорее про репликацию в mysql.
а суть разница? логи в мускуле вообще больная тема...сам понимаешь
я тут скорее намекнул о возможности применить новые решения отчетов
Мелкий пишет:
Нет, не понял. Могу догадываться
ты узко направлен на реляционную и транзакционную бд
это не есть пуля
например мы юзаем cqrs
все становится проще и сложнее
не все упирается в субд
реально сложные задачи сложны по определению...приходится думать
смотри шире
(Добавление)
ты не уловил суть
каждое новое в uuid это переиндексация
я сначала смеялся над теми кто держится за автоинкремент
теперь я за сиквенс всеми конечностями
высокая нагрузка все меняет
(Добавление)
Мелкий пишет:
Ну раз не видел всего-то 10к rps - спорить мне что ли и показывать графики?
да ладно
ламода точно такого трафика не делает
мне то не гони
кто твои клиенты раз 10к для тебя прикол
7. Мелкий - 20 Мая, 2019 - 13:57:54 - перейти к сообщению
Аааа! 10к rps - это ведь охрененно много! Царь и повелитель, никто из нас не смеет стоять подле вас! Помилуйте недостойного раба вашего! Я внял вашим речам и снизошло откровение ваше на меня! Теперь я вижу, что никто не смеет назваться разработчиком не поработав с такой нагрузкой!

Всё, отстань, несчастная жертва хайпа. Я этим уже переболел.

LIME пишет:
а суть разница? логи в мускуле вообще больная тема...сам понимаешь
я тут скорее намекнул о возможности применить новые решения отчетов

Это разные вещи. Сваливать в кучу репликацию и general log - некорректно.
И давно кликхаус научился читать бинлог репликации mysql? Каких версий? Что он оттуда может достать? Из stmt-based? Из row-based? из mixed? Что из этого ответит на задачу автора?
Да в общем-то даже интересно зачем кликхаус этому учить, на сколько помню яндекс на postgresql и оракле, не было там mysql, это не mailru с тарантулом. А если не умеет - то причём тут он?
Цитата:
Сказка о Грепке: посадил старик скрипт аналитики на сайт, выросла аналитика большая-пребольшая. Парсит старик Хадупом, парсит, падает Хадуп по out of memory. Зовёт старик Кафку. Парсит Кафка за Хадуп, Хадуп за аналитику, падает. Зовёт старик Грепку. Грепка за 2 минуты всё парсит


LIME пишет:
каждое новое в uuid это переиндексация

Нет. Ну или используй нормальную терминологию. Типичная вставка в дерево. Только всё немного портит характер случайности эталонной реализации uuid, дёргаем постоянно разные части дерева, пачкаем разные части дерева. Дальше просто отправлю читать статью Томаса: https://www[dot]2ndquadrant[dot]com/en/b[dot][dot][dot]uuid-generators/

LIME пишет:
нууу...давай такой зашквар вообще не рассматривать

Каждый третий. И не такое творят. И все называют себя хайлоадом. Вот прям как некоторый LIME.

LIME пишет:
ты узко направлен на реляционную и транзакционную бд

И?
Транзакционники старше меня и никуда не денутся после меня. Это может быть другая база, это может быть не REDO или UNDO recovery из-за подешевевших reram или PCM, это может быть изменённое до неузнаваемости что-то из современного мира. Что остаётся - СУБД будут нужны всегда, гарантии транзакционности будут нужны всегда. И контрибьютор СУБД (если мне не наскучит ковырять код базы) понадобится всё так же. А наскучит - сменить специализацию можно. Я пробовал менять специальность, получилось. IT огромен. Какой смысл заниматься тем что насаждает маркетинг и хайп, вместо того что интересно конкретному индивиду?

LIME пишет:
это не есть пуля

А с какого перепугу веришь в насаждаемую мысль, что хайлоад - серебрянная пуля и единственный вариант развития?
Два факта из биографии:
- уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
- сломал существовавший уже второе десятилетие recovery.conf в postgresql
Угадай, что из этого было гораздо сложнее, более волнительно и интересно, но при этом не имеет ровно никакого отношения к метрикам rps?
Как странно, неужели вот эта фраза призванная разбить меня:
LIME пишет:
реально сложные задачи сложны по определению...приходится думать
смотри шире

Не имеет к хайлоаду ровным счётом никакого отношения? Удивительное рядом. Смотри шире (с) LIME

И ох уж это высокомерие социалочников. Пара сотен тысяч транзакций в секунду долетает до кластера базы после кешей. Тянем? Тянем. Это рентабельно? Да. Ну и ок, работаем спокойно. Мне даже не интересно, сколько rps на какой из систем. 10к? 40к? Есть. И да, это всё про один из 4 примеров, что ты так высокомерно отмёл.

Ну и святая уверенность что много rps нужны всем и каждому - это печально. Взрослей, мне казалось ты уже достаточно времени провёл в хайлоаде чтобы понимать такую очевидную вещь. Есть куча мест, где более чем достаточно условных 1к rps с простыми работающими подходами, не отвлекающими от других интересных задач. И где все эти заморочки из нагрузок побольше не только бессмысленны и бесполезны, но дико вредны и опасны.

Вот с чего ты безапелляционно решил, что автор темы озадачен не исследованием на локалхосте, какие именно dml запросы выполняет приложение? Да, в засилье всякого orm это действительно может быть удобнее спрашивать именно у базы. Или может быть речь о настройке аудита действий людей (не приложения) на продовом сервере? Или ещё что? При чём тут тысячи rps?
8. LIME - 20 Мая, 2019 - 14:05:07 - перейти к сообщению
Мелкий ладно ладно)
моя самовлюбленность не вытерпела и я лопнул во все стороны брызги)
Мелкий пишет:
При чём тут тысячи rps?
иначе писать приходится
меня проперло
9. Строитель - 20 Мая, 2019 - 14:26:41 - перейти к сообщению

Улыбнуло ))
10. LIME - 21 Мая, 2019 - 10:58:50 - перейти к сообщению
Мелкий так ... что там у тебя?
ой нее...я пас
разве только
Мелкий пишет:
уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
вот тут действительно хайлоад нипричем ну почти
оптимизация че... круто
хайлоад теперь это шардинг, репликации, и сверху cqrs помазано... ну и +es
иначе пишется
11. Мелкий - 21 Мая, 2019 - 13:02:30 - перейти к сообщению
LIME пишет:
хайлоад теперь это шардинг, репликации, и сверху

Угу-угу, видел. 30к rps, заложено 12 шардов, рост баз в сумме под полтеррабайта в месяц. Для чатика со 100 сообщениями. В сутки.
Так что охотно верю что "иначе пишется". И порой это просто мастер-класс на тему как устроить хайлоад там где не надо.

Так что не надо мне тут всяких "фи, это не хайлоад". Один фиг определения этого сугубо маркетингового словечка нет. Никакого. Всяк кулик своё болото хвалит и я достаточно знаком с твоим стилем чтобы заранее ожидать натягивание мнимого понимания ярлыка хайдоада только к тому, что оно такое есть только у вас.
Отлично, давай продолжим натягивать сову дальше - у вас тоже не хайлоад, ведь вы не гугл.
12. LIME - 21 Мая, 2019 - 13:42:10 - перейти к сообщению
ого
то есть навидался дерьмеца значит да?)
ну поздравлять наверное не стоит да?)
13. armancho7777777 - 24 Мая, 2019 - 20:47:22 - перейти к сообщению
Мелкий Превосходно
14. LIME - 24 Мая, 2019 - 21:09:34 - перейти к сообщению
armancho7777777 радуешься? ))
Чему? Говори уж тогда
С чем именно ты так радостно согласен?)))

 

Powered by ExBB FM 1.0 RC1