Добрый день коллеги ! хочу настроить Mysql так чтобы в отдельном файле записали логи INSERT DELETE UPDATE , может кто то смог такое реализовать в настройках mysql ?
заранее спасибо!
1. Соц Сеть - 18 Мая, 2019 - 17:51:02 - перейти к сообщению
2. LIME - 18 Мая, 2019 - 17:53:13 - перейти к сообщению
orm религия не позволяет?
подробнее
зачем это надо
(Добавление)
вариант бинлог + clickhouse
(Добавление)
или elastickstash
(Добавление)
сам мускул такое не умеет...либо я не знаю
(Добавление)
мелкий слово за тобой
подробнее
зачем это надо
привет старичек))
(Добавление)
вариант бинлог + clickhouse
(Добавление)
или elastickstash
(Добавление)
сам мускул такое не умеет...либо я не знаю
(Добавление)
мелкий слово за тобой
3. Мелкий - 18 Мая, 2019 - 18:33:48 - перейти к сообщению
LIME пишет:
мелкий слово за тобой
По администрированию mysql меня спрашивать в общем случае бесполезно. В определённых чертах знаю как он работает и как работать с ним с точки зрения разработчика, но не как его обслуживать.
Из коробки некоего log_statement=dml насколько знаю нет.
Есть general log со всеми запросами (не только DML)
Есть API для модулей аудита. Возможно есть подходящие готовые плагины.
Есть statement-based репликация - возможно можно так получать запросы.
Впрочем, в enterprise есть audit log (что, собственно, одновременно отвечает, почему такого нет в community-edition)
4. LIME - 18 Мая, 2019 - 20:27:28 - перейти к сообщению
вооот
каждый должен заниматься своим делом
я развиваюсь в бизнесе
мелкий супер по субрд
Соц Сеть боюсь ответа не будет пока ты не поставишь бизнес вопрос
тогда решим в каком слое тебе отвечать
Мелкий ты как всегда на уровне
(Добавление)
(Добавление)
(Добавление)
(Добавление)
Мелкий как ты думаешь насчет uuid?
я сильно против
(Добавление)
оох щас он меня разнесет...хотя врядли
каждый должен заниматься своим делом
я развиваюсь в бизнесе
мелкий супер по субрд
Соц Сеть боюсь ответа не будет пока ты не поставишь бизнес вопрос
тогда решим в каком слое тебе отвечать
Мелкий ты как всегда на уровне
(Добавление)
Мелкий пишет:
Есть general log со всеми запросами (не только DML)
LIME пишет:
вариант бинлог + clickhouse
(Добавление)
Мелкий какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
))
(Добавление)
эээх не юзал ты решения по 10к rps
там все с ног наголову становится
мне не повезло...юзаю
там все с ног наголову становится
мне не повезло...юзаю
(Добавление)
Мелкий как ты думаешь насчет uuid?
я сильно против
(Добавление)
оох щас он меня разнесет...хотя врядли
5. Мелкий - 18 Мая, 2019 - 21:38:15 - перейти к сообщению
LIME пишет:
эээх не юзал ты решения по 10к rps
кого я там могу открыто называть с кем работаем?.. Lamoda, HH, uchi, coub. Ну раз не видел всего-то 10к rps - спорить мне что ли и показывать графики? Не могу показывать. Так что ладно, это число - что-то большое. Наверное.
LIME пишет:
как ты думаешь насчет uuid?
Люди его почему-то любят. За что - не знаю. Ещё почему-то любят писать его в varchar или text. Получается совершенно по дурацки пишется в btree, так и со статистикой значений каша.
LIME пишет:
вариант бинлог + clickhouse
бинлог != general log.
Бинлог это скорее про репликацию в mysql.
LIME пишет:
какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
Нет, не понял. Могу догадываться
6. LIME - 18 Мая, 2019 - 21:51:44 - перейти к сообщению
Мелкий пишет:
круто))...(сарказм...мериямся приборами и я выигрываю)Lamoda, HH, uchi, coub
Мелкий пишет:
нууу...давай такой зашквар вообще не рассматриватьЕщё почему-то любят писать его в varchar или text.
Мелкий пишет:
а суть разница? логи в мускуле вообще больная тема...сам понимаешьБинлог это скорее про репликацию в mysql.
я тут скорее намекнул о возможности применить новые решения отчетов
Мелкий пишет:
ты узко направлен на реляционную и транзакционную бдНет, не понял. Могу догадываться
это не есть пуля
например мы юзаем cqrs
все становится проще и сложнее
не все упирается в субд
реально сложные задачи сложны по определению...приходится думать
смотри шире
(Добавление)
ты не уловил суть
каждое новое в uuid это переиндексация
я сначала смеялся над теми кто держится за автоинкремент
теперь я за сиквенс всеми конечностями
высокая нагрузка все меняет
(Добавление)
Мелкий пишет:
да ладноНу раз не видел всего-то 10к rps - спорить мне что ли и показывать графики?
ламода точно такого трафика не делает
мне то не гони
кто твои клиенты раз 10к для тебя прикол
7. Мелкий - 20 Мая, 2019 - 13:57:54 - перейти к сообщению
Аааа! 10к rps - это ведь охрененно много! Царь и повелитель, никто из нас не смеет стоять подле вас! Помилуйте недостойного раба вашего! Я внял вашим речам и снизошло откровение ваше на меня! Теперь я вижу, что никто не смеет назваться разработчиком не поработав с такой нагрузкой!
Всё, отстань, несчастная жертва хайпа. Я этим уже переболел.
Это разные вещи. Сваливать в кучу репликацию и general log - некорректно.
И давно кликхаус научился читать бинлог репликации mysql? Каких версий? Что он оттуда может достать? Из stmt-based? Из row-based? из mixed? Что из этого ответит на задачу автора?
Да в общем-то даже интересно зачем кликхаус этому учить, на сколько помню яндекс на postgresql и оракле, не было там mysql, это не mailru с тарантулом. А если не умеет - то причём тут он?
Нет. Ну или используй нормальную терминологию. Типичная вставка в дерево. Только всё немного портит характер случайности эталонной реализации uuid, дёргаем постоянно разные части дерева, пачкаем разные части дерева. Дальше просто отправлю читать статью Томаса: https://www[dot]2ndquadrant[dot]com/en/b[dot][dot][dot]uuid-generators/
Каждый третий. И не такое творят. И все называют себя хайлоадом. Вот прям как некоторый LIME.
И?
Транзакционники старше меня и никуда не денутся после меня. Это может быть другая база, это может быть не REDO или UNDO recovery из-за подешевевших reram или PCM, это может быть изменённое до неузнаваемости что-то из современного мира. Что остаётся - СУБД будут нужны всегда, гарантии транзакционности будут нужны всегда. И контрибьютор СУБД (если мне не наскучит ковырять код базы) понадобится всё так же. А наскучит - сменить специализацию можно. Я пробовал менять специальность, получилось. IT огромен. Какой смысл заниматься тем что насаждает маркетинг и хайп, вместо того что интересно конкретному индивиду?
А с какого перепугу веришь в насаждаемую мысль, что хайлоад - серебрянная пуля и единственный вариант развития?
Два факта из биографии:
- уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
- сломал существовавший уже второе десятилетие recovery.conf в postgresql
Угадай, что из этого было гораздо сложнее, более волнительно и интересно, но при этом не имеет ровно никакого отношения к метрикам rps?
Как странно, неужели вот эта фраза призванная разбить меня:
Не имеет к хайлоаду ровным счётом никакого отношения? Удивительное рядом. Смотри шире (с) LIME
И ох уж это высокомерие социалочников. Пара сотен тысяч транзакций в секунду долетает до кластера базы после кешей. Тянем? Тянем. Это рентабельно? Да. Ну и ок, работаем спокойно. Мне даже не интересно, сколько rps на какой из систем. 10к? 40к? Есть. И да, это всё про один из 4 примеров, что ты так высокомерно отмёл.
Ну и святая уверенность что много rps нужны всем и каждому - это печально. Взрослей, мне казалось ты уже достаточно времени провёл в хайлоаде чтобы понимать такую очевидную вещь. Есть куча мест, где более чем достаточно условных 1к rps с простыми работающими подходами, не отвлекающими от других интересных задач. И где все эти заморочки из нагрузок побольше не только бессмысленны и бесполезны, но дико вредны и опасны.
Вот с чего ты безапелляционно решил, что автор темы озадачен не исследованием на локалхосте, какие именно dml запросы выполняет приложение? Да, в засилье всякого orm это действительно может быть удобнее спрашивать именно у базы. Или может быть речь о настройке аудита действий людей (не приложения) на продовом сервере? Или ещё что? При чём тут тысячи rps?
Всё, отстань, несчастная жертва хайпа. Я этим уже переболел.
LIME пишет:
а суть разница? логи в мускуле вообще больная тема...сам понимаешь
я тут скорее намекнул о возможности применить новые решения отчетов
я тут скорее намекнул о возможности применить новые решения отчетов
Это разные вещи. Сваливать в кучу репликацию и general log - некорректно.
И давно кликхаус научился читать бинлог репликации mysql? Каких версий? Что он оттуда может достать? Из stmt-based? Из row-based? из mixed? Что из этого ответит на задачу автора?
Да в общем-то даже интересно зачем кликхаус этому учить, на сколько помню яндекс на postgresql и оракле, не было там mysql, это не mailru с тарантулом. А если не умеет - то причём тут он?
Цитата:
Сказка о Грепке: посадил старик скрипт аналитики на сайт, выросла аналитика большая-пребольшая. Парсит старик Хадупом, парсит, падает Хадуп по out of memory. Зовёт старик Кафку. Парсит Кафка за Хадуп, Хадуп за аналитику, падает. Зовёт старик Грепку. Грепка за 2 минуты всё парсит
LIME пишет:
каждое новое в uuid это переиндексация
Нет. Ну или используй нормальную терминологию. Типичная вставка в дерево. Только всё немного портит характер случайности эталонной реализации uuid, дёргаем постоянно разные части дерева, пачкаем разные части дерева. Дальше просто отправлю читать статью Томаса: https://www[dot]2ndquadrant[dot]com/en/b[dot][dot][dot]uuid-generators/
LIME пишет:
нууу...давай такой зашквар вообще не рассматривать
Каждый третий. И не такое творят. И все называют себя хайлоадом. Вот прям как некоторый LIME.
LIME пишет:
ты узко направлен на реляционную и транзакционную бд
И?
Транзакционники старше меня и никуда не денутся после меня. Это может быть другая база, это может быть не REDO или UNDO recovery из-за подешевевших reram или PCM, это может быть изменённое до неузнаваемости что-то из современного мира. Что остаётся - СУБД будут нужны всегда, гарантии транзакционности будут нужны всегда. И контрибьютор СУБД (если мне не наскучит ковырять код базы) понадобится всё так же. А наскучит - сменить специализацию можно. Я пробовал менять специальность, получилось. IT огромен. Какой смысл заниматься тем что насаждает маркетинг и хайп, вместо того что интересно конкретному индивиду?
LIME пишет:
это не есть пуля
А с какого перепугу веришь в насаждаемую мысль, что хайлоад - серебрянная пуля и единственный вариант развития?
Два факта из биографии:
- уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
- сломал существовавший уже второе десятилетие recovery.conf в postgresql
Угадай, что из этого было гораздо сложнее, более волнительно и интересно, но при этом не имеет ровно никакого отношения к метрикам rps?
Как странно, неужели вот эта фраза призванная разбить меня:
LIME пишет:
реально сложные задачи сложны по определению...приходится думать
смотри шире
смотри шире
Не имеет к хайлоаду ровным счётом никакого отношения? Удивительное рядом. Смотри шире (с) LIME
И ох уж это высокомерие социалочников. Пара сотен тысяч транзакций в секунду долетает до кластера базы после кешей. Тянем? Тянем. Это рентабельно? Да. Ну и ок, работаем спокойно. Мне даже не интересно, сколько rps на какой из систем. 10к? 40к? Есть. И да, это всё про один из 4 примеров, что ты так высокомерно отмёл.
Ну и святая уверенность что много rps нужны всем и каждому - это печально. Взрослей, мне казалось ты уже достаточно времени провёл в хайлоаде чтобы понимать такую очевидную вещь. Есть куча мест, где более чем достаточно условных 1к rps с простыми работающими подходами, не отвлекающими от других интересных задач. И где все эти заморочки из нагрузок побольше не только бессмысленны и бесполезны, но дико вредны и опасны.
Вот с чего ты безапелляционно решил, что автор темы озадачен не исследованием на локалхосте, какие именно dml запросы выполняет приложение? Да, в засилье всякого orm это действительно может быть удобнее спрашивать именно у базы. Или может быть речь о настройке аудита действий людей (не приложения) на продовом сервере? Или ещё что? При чём тут тысячи rps?
8. LIME - 20 Мая, 2019 - 14:05:07 - перейти к сообщению
Мелкий ладно ладно)
моя самовлюбленность не вытерпела и я лопнул во все стороны брызги)
меня проперло
моя самовлюбленность не вытерпела и я лопнул во все стороны брызги)
Мелкий пишет:
иначе писать приходитсяПри чём тут тысячи rps?
меня проперло
9. Строитель - 20 Мая, 2019 - 14:26:41 - перейти к сообщению
Улыбнуло ))
10. LIME - 21 Мая, 2019 - 10:58:50 - перейти к сообщению
Мелкий так ... что там у тебя?
ой нее...я пас
разве только
оптимизация че... круто
хайлоад теперь это шардинг, репликации, и сверху cqrs помазано... ну и +es
иначе пишется
ой нее...я пас
разве только
Мелкий пишет:
вот тут действительно хайлоад нипричем ну почтиуменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
оптимизация че... круто
хайлоад теперь это шардинг, репликации, и сверху cqrs помазано... ну и +es
иначе пишется
11. Мелкий - 21 Мая, 2019 - 13:02:30 - перейти к сообщению
LIME пишет:
хайлоад теперь это шардинг, репликации, и сверху
Угу-угу, видел. 30к rps, заложено 12 шардов, рост баз в сумме под полтеррабайта в месяц. Для чатика со 100 сообщениями. В сутки.
Так что охотно верю что "иначе пишется". И порой это просто мастер-класс на тему как устроить хайлоад там где не надо.
Так что не надо мне тут всяких "фи, это не хайлоад". Один фиг определения этого сугубо маркетингового словечка нет. Никакого. Всяк кулик своё болото хвалит и я достаточно знаком с твоим стилем чтобы заранее ожидать натягивание мнимого понимания ярлыка хайдоада только к тому, что оно такое есть только у вас.
Отлично, давай продолжим натягивать сову дальше - у вас тоже не хайлоад, ведь вы не гугл.
12. LIME - 21 Мая, 2019 - 13:42:10 - перейти к сообщению
ого
то есть навидался дерьмеца значит да?)
ну поздравлять наверное не стоит да?)
то есть навидался дерьмеца значит да?)
ну поздравлять наверное не стоит да?)
13. armancho7777777 - 24 Мая, 2019 - 20:47:22 - перейти к сообщению
Мелкий
14. LIME - 24 Мая, 2019 - 21:09:34 - перейти к сообщению
armancho7777777 радуешься? ))
Чему? Говори уж тогда
С чем именно ты так радостно согласен?)))
Чему? Говори уж тогда
С чем именно ты так радостно согласен?)))