Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Логирование определенных запросов mysql

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Соц Сеть
Отправлено: 18 Мая, 2019 - 17:51:02
Post Id



Посетитель


Покинул форум
Сообщений всего: 307
Дата рег-ции: Авг. 2011  


Помог: 0 раз(а)




Добрый день коллеги ! хочу настроить Mysql так чтобы в отдельном файле записали логи INSERT DELETE UPDATE , может кто то смог такое реализовать в настройках mysql ?
заранее спасибо!
 
 Top
LIME
Отправлено: 18 Мая, 2019 - 17:53:13
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




orm религия не позволяет?
подробнее
зачем это надо

привет старичек))

(Добавление)
вариант бинлог + clickhouse
(Добавление)
или elastickstash
(Добавление)
сам мускул такое не умеет...либо я не знаю
(Добавление)
мелкий слово за тобой
 
 Top
Мелкий Супермодератор
Отправлено: 18 Мая, 2019 - 18:33:48
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




LIME пишет:
мелкий слово за тобой

По администрированию mysql меня спрашивать в общем случае бесполезно. В определённых чертах знаю как он работает и как работать с ним с точки зрения разработчика, но не как его обслуживать.

Из коробки некоего log_statement=dml насколько знаю нет.

Есть general log со всеми запросами (не только DML)
Есть API для модулей аудита. Возможно есть подходящие готовые плагины.
Есть statement-based репликация - возможно можно так получать запросы.
Впрочем, в enterprise есть audit log (что, собственно, одновременно отвечает, почему такого нет в community-edition)


-----
PostgreSQL DBA
 
 Top
LIME
Отправлено: 18 Мая, 2019 - 20:27:28
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




вооот
каждый должен заниматься своим делом
я развиваюсь в бизнесе
мелкий супер по субрд
Соц Сеть боюсь ответа не будет пока ты не поставишь бизнес вопрос
тогда решим в каком слое тебе отвечать
Мелкий ты как всегда на уровне
(Добавление)
Мелкий пишет:
Есть general log со всеми запросами (не только DML)
LIME пишет:
вариант бинлог + clickhouse

(Добавление)

Мелкий какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?
))

(Добавление)

эээх не юзал ты решения по 10к rps
там все с ног наголову становится
мне не повезло...юзаю

(Добавление)
Мелкий как ты думаешь насчет uuid?
я сильно против
(Добавление)
оох щас он меня разнесет...хотя врядли
 
 Top
Мелкий Супермодератор
Отправлено: 18 Мая, 2019 - 21:38:15
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




LIME пишет:
эээх не юзал ты решения по 10к rps

кого я там могу открыто называть с кем работаем?.. Lamoda, HH, uchi, coub. Ну раз не видел всего-то 10к rps - спорить мне что ли и показывать графики? Не могу показывать. Так что ладно, это число - что-то большое. Наверное.

LIME пишет:
как ты думаешь насчет uuid?

Люди его почему-то любят. За что - не знаю. Ещё почему-то любят писать его в varchar или text. Получается совершенно по дурацки пишется в btree, так и со статистикой значений каша.

LIME пишет:
вариант бинлог + clickhouse

бинлог != general log.
Бинлог это скорее про репликацию в mysql.

LIME пишет:
какой же ты стал самоофигенный))))
Сергей...есть многое что и не снилось нашим мудрецам
понял о чем я?

Нет, не понял. Могу догадываться


-----
PostgreSQL DBA
 
 Top
LIME
Отправлено: 18 Мая, 2019 - 21:51:44
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Мелкий пишет:
Lamoda, HH, uchi, coub
круто))...(сарказм...мериямся приборами и я выигрываю)
Мелкий пишет:
Ещё почему-то любят писать его в varchar или text.
нууу...давай такой зашквар вообще не рассматривать
Мелкий пишет:
Бинлог это скорее про репликацию в mysql.
а суть разница? логи в мускуле вообще больная тема...сам понимаешь
я тут скорее намекнул о возможности применить новые решения отчетов
Мелкий пишет:
Нет, не понял. Могу догадываться
ты узко направлен на реляционную и транзакционную бд
это не есть пуля
например мы юзаем cqrs
все становится проще и сложнее
не все упирается в субд
реально сложные задачи сложны по определению...приходится думать
смотри шире
(Добавление)
ты не уловил суть
каждое новое в uuid это переиндексация
я сначала смеялся над теми кто держится за автоинкремент
теперь я за сиквенс всеми конечностями
высокая нагрузка все меняет
(Добавление)
Мелкий пишет:
Ну раз не видел всего-то 10к rps - спорить мне что ли и показывать графики?
да ладно
ламода точно такого трафика не делает
мне то не гони
кто твои клиенты раз 10к для тебя прикол
 
 Top
Мелкий Супермодератор
Отправлено: 20 Мая, 2019 - 13:57:54
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




Аааа! 10к rps - это ведь охрененно много! Царь и повелитель, никто из нас не смеет стоять подле вас! Помилуйте недостойного раба вашего! Я внял вашим речам и снизошло откровение ваше на меня! Теперь я вижу, что никто не смеет назваться разработчиком не поработав с такой нагрузкой!

Всё, отстань, несчастная жертва хайпа. Я этим уже переболел.

LIME пишет:
а суть разница? логи в мускуле вообще больная тема...сам понимаешь
я тут скорее намекнул о возможности применить новые решения отчетов

Это разные вещи. Сваливать в кучу репликацию и general log - некорректно.
И давно кликхаус научился читать бинлог репликации mysql? Каких версий? Что он оттуда может достать? Из stmt-based? Из row-based? из mixed? Что из этого ответит на задачу автора?
Да в общем-то даже интересно зачем кликхаус этому учить, на сколько помню яндекс на postgresql и оракле, не было там mysql, это не mailru с тарантулом. А если не умеет - то причём тут он?
Цитата:
Сказка о Грепке: посадил старик скрипт аналитики на сайт, выросла аналитика большая-пребольшая. Парсит старик Хадупом, парсит, падает Хадуп по out of memory. Зовёт старик Кафку. Парсит Кафка за Хадуп, Хадуп за аналитику, падает. Зовёт старик Грепку. Грепка за 2 минуты всё парсит


LIME пишет:
каждое новое в uuid это переиндексация

Нет. Ну или используй нормальную терминологию. Типичная вставка в дерево. Только всё немного портит характер случайности эталонной реализации uuid, дёргаем постоянно разные части дерева, пачкаем разные части дерева. Дальше просто отправлю читать статью Томаса: https://www[dot]2ndquadrant[dot]com/en/b[dot][dot][dot]uuid-generators/

LIME пишет:
нууу...давай такой зашквар вообще не рассматривать

Каждый третий. И не такое творят. И все называют себя хайлоадом. Вот прям как некоторый LIME.

LIME пишет:
ты узко направлен на реляционную и транзакционную бд

И?
Транзакционники старше меня и никуда не денутся после меня. Это может быть другая база, это может быть не REDO или UNDO recovery из-за подешевевших reram или PCM, это может быть изменённое до неузнаваемости что-то из современного мира. Что остаётся - СУБД будут нужны всегда, гарантии транзакционности будут нужны всегда. И контрибьютор СУБД (если мне не наскучит ковырять код базы) понадобится всё так же. А наскучит - сменить специализацию можно. Я пробовал менять специальность, получилось. IT огромен. Какой смысл заниматься тем что насаждает маркетинг и хайп, вместо того что интересно конкретному индивиду?

LIME пишет:
это не есть пуля

А с какого перепугу веришь в насаждаемую мысль, что хайлоад - серебрянная пуля и единственный вариант развития?
Два факта из биографии:
- уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
- сломал существовавший уже второе десятилетие recovery.conf в postgresql
Угадай, что из этого было гораздо сложнее, более волнительно и интересно, но при этом не имеет ровно никакого отношения к метрикам rps?
Как странно, неужели вот эта фраза призванная разбить меня:
LIME пишет:
реально сложные задачи сложны по определению...приходится думать
смотри шире

Не имеет к хайлоаду ровным счётом никакого отношения? Удивительное рядом. Смотри шире (с) LIME

И ох уж это высокомерие социалочников. Пара сотен тысяч транзакций в секунду долетает до кластера базы после кешей. Тянем? Тянем. Это рентабельно? Да. Ну и ок, работаем спокойно. Мне даже не интересно, сколько rps на какой из систем. 10к? 40к? Есть. И да, это всё про один из 4 примеров, что ты так высокомерно отмёл.

Ну и святая уверенность что много rps нужны всем и каждому - это печально. Взрослей, мне казалось ты уже достаточно времени провёл в хайлоаде чтобы понимать такую очевидную вещь. Есть куча мест, где более чем достаточно условных 1к rps с простыми работающими подходами, не отвлекающими от других интересных задач. И где все эти заморочки из нагрузок побольше не только бессмысленны и бесполезны, но дико вредны и опасны.

Вот с чего ты безапелляционно решил, что автор темы озадачен не исследованием на локалхосте, какие именно dml запросы выполняет приложение? Да, в засилье всякого orm это действительно может быть удобнее спрашивать именно у базы. Или может быть речь о настройке аудита действий людей (не приложения) на продовом сервере? Или ещё что? При чём тут тысячи rps?


-----
PostgreSQL DBA
 
 Top
LIME
Отправлено: 20 Мая, 2019 - 14:05:07
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Мелкий ладно ладно)
моя самовлюбленность не вытерпела и я лопнул во все стороны брызги)
Мелкий пишет:
При чём тут тысячи rps?
иначе писать приходится
меня проперло
 
 Top
Строитель
Отправлено: 20 Мая, 2019 - 14:26:41
Post Id



Участник


Покинул форум
Сообщений всего: 1580
Дата рег-ции: Февр. 2014  
Откуда: Украина


Помог: 73 раз(а)





Улыбнуло ))
 
 Top
LIME
Отправлено: 21 Мая, 2019 - 10:58:50
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Мелкий так ... что там у тебя?
ой нее...я пас
разве только
Мелкий пишет:
уменьшил число обращений к redis вдвое на проекте с 1к rps (и ничего не сломал)
вот тут действительно хайлоад нипричем ну почти
оптимизация че... круто
хайлоад теперь это шардинг, репликации, и сверху cqrs помазано... ну и +es
иначе пишется
 
 Top
Мелкий Супермодератор
Отправлено: 21 Мая, 2019 - 13:02:30
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




LIME пишет:
хайлоад теперь это шардинг, репликации, и сверху

Угу-угу, видел. 30к rps, заложено 12 шардов, рост баз в сумме под полтеррабайта в месяц. Для чатика со 100 сообщениями. В сутки.
Так что охотно верю что "иначе пишется". И порой это просто мастер-класс на тему как устроить хайлоад там где не надо.

Так что не надо мне тут всяких "фи, это не хайлоад". Один фиг определения этого сугубо маркетингового словечка нет. Никакого. Всяк кулик своё болото хвалит и я достаточно знаком с твоим стилем чтобы заранее ожидать натягивание мнимого понимания ярлыка хайдоада только к тому, что оно такое есть только у вас.
Отлично, давай продолжим натягивать сову дальше - у вас тоже не хайлоад, ведь вы не гугл.


-----
PostgreSQL DBA
 
 Top
LIME
Отправлено: 21 Мая, 2019 - 13:42:10
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




ого
то есть навидался дерьмеца значит да?)
ну поздравлять наверное не стоит да?)
 
 Top
armancho7777777 Супермодератор
Отправлено: 24 Мая, 2019 - 20:47:22
Post Id



Активный участник


Покинул форум
Сообщений всего: 4526
Дата рег-ции: Февр. 2011  
Откуда: Москва


Помог: 221 раз(а)




Мелкий Превосходно
 
 Top
LIME
Отправлено: 24 Мая, 2019 - 21:09:34
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




armancho7777777 радуешься? ))
Чему? Говори уж тогда
С чем именно ты так радостно согласен?)))
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« SQL и Архитектура БД »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB