У вас в каждом посту появляется какое-то уточнение. Пишите сразу все требования в первом посту, всегда. Я например писал без учёта вложенности, и переписывать не имею никакого желания.

Вся эта штука делается не регулярками по хорошему. Тут уже нужен целый синтаксический анализатор. Есть упрощенные языки разметки типа markdown. Есть готовые визивиги на js типа ckeditor, хотя это видимо не то. Для чего это всё надо? В чем задача?

Если прям дословно решать, то самому ручками на лексемы разбивать, в стек заносить(гуглить "правильная скобочная последовательность стек"). Ну или как там у вас избы делаются. Конечно всегда остается вариант многократно пройтись, но Имхо это фи.

Ну а если всеже решите делать регулярками можем потом устроить веселый конкурс "Найди XSS".
Причем примерно каждые полгода можем проводить. Ну по мере внесения изменений в код.