Иногда попадаются интересные CMS и скрипты, разработанные раньше под PHP 4 и PHP 3. На PHP 5 часто не запускаются. Что Вы думаете о возможности установки PHP 4 и PHP 3 на сервере в наше время с точки зрения безопасности и т.д.?

А покажите какой нибудь интересный скрипт написанный на PHP 3?

Это на всякий случай написал, если скрипт такой попадётся.

Принципиально небезопасно. Если за прошедшие полтора десятилетия уязвимости и нашли, то их никто не закрывал.
Но раз и код никому не нужен в достаточной мере, чтобы адаптировать под PHP5.x - то там и своих дыр хватает.

Чисто технически в современном окружении:
PHP 3.x хз, не пробовал
PHP 4.4 вполне собирается штатно. Другие ветки не помню. Можно попробовать.
PHP 5.0, 5.1, 5.2 - нужно накладывать патч для libxml. Или собирать и использовать старый libxml.
Не менее музейные 5.3 и 5.4 - собираются штатно.

А подскажите пожалуйста более точно, в чём может быть проблема?

Ну, например, поищите в гугле по запросу "cve site:bugs.php.net"
Любая строка из выдачи, возможно, будет применима к PHP4.

Например, вот этот наверняка воспроизведётся: https://bugs.php.net/bug.php?id=69207
Или вот этот баг тоже интересно выглядит: https://bugs.php.net/bug.php?id=61910