Я бы выбирал между Symfony2 или Zend2. Почему?
В интернете очень много примеров по работе с Zend/Symfony. Для симфони написано огромное количество Bundl'ов, по сути вам нужно будет написать несколько контроллеров и модель/маппер к базе данных, и установить недостающие модули.
Но, так как проект "легковесный" я бы посмотрел в сторону Silex - потому что, с ним можно очень быстро разработать такой функционал.
Так же Laravel - набрал огромную популярность, можно посмотреть.
А что мешает доработать скрипт который я написал выше.
используй var_dump() или xdebug и смотри где и почему слово удалилось.
И еще если вы будете использовать базу то, есть еще один вариант:
1) Можно читать из файла построчно и записывать в базу, и проверять нет ли такой записи в базе, если слово существует то не записывать, главное правильно структуру базы сделать.
Суть даже не в этом, задача до конца не сформулирована. Автор, если есть возможность приведите полный пример файла, и уточните в каких случаях удалять, спасибо.
хорошо, нужно было описать изначально в задаче, дальше: в какой строке нужно удалять дубликат? если он есть? (Добавление)
Код работает:
тестовые данные data.txt