Снегопат

Прошу заценить концепцию, а также вообще нужность такого скрипта.
Скрипт разработан под snegopat.reborn и запускаться должен в нём.
Принцип работы - первоначально заполняется текстами модулей база полнотекстового поиска, реализованная на sqlite.
Довольно продолжительная операция, на средних по размеру конфигурациях до 5 минут.
Зато потом полнотекстовый поиск выполняется практически мгновенно.
Полнотекстовый поиск разбивает текст на отдельные слова и может искать только по границам слов.
Т.е нельзя искать например конец одного слова и начало другого, также как и по символам, например, '.' '(' ',' и т.п.

Поиск может выполнятся в двух режимах - полнотекстовый и обычный.
В полнотекстовом можно искать целыми словами, либо началами слов, добавив в конце символ *.
Например, "типыск*" и т.п.

В обычном выполняется поиск с помощью оператора sql LIKE, и можно искать точное соответствие с любой частью строки, включая любые символы.
Кроме того, можно использовать метасимволы: % - совпадение с любым количеством символов и _ - совпадение с любым символом.
Для поиска самих % и _ - перед ними надо вставлять символ $.
Обычный поиск выполняется медленнее полнотекстового.

Пока не реализовано отслеживание изменения метаданных для поддержания актуальности базы поиска, но в-принципе реализуемо.
Можно добавить и поиск по файлам.

Стоит ли развивать? Востребован ли такой функционал?

Мне такой функционал кажется интересным, потому что обычный поиск очень медленный. Было бы классно добавить такую штуку, как принудительное обновление базы текста.

Возможно, лучше посмотреть в сторону https://www.sqlite.org/fts3.html для полнотекстового поиска? Правда, не знаю как там с кириллицей

_________________
В реальності все не так, як насправді

так именно это и юзается.
Создается sqlite база, в ней fts4 таблица. Токенизатор используется unicode61, так что всё в порядке с кириллицей.

А как вообще планируешь обновлять базу полнотекстового поиска? При каждом изменении нужно перестраивать всю базу или можно как-то только измененное обновить?

Надо будет отлавливать события метаданных, и обновлять только изменившиеся модули. То есть длительным будет только первое заполнение. Для внешних файлов еще проще - сравнивать время модификации. Но эту часть я еще не сделал.

А начальное заполнение (как и последующее обновление) можно сделать в фоне?

Очень крутая штука получилась. Скорость даже немного пугает )
Не хватает только динамического дообновления (желательно в фоне).

+1

Отличная штука получилась, по-моему ищет быстрее, чем успеваешь писать