Скомпилировал htdig 3.6.1
В последствии я заметил, что поисковик не выдает результаты, если в слове есть русская буква "Р"
Может у кого есть патч решающий эту проблему, как я понимаю там баг в программе, которая расчитывает индекс (htmerge).