Компанией Gigablast объявила (http://www.prnewswire.com/news-releases/gigablast-now-an-ope...) об открытии исходного кода поискового движка Gigablast. Независимый поисковик Gigablast (http://gigablast.com/) был основан в 2000 году Мэттом Уэллсом, бывшим сотрудником Infoseek. По словам Уэллса, на сегодня Gigablast единственный из поисковых движков с открытым исходным кодом, проиндексировавший более двенадцати миллиардов страниц.

Движок, написанный на C/C++ и насчитывающий более 500 тысяч строк кода, открыт под лицензией Apache версии 2.0 и опубликован (https://github.com/gigablast/open-source-search-engine) на Github. Движок Gigablast достаточно прост (http://www.gigablast.com/admin.html) в использовании и сразу готов к работе - код компилируются в форму единого исполняемого файла, который может заменить собой достаточно сложные конфигурации поисковых сервисов, построенных с привлечением Hadoop, Cassandra, MySQL, NoSQL, MongoDB, Lucene, Nutch, Solr, Zookeeper и Apache. Исполняемый файл включает в себя в том числе реализацию высокопроизводительного web-сервера, СУБД и других компонентов, необходимых для обособленной работы движка.

Основные особенности (http://gigablast.com/admin.html):

-  Движок масштабируется для развёртывания на тысячах серверах. Запущенная в эксплуатацию конфигурация из 200 серверов обрабатывает поисковый индекс из более чем 12 млрд web-страниц;
-  Высокая надёжность, код находится в промышленном использовании с 2002 года;
-  Поддержка кэширвоания web-страниц с выводом результатов из кэша с подсветкой найденных ключевых слов;
-  Поддержка подключения плагинов для обработки различных видов документов, от HTML до PDF;
-  Отображение в поисковой выдаче популярного контента;
-  Встроенная система мониторинга и уведомления о проблемах;
-  Поддержка подключения базы синонимов;
-  Сохранение позиции и формата информации для каждого слова в проиндексированном документе;
-  Отображение в результатах поиска полных весовых характеристик для найденного контента;
-  Отдельная индексация текста, используемого в ссылках;
-  Возможность связывания  другим сайтом на базе движка Gigablast для формирования агрегированного вывода;
-  Система автоматического удаления дубликатов из поисковой выдачи;
-  Распределённый Web crawler. Гибкая система определения логики работы Crawler-а с возможностью управления приоритетом обработки элементов в очередях запросов;
-  REST/XML API для интеграции с внешними сервисами;
-  Средства автоматического выявления повреждения данных и восстановления узла после сбоя оборудования.

URL: http://www.prnewswire.com/news-releases/gigablast-now-an-ope...
Новость: https://www.opennet.ru/opennews/art.shtml?num=37591