Компанией Gigablast объявила (http://www.prnewswire.com/news-releases/gigablast-now-an-ope...) об открытии исходного кода поискового движка Gigablast. Независимый поисковик Gigablast (http://gigablast.com/) был основан в 2000 году Мэттом Уэллсом, бывшим сотрудником Infoseek. По словам Уэллса, на сегодня Gigablast единственный из поисковых движков с открытым исходным кодом, проиндексировавший более двенадцати миллиардов страниц.
Движок, написанный на C/C++ и насчитывающий более 500 тысяч строк кода, открыт под лицензией Apache версии 2.0 и опубликован (https://github.com/gigablast/open-source-search-engine) на Github. Движок Gigablast достаточно прост (http://www.gigablast.com/admin.html) в использовании и сразу готов к работе - код компилируются в форму единого исполняемого файла, который может заменить собой достаточно сложные конфигурации поисковых сервисов, построенных с привлечением Hadoop, Cassandra, MySQL, NoSQL, MongoDB, Lucene, Nutch, Solr, Zookeeper и Apache. Исполняемый файл включает в себя в том числе реализацию высокопроизводительного web-сервера, СУБД и других компонентов, необходимых для обособленной работы движка.
Основные особенности (http://gigablast.com/admin.html):
- Движок масштабируется для развёртывания на тысячах серверах. Запущенная в эксплуатацию конфигурация из 200 серверов обрабатывает поисковый индекс из более чем 12 млрд web-страниц;
- Высокая надёжность, код находится в промышленном использовании с 2002 года;
- Поддержка кэширвоания web-страниц с выводом результатов из кэша с подсветкой найденных ключевых слов;
- Поддержка подключения плагинов для обработки различных видов документов, от HTML до PDF;
- Отображение в поисковой выдаче популярного контента;
- Встроенная система мониторинга и уведомления о проблемах;
- Поддержка подключения базы синонимов;
- Сохранение позиции и формата информации для каждого слова в проиндексированном документе;
- Отображение в результатах поиска полных весовых характеристик для найденного контента;
- Отдельная индексация текста, используемого в ссылках;
- Возможность связывания другим сайтом на базе движка Gigablast для формирования агрегированного вывода;
- Система автоматического удаления дубликатов из поисковой выдачи;
- Распределённый Web crawler. Гибкая система определения логики работы Crawler-а с возможностью управления приоритетом обработки элементов в очередях запросов;
- REST/XML API для интеграции с внешними сервисами;
- Средства автоматического выявления повреждения данных и восстановления узла после сбоя оборудования.
URL: http://www.prnewswire.com/news-releases/gigablast-now-an-ope...
Новость: https://www.opennet.ru/opennews/art.shtml?num=37591
