Организация Apache Software Foundation объявила (https://blogs.apache.org/foundation/entry/apache-software-fo...) о присвоении Apache Metron (http://metron.apache.org/) статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache Metron признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны (https://github.com/apache/incubator-metron) на языках Си и Java.
Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC (http://opensoc.github.io/), после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов. Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.
Основные компоненты фреймворка:
- Механизм для захвата, хранения и нормализации любых типов данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);
- Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
- Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
- Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
- Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки Elasticsearch (https://www.elastic.co/) HDFS или Apache Solr;
- Возможность использования SQL для обращения к данным в хранилище Hadoop;
- Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
- Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
- Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.
URL: https://blogs.apache.org/foundation/entry/apache-software-fo...
Новость: https://www.opennet.ru/opennews/art.shtml?num=46447
