Компания Cisco представила (http://blogs.cisco.com/security/opensoc-an-open-commitment-t...) новый открытый проект OpenSOC (http://opensoc.github.io/), в рамках которого развивается высокомасштабируемый фремворк для анализа больших объёмов информации о трафике с целью выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени организовать анализ, выявление аномалий и генерацию предупреждений для трафика уровня дата-центра, интенсивность которого составляет миллионы пакетов в секунду. Наработки проекта опубликованы (https://github.com/OpenSOC/opensoc) под лицензией Apache 2. Для организации работы хранилища используются такие открытые проекты, как Apache Hadoop и Elasticsearch.Основные компоненты фреймворка:
- Механизм (https://github.com/OpenSOC/opensoc-streaming) для захвата, хранения и нормализации любых типов данных телеметрии (данных о трафике), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);
- Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
- Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
- Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
- Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Система основана на коде Elastic Search;
- Возможность использования SQL для обращения к данным в хранилище Hadoop (используется Apache Hive);
- Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
- Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
- Пользовательский web-интерфейс (https://github.com/OpenSOC/opensoc-ui), дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.
<center>
<iframe src="//www.slideshare.net/slideshow/embed_code/35549810" width="425" height="355" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe></center>
URL: http://blogs.cisco.com/security/opensoc-an-open-commitment-t...
Новость: https://www.opennet.ru/opennews/art.shtml?num=41081
