The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Система анализа сетевых угроз Metron получила статус первичн..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от opennews (??) on 25-Апр-17, 11:43 
Организация Apache Software Foundation объявила (https://blogs.apache.org/foundation/entry/apache-software-fo...) о присвоении Apache Metron (http://metron.apache.org/) статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после  полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache  Metron  признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны (https://github.com/apache/incubator-metron) на языках Си и  Java.


Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC (http://opensoc.github.io/), после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для  анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов.  Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.

Основные компоненты фреймворка:


- Механизм  для захвата, хранения и нормализации любых типов  данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);

-  Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;

-  Обработчики данных в реальном режиме времени, выполняющие обработку и привязку  дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;


-  Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака,  какие данные могли попасть в руки атакующих и когда были отправлены данные;


-  Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки  Elasticsearch (https://www.elastic.co/) HDFS или Apache Solr;

-  Возможность использования SQL для обращения к данным в хранилище Hadoop;

-  Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и  средств машинного обучения;


-  Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;


-  Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.

URL: https://blogs.apache.org/foundation/entry/apache-software-fo...
Новость: https://www.opennet.ru/opennews/art.shtml?num=46447

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Система анализа сетевых угроз Metron получила статус первичн..."  –1 +/
Сообщение от Аноним (??) on 25-Апр-17, 11:43 
Что за мода делать продукты для обеспечения безопасности на основе дырявых составных частей.

https://www.elastic.co/community/security -  стабильно раз в пару месяцев remote code execution... remote code execution... remote code execution

http://www.securiteam.com/securitynews/5BP2Y2AKUA.html Apache Hadoop 2.6.0 Remote Code Execution

http://www.openwall.com/lists/oss-security/2015/06/20/2 Apache Storm remote code execution

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Система анализа сетевых угроз Metron получила статус первичн..."  +4 +/
Сообщение от Аноним (??) on 25-Апр-17, 11:47 
На базе Elasticsearch уже ботнеты строят. Теперь можно продемонстрировать высший пилотаж - ботнет из систем обнаружения вторжений :-)
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Система анализа сетевых угроз Metron получила статус первичн..."  +4 +/
Сообщение от Аноним (??) on 25-Апр-17, 12:35 
А вы не выставляте "голую жопу" против ежа.
"На базе Elasticsearch уже ботнеты строят" - проблема "модных" Devops и "облаков", когда народ на элементарые средствах защиты укладывает "болт".
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Система анализа сетевых угроз Metron получила статус первичн..."  +1 +/
Сообщение от Аноним (??) on 25-Апр-17, 12:43 
Правильные продукты для обеспечения безопасности, в первую очередь "сидят" в изолированой сети без выходы куда либо и "сушают" сеть.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

11. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от YetAnotherOnanym (ok) on 25-Апр-17, 17:13 
Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

12. "Система анализа сетевых угроз Metron получила статус первичн..."  +1 +/
Сообщение от пох on 25-Апр-17, 18:30 
> Радости с того, что оно в изолированной, если среди пакетов, выдернутых из
> трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?

эта штука не кормит elastic пакетами из траффика, это не tcpdump.
А если тебе кто-то сумеет прислать поддельный netflow-пакетик, то поздравляю шарик, ты балбес - тебе уже не аномалии надо в сети выискивать, а ловить хакера, поимевшего непосредственно сетевую инфраструктуру.
Если что, описанная в статье похабень вовсе не для этого.

ну и до кучи, эластиковые проблемы обычно со стороны интерфейса, а не со стороны базы.
как, собственно, и у hadoop и у прочих.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от Аноним (??) on 25-Апр-17, 20:48 
Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

16. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 25-Апр-17, 21:21 
ну, типа, начнем с того, что циска ее - выбросила ;-) Причем довольно давно, там этому OpenSOC уже сто лет в обед.

при этом коммерческие продукты у нее никуда не делись, то есть слезать с этой темы они вроде и не собираются (да и опасно, надо ж закрывать своими продуктами целиком проекты, а не отдельные части)

для дома для семьи оно чудовищно сложное и меганавороченное (там, собственно, для того все эти эластики с хадупами, чтоб пережевывать какие-то совсем уж терабайтные потоки мусора), то есть это не корпоративное решение.

Если у тебя, чисто случайно, завалялась действующая сетка размером этак с tele2, но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.
(ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика. И сеть не должна быть совсем уж из дерьма и палок.)

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от лютый жабист__ on 26-Апр-17, 08:42 
А причём Теле2? В Теле2 в качестве SIEM используется Спланк. И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон вещь НЕ стоящая :(
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 26-Апр-17, 09:19 
> А причём Теле2?

привел как пример правильного размерчика - еще не мегафон, где бардак уже не вылечишь, но уже не домсру какой, и потоки летают вполне приличные.
Но оговорился что это о размерчике их обычной, ip, сетки - с 4g сетями нужны специальные средства, интегрируемые в packet core - ловить пакеты между последним свитчом и базовой станцией совершенно бессмысленно, "аномалия" вида "сп-ли бс и воткнули свой ноут в надежде халявного интернета" детектится более простыми средствами ;-)

> В Теле2 в качестве SIEM используется Спланк.

он вроде как энтерпрайз - в смысле, это больше для внутренних ресурсов и пользователей, чем для ловли блох среди клиентов.
В теледве скорее всего именно в этом качестве и используется, а это не очень интересно, ентерпрайз они совсем небольшой.
Мне вот интересней, что использует какой-нибудь hetzner или 1st vds (не к ночи будь помянуты) - у них уже нужно, и уже - сложно.

> И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон
> вещь НЕ стоящая :(

ну я бы поигрался, если б было время и вдохновение. Следует понимать, что строчка в резюме "развернул с нуля и использовал по назначению" стоит гораздо дороже "видел интерфейс", даже если следующие буквы совпадают во втором случае.

то есть в метроне интересны именно его свойства обрабатывать действительно большие потоки и тьму разнородных железяк, это в лабораторных условиях оценить не получится.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

25. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от Аноним (??) on 26-Апр-17, 21:21 
> для дома для семьи оно чудовищно сложное и меганавороченное

Ну вот на несколько тысяч рыл потестировать нормально... Или как из пушки?.

> но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.

хех. не всегда бежать получается. бывают разные обстоятельства.

> ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика

Опа. То есть без интегратора пытаться не стоит - ничего с этой темы не облезет?

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

7. "Система анализа сетевых угроз Metron получила статус первичн..."  +2 +/
Сообщение от Аноним (??) on 25-Апр-17, 15:24 
Что за мода делать продукты для обеспечения безопасности на Java
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 25-Апр-17, 16:56 
> Что за мода делать продукты для обеспечения безопасности на Java

у циски _все_ сделано на жабке, не важно, для чего.

готовьте стопиццотую версию JRE для работы с этим сокровищем - интерфейс, наверняка, на ней же.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

13. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от Sabakwaka (ok) on 25-Апр-17, 19:08 
>> Что за мода делать продукты для обеспечения безопасности на Java

36 млрд установок, чё.
Все 36 млрд — ошибаются, да.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

15. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от Аноним (??) on 25-Апр-17, 20:56 
неплохо ботнет)
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

19. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от лютый жабист__ on 26-Апр-17, 08:46 
> Что за мода делать продукты для обеспечения безопасности на Java

Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

21. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 26-Апр-17, 09:29 
>> Что за мода делать продукты для обеспечения безопасности на Java
> Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег, нам потом это дерьмище обслуживать, а кому-то, представь, и пользоваться им приходится.

даже флэшовый интерфейс выглядит и работает лучше жабьего, не говоря уже о треше и кабздеце творящемся на серверной стороне жабоподелок. Но да, других не делают, в Бангалоре других программистов не выпекают.

(с другой стороны, конечно, хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. А так - достаточно было показать, КАК работает жабий ентер-прайс софт, и служебку подписали без вопросов. На этом я его быстренько унес на виртуалку от себя подальше, ибо на самом деле ему мало  ;-)

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

22. "Система анализа сетевых угроз Metron получила статус первичн..."  +1 +/
Сообщение от RomanCh (ok) on 26-Апр-17, 10:02 
Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова:

> а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен]

И тут же:
> хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту.

В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :)

А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 26-Апр-17, 15:01 
> В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это
> серьёзно?

честно говоря, единственным местом, где я работал, и это было не нужно клянчить, был некий крупный интегратор на букву И (потому что работал там вовсе не инженером, и дать за это по рукам или настучать руководству мог только я сам. У инженеров как обычно - денег на них, в те счастливые времена, особо не экономили, но и никаких золотых унитазов не полагалось. В цискофоне, если кто не в курсе, встроенный свитч до сих пор сотка, так что смысла акессы ставить гиговые не было никакого)
А чего вы хотите, это ж инвестируемые компании...

собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Для визии, аутглюка и ста терминалов "корпоративного стандарта" за глаза, а провода еще и не позволяют быстро вскочить и побежать. Адскую жабью херню, как уже говорилось, я унес нахрен на терминальник, там, как обычно, десять специфичных тухлых версий ВСЕГО надо подать, включая, кажется, саму винду.

но вот metro redux на этом "корпоративном стандарте", действительно, не очень.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от RomanCh (ok) on 26-Апр-17, 20:11 
Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

> собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит?

Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

26. "Система анализа сетевых угроз Metron получила статус первичн..."  –1 +/
Сообщение от лютый жабист__ on 27-Апр-17, 05:47 
>мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег

почти всё бигдатовое ПО Опенсорс с 10++летней историей

>даже флэшовый интерфейс выглядит и работает лучше жабьего

ув. ыксперд Intellij Idea и другого Свингового софта не видел.

> кабздеце творящемся на серверной стороне жабоподелок.

перечисли альтернативы Java EE. гы-гы

>хрен бы я выклянчил просто так добивку памяти до максимума

ноющий свитер из подвала? Даже в 4килокилометрах за МКАДом у разрабов ПК с 16-32ГБ ОЗУ норма. На серваках от 98ГБ. Вообще странно было бы работать с терабайтной базой на серваке с 4ГБ ОЗУ. не находишь, дружок?

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от пох on 27-Апр-17, 18:52 
> Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе и сегодня  не самая дешевая игрушка. Обмишулиться чуток и купить вместо сотки гигабит по кругу - это можно один раз, в большой компании могут не заметить или простить, а не в семиэтажном здании по четыре на этаже. Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

> Например для диагностики работы системы видеоотдачи

такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у нас принято было в лабораторных условиях диагностировать.

да и сейчас, собственно - диагностическая железка тут вообще с 10G портом, правда, такая одна. Но в ноуте мне такого щастья даром не надо. (а диск, гады, поменять не дают, говорят - не закупали больше полтинников)

ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

28. "Система анализа сетевых угроз Metron получила статус первичн..."  +/
Сообщение от RomanCh (ok) on 28-Апр-17, 19:17 
> Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

Какое раболепие... Напомнить что все деньги компании зарабатываются вот этими самыми людьми, что просят гигабит в компутер, слабо? Ну ваше дело. Вероятно это вопрос самоуважения.

> такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у
> нас принято было в лабораторных условиях диагностировать.

А как вы например из лаборатории 4к видео смотреть будете? Или будете ходить в лабораторию каждый раз? :)

> ну и да - именно для работы мне всегда хватало серверного железа  и серверных мощностей. Как-то, видимо, палюсь ;-)

Да уж, действительно. Такое ощущение что хочется показать крутизну окружающим, но на мелочах таки палитесь.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру