The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск Netflow/IPFIX коллектора Xenoeye 23.11

08.11.2023 23:21

Опубликован релиз Netflow/IPFIX коллектора Xenoeye 23.11, позволяющего собирать с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v5, v9 и IPFIX, а также обрабатывать данные, генерировать отчёты и строить графики. Ядро проекта написано на языке С, код распространяется под лицензией ISC.

Коллектор агрегирует сетевой трафик по выбранным полям и экспортирует данные в PostgreSQL. По этим данным можно строить отчеты, графики (используя gnuplot, скриптами на Python + Matplotlib) или дашборды в Grafana. Кроме этого, коллектор может запускать пользовательские скрипты при превышении порогов. Для подсчёта скорости трафика используются скользящие средние. В комплекте с коллектором идет пример скрипта Telegram-робота, который может оповещать в мессенджер о превышении скорости выше определённых порогов.

Изменения в новой версии:

  • Добавлена возможность использовать GeoIP с помощью баз ipapi. Пользуясь функциями GeoIP можно создавать гео-объекты мониторинга (например, выделить весь трафик только России в отдельный объект мониторинга) и экспортировать данные с разбивкой по GeoIP. В коллекторе поддерживается детализация по странам, регионам и городам. Кроме этого, из IP адреса можно получить долготу и широту (хотя нужно понимать, что все это работает очень приблизительно).
  • Для маршрутизаторов, которые не могут экспортировать номера автономных систем в Netflow/IPFIX, есть возможность получить эти номера и их текстовое описание с помощью баз ip-location-db. Так же, как и для GeoIP, можно создавать отдельные объекты мониторинга, в которые входит трафик выбранных AS или экспортировать в СУБД названия автономных систем.
  • Добавлена классификация трафика по netflow-полям. Коллектор может классифицировать объекты мониторинга, используя некоторые поля (TCP флаги, порты, размеры пакетов)
  • Добавлена консольная утилита xegeoq, которая позволяет получить из IP адресов GeoIP-информацию и информацию об AS, используя локальные базы.


  1. Главная ссылка к новости (https://github.com/vmxdev/xeno...)
  2. OpenNews: Опубликован Netflow-коллектор Xenoeye
  3. OpenNews: Опубликован инструментарий LTESniffer для перехвата трафика в сетях 4G LTE
  4. OpenNews: Выпуск анализатора трафика Zeek 6.0.0
  5. OpenNews: В Firefox и Cloudflare включена поддержка ECH для скрытия домена в HTTPS-трафике
  6. OpenNews: Релиз FastNetMon 1.1.2, открытого решения по обнаружению DDoS-атак
Автор новости: Аноним
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60077-xenoeye
Ключевые слова: xenoeye, netflow, ipfix
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (35) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:41, 08/11/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.
     
     
  • 2.2, OpenEcho (?), 00:19, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > с точностью в районе 15000км

    халявной максмайнд базой пользуетесь?

     
     
  • 3.3, penetrator (?), 05:17, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    альтернативы?
     
     
  • 4.9, onanim (?), 08:35, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • –3 +/
    платная база, очевидно же.
    если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.
     
  • 2.8, Аноним (8), 08:23, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира.

    Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.

     

  • 1.7, San (??), 08:15, 09/11/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    А sflow он не умеет? очень жаль :(
     
     
  • 2.12, Аноним (8), 08:59, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения.

    Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком

     
     
  • 3.17, San (??), 11:38, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да нет меня на гитхабе и не будет к сожалению :(

    Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe

     
     
  • 4.20, Аноним (8), 13:18, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > меня на гитхабе и не будет

    Кто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили

     
  • 3.29, Аноним (29), 03:45, 10/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют.

    Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html

    >VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.

     
  • 2.34, Аноним (34), 14:48, 11/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > А sflow он не умеет? очень жаль :(

    goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.

     

  • 1.11, Аноним (11), 08:55, 09/11/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >экспортирует данные в PostgreSQL

    Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?

     
     
  • 2.13, Аноним (8), 09:08, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >Хотелось бы в influxdb, оно для этих целей больше годится

    Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь.

    Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант.

    То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем

     
     
  • 3.14, Аноним (11), 09:50, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.
     
     
  • 4.15, Третий П (?), 10:07, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Погоняю

    Вот он, настоящий линукс-гейминг.

     
  • 4.28, sabitov (ok), 20:29, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > на допотопном nfcapd

    А чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)

     
  • 3.21, Аноним (34), 14:56, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут.

    Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду.

    Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных.

    При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).

     
     
  • 4.26, ivan_erohin (?), 20:14, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в
    > БД, а в брокер

    хорошим тоном является не усложнять без особой нужды.
    иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/

     
     
  • 5.33, Аноним (34), 12:34, 11/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > хорошим тоном является не усложнять без особой нужды.

    Естественно. И способность переваривать пики входных данных - это и есть "особая нужда".
    Потому что система не должна виснуть под нагрузкой.

     
     
  • 6.38, glad_valakas (?), 09:54, 12/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Естественно. И способность переваривать пики входных данных -
    > это и есть "особая нужда".

    где-то мощностей недодали. не вижу ничего "особого".

     
  • 2.24, LocalObserver (?), 16:15, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.
     
     
  • 3.35, Аноним (34), 14:54, 11/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти.

    Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).

     

  • 1.16, ivan_erohin (?), 10:16, 09/11/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    эхехе где же вы были в моем 2005 году ?
    нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.
     
     
  • 2.18, Аноним 80_уровня (ok), 12:14, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.
     
  • 2.23, Аноним (23), 15:29, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > где же вы были в моем 2005 году ?

    Использовали ipcad и не парились?

     
     
  • 3.25, ivan_erohin (?), 20:04, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Использовали ipcad и не парились?

    он же только экспорт умеет ?

    я в конце концов подобрал простой и быстрый
    https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd
    разумеется чужой поток netflow он принимать не умел.
    а потом безлимиты пошли, ничего уже не надо считать,
    только резать мусор и иногда шейпить.

     
     
  • 4.27, sabitov (ok), 20:26, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..."

    И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.

     
     
  • 5.30, ivan_erohin (?), 11:17, 10/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > И если у Вас таки есть логи фаервола и статистика netflow, то

    ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом.
    "ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо
    и сами все определят (или нарисуют, неважно)".

     
     
  • 6.31, sabitov (ok), 12:03, 10/11/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > ничего не гарантирует, если полицай закусил удила в погоне ...

    Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.

     
     
  • 7.36, glad_valakas (?), 09:42, 12/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > 1) я описываю свой личный положительный опыт

    вы могли бы положить на их дурацкие запросы болт.
    "логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще),
    обратитесь к аплинку, возможно у них есть". на этом все.

    > 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.

    вестись на добрых полицаев - признак лоховства.

    кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?

     
  • 6.32, Аноним (32), 10:03, 11/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    полицай (если ему не дали конкретно за тебя денег)  даже не пошевелится твой телефон набрать. Плавали знаем. Если ты не светился в уголовной хронике, можешь забивать и не париться.

    у меня такой был, в финале позвонил и хотел вызвать на допрос в день рождения. Был послан, страшно удивился, но больше не звонил.

     
     
  • 7.37, glad_valakas (?), 09:45, 12/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > позвонил и хотел вызвать на допрос в день рождения.

    есть у них лайфхак, когда неохота возиться с повестками или отчитываться за повестки:
    "примите телефонограмму под запись". можно отморозиться.

     

  • 1.19, Аноним (19), 12:40, 09/11/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Опять на Сях, писать блин больше не на чем чтоли? Нечитаемая каша в итоге, как всегда.
     
     
  • 2.22, 1 (??), 15:12, 09/11/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок.
    Жаль, что его нельзя называть.
     
  • 2.39, вячеславус (?), 06:09, 22/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Зато быстро работает.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру