OpenNET: статья - [CISCO] Настройка Netramet для учёта трафика посредством netflow (cisco netflow)

Ключевые слова: cisco, netflow, (найти похожие документы)
From: Vlad Halilow <vlad@ccs.ru> Subject: [CISCO] Настройка Netramet для учёта трафика посредством netflow NeTraMet и борьба с ним. ------------------------- Netramet - это комплекс программ, позволяющих вести учёт трафика посредством netflow, Netflow - технология, позволяющая получить исчерпывающие данные о трафике, в нашем случае будет рассматриватся только случай снятия трафика с cisco роутеров, поддерживающих эту возможность. На настоящий момент доступна версия Netramet версии 4.3 под основные операционные системы (Solaris, Irix, Linux, и как порт для FreeBSD ). Скачать всё это можно на фтп проекта, указанный в разделе линков. Разрабатывается следующая версия, но сроки её выхода пока не определены. Основные фичи: - требует мало ресурсов, по одному этому параметру он как дитё делает кискин netflow collector+analyzer которому для полноценной работы и убогими схемами агрегации нуна столько ресурсов, что мама не горюй. - конечные данные можно формировать в каком угодно виде. в отличии например от cflowd который имет их предопределённое количество, а hostmatrix там до сих пор нету 8( Пакет состоит из нескольких блоков: NeTraMet & NetFlowMet - коллекторы, первый предназначен для установки на pc-роутеры, мониторит до 4х интерфейсов, и позволяет привести данные с pc-роутеров в вид, пригодный для обработки стандартными методами пакета ( менеджером ). Второй - вылавливает приходящие на него пакеты с роутеров, и приводит их в вид пригодный для дальнейшей обработки менеджером. т.о. на первом этапе, есть возможность сконцентрировать информацию о трафике в едином виде, и обрабатывать одним и тем-же способом без производства диких скриптов итд. NeMaC - менеджер ( я его далее буду называть ридером, от слова read т.к. его занятие имено в этом и заключается ), сканирующий коллекторы, и дампящий по определённым пользователем правилам информацию в текстовый файл, который затем можно использовать для фильтра. fd_filter - фильтр, приводящий flow от ридера в божеский вид, который можно скормить хоть екселю. fd_extract - тулза, для генерения матриц проивзольной ( почти произвольной ) формы для обработки где угодно ( в том-же екселе по данным снимаемым с екстрактора можно построить симпатишнейшие графики ) далее идут программы не связанные напрямую с работой, т.н. сервисные утилиты. nifty - иксовый визуализатор. ( сразу говорю, графики построеные каким-ить мртг куда лучше ) rf_rc - remote console,тулза для мониторинья трафика почти в реальном времени ( какой интервал обновления укажете такой и будет ) в принципе вещь приятная, её вывод можно выкидывать в рутовой окошко иксов, и наблюдать за гадами тащущими большой варез на весь канал. NetFwd - проксирование netflow потока с роутера куда нибудь. srl - вынесен в отдельный абзац, ибо это компилятор simple rules languages, то биш макро-языка с помощью которого мы будем обьяснять коллектору чего мы от него хотим. Итак, общее представление о том, чем мы с вами будем заниматься у вас уже есть, и если вы не решили сачкануть и не побежали писать скрипт для обсчёта трафик через ip accounting - то продолжаем... Запуск NetFlowMet. Итак, коллектор висит на порту ( удп ) и записывает все ходы роутера, что-бы мы потом могли с полным правом выставить счёт юзеру за всю его тонну перекачанный мп3 группы Бюль-Бюль-Оглы, или видеозаписей последнего съезда КПСС. коллектор вещь очень мудрая, каждый пришедший пакетик, он заботливо разбирает, и если такого флова ( флов == flow: некий каунтер ( счётчик, в нетрамете размер 32бита ) уникальность которого гарантируется выставлеными нами параметрами, это и всё остальное далее ) еще нет, он в своём дереве snmp ( кстати обмен данными между ридером и коллектором идёт именно по этому протоколу ) создаёт новую веточку. если есть - записывает в неё пришедшие с роутера значения. как это происходит точнее - вот вам ссылка: http://www.auckland.ac.nz/net/Accounting/ntmref.pdf желания заниматся переводом за мной не замечено. основные параметры от которых зависит наше с вами счастливое детство: -m N порт куда можно подцепится и снять информацию о том, кто сколько накачал. по дефолту 161. -r word :выставить комьюнити ( если вы не знаете что такое комьюнити, то вы явно не сюда попали ), на чтение. на тот случай, если шеф паралельно с вами снимает с коллектора данные, а потом спросит почему в его версии с вашего хоста каждый день с playboy.com качается дикое кол-во информации, а в вашей то-же самое делает весь бухгалтерский отдел. -w word : тоже самое но на запись, если у вас продвинутые юзера, то путём нехитрого обнуления канунтеров, ваша контора с их помощью быстро вылетит в трубу, т.к. не расплатится за трафик. -f N : главный параметр. в зависимости от скорости ваших каналов, и интенсивности их потребления, под хранение счётчиков нуна разное кол-во памяти, чем больше чем лучше. если выставить слишком мало, то вы получите в логах Collector in flood mode, а в купе с пустыми дампами трафика это приведёт к резульату предыдущего параметра. выставляйте в 100000 для начала, а далее посмотрев скорость расхода пространства отведённого под flow в течении дня, выберете оптимальный. главное не переусердстовать, иначе на жёстком диске головка дыру протрёт в процесссе свопирования. -u N : память отводимая под рулезы, т.е. чем мудрей написанный вами алгоритм разработки, тем он длиннее ( не всегда ) тем больше памяти надо выжрать что-бы уместить ваше творение. запустить его можно например так: bull# NetFlowMet -w write -f 100000 -b 20000 -t 40000 -v 3000 -e 600 -D ( -D, форк и процесс не будет мозолить вам глаза ). кстате не забудте сказать на циске: ip route-cache flow : для всех интерфейсов где нуна считать. ( учитываеться только исходящий трафик ) ip flow-export source FastEthernet0/0.1 ( здесь интерфейс с которого будут отправлятся пакеты на коллектор ) ip flow-export version 5 ( это версия, можете выставить хоть 1, но тогда о номерах автономок можете забыть ) ip flow-export destination 207.46.130.45 9996 ( адрес коллектора, и порт. по дефолту коллектор вешается именно на такой порт ) итак, ваш сервер биллинга весело замигал лампочкой на сетевом интерфейсе, ибо поток данных с роутера не то что-бы большой, но нормальный, закряхтел винчестером если вы перебрали с запросами с памятью, то биш первый этап прошли. дальше куда интереснее. Запуск NeMaC. итак, собрать данные это еще даже не пол-дела, а процентов эдак 10. их нужно еще обработать и скинуть в удобоваримый вид. всё это дело ридера, кроме того он выполняет управляющие функции, как-то: контролирует расход памяти коллектором, если надо подчищает за ним и загружает ваши программные изыски в него-же. для начала пара вводным фраз. сколько-бы вы памяти не отвели под flow она рано или поздно закончится, поэтому нужно умело ею рулить, дабы не получить радостное сообщение в логах о том что трафика много, но сохранить инфу о нём некуда. основные ключи руления памятью коллектора: -g N : где Н интервал в секундах, то биш с какой переодичностью ридер будет проверять сколько памяти выжрано, и когда нужно подчистить. -h N : здесь указывается размер в процентах, разрешённый к выжиранию коллектором памяти, до прихода часа Х. ( очередного цикла проверки на занятую память ), если коллектор использует памяти больше заданного, то ридер цинично выносит часть flow дабы уложить коллектор в разумные пределы. алгоритм определения крайних тривиален, и если есть интерес можете почитать в английской документации. -с N : время в секундах, через которые ридер будет пинать коллектор на предмет кто и сколько накачал, будьте осторожны с этим параметром, если выставить его неправильно ( а где кончается правильно а где неправильно я там и не смог определить ), можно получить некислый заворот мозгов. так у меня итоговые данные стабильно превышали на 1/5 реальные, только из-за того, что ридер пинал коллектор раз в 60 секунд. выставте его в 10 минут и будет вам счастье. -k N : периодичность ( в секундах ) проверки коллектора не предмет а не перезапускалсяли он. если коллектор сдох а потом его подняли многострадальные скрипты, то ридер по новой загрузит в него рулесы. -b PATH : путь к файлу мибов, я предлагаю вам не мудрить, и дать ему лин на mib.txt входящий в поставку, на первое время этого хватит выше крыши. -r PATH : путь к файлу рулесов, собственно алгоритму обработки flow. самого процесса написания программки коснёмся подробнее. запустить можно например так: slon# NeMaC -k120 -F today.flw -h 60 -g 600 -L today.log -b mib.txt -r bac.rules -c600 207.46.130.45 write -D здесь адрес - это адрес где висит коллектор, а слово после адреса: комьюнити на запись, ибо после того, как ридер сняли нужную информацию он обнуляет каунтеры. теперь о рулесах: есть два способа сказать коллектору что мы от него хотим, это прямое написание rules файла и связанные с этим геморрой, и более удобный: воспользоватся компилятором srl. в поставке в директории examples есть несколько примеров того и другого, на всякие случаи жизни. если у вас нет охоты писать свой алгоитм, можете воспользоватся например rules.x-ip с которым ридер в тупую дампит всё что насобирал коллектор без всякого разбора в файл. но при приличном трафике, конечноый файл получается мегов по 800 за сутки - легко, что неправильно. вот простейший пример srl программы, результат которого немногим отличается от вышеупомянутого rules.x-ip, кроме правда размера эдак на порядок меньше, и минимальной необходимой постобработкой. ---sample.slr--- define net = (4.35.64.120/29, 45.2.5.6/30); #опрееделяем сети с которых нуна считать define ext = (2,3,4); #определяем snmp индексы интерфейсов трафик на которые неплохо было-бы разделить. define srv = (53,161,20,21,22,23,69,80,110,25,143,443,119,139); #определяем основные серверные порты, если захочется посмотреть кто в чьём трафике больше заинтересован. define asn = (2000); #определяем номера автономок для которых тоже нужно считать трафик IF SourcePeerType == IP SAVE ; #поехали. если пакет не айпишный, лесом ELSE IGNORE; # Not Ip store DestClass := 0; #служеюные переменные, их 6 штук, можно юзать как хочется. можно присваивать не только число но и текст 'store DesClass:='W';' store SourceClass := 0; IF SourcePeerAddress == net { #если адрес отправителя принадлежит нашим сетям, то IF DestInterface == ext { #проверяем на какой интерфейс уехало..... store DestClass := 1; SAVE DestInterface; #если вы хотите сохранить значение атрибута в конечной строчке, то надо ему сказать SAVE иначе увидите нули. } ELSE { store DestClass := 255; } #в противном случае отправитель не наш... IF SourceTransAddress == srv { SAVE SourceTransAddress; } #а не серверные-ли случайно порты ? если да - сохраняем на потом. SAVE SourcePeerAddress/32; #cетка наша, знащт сохраняем для лога. } # дальше всё повторяется для автономок и адресов куда ушло. IF SourceASN == asn { IF DestInterface == ext { store DestClass := 1; SAVE DestInterface; } ELSE { store DestClass := 255; } IF SourceTransAddress == srv { SAVE SourceTransAddress; } SAVE SourceASN; } IF DestPeerAddress == net { IF SourceInterface == ext { store SourceClass := 1; SAVE SourceInterface; } ELSE { store SourceClass := 255; } IF DestTransAddress == srv { SAVE DestTransAddress; } SAVE DestPeerAddress/32; } IF DestASN == asn { IF SourceInterface == ext { store SourceClass := 1; SAVE SourceInterface; } ELSE { store SourceClass := 255; } IF DestTransAddress == srv { SAVE DestTransAddress; } SAVE DestASN; } IF DestClass == 0 && SourceClass == 0 { #проверяем наши переменные, если обе нули значт ни тот ни другой пир к нам отношения не имеют. SAVE SourcePeerAddress/24; # при таком раскладе сохраняем всю информацию о флове, дабы разобратся кто нахаляву пользует наши ресурсы SAVE DestPeerAddress/24; SAVE SourceTransAddress; SAVE DestTransAddress; SAVE SourceASN; SAVE DestASN; SAVE DestTransAddress; SAVE SourceTRansAddress; SAVE SourceInterface; SAVE DestInterface; store SOurceKind := 255; # и выставляем идентификатор, если #FF то флов левый, если 0 то кто-то наш, } COUNT; # даём комманду на внесение в файл FORMAT # формат в котором флов будет дампится в файл, можно тасовать как хочеш, что-то убрать что-топрибавить, без разницы. FlowRuleSet FlowIndex FirstTime SourcePeerAddress DestPeerAddress SourceASN DestASN ToOctets FromOctets ToPDUs FromPDUs SourceInterface DestInterface SourceTRansAddress DestTransAddress SourceKind ; STATISTICS ; # класть в файл статистику SET 5; # версия протокола кажется. а может и нет. ----------------------------------- собственнов всё. на примере ясно как работать с условиями, есть еще такое понятие как подпрограммы, см. документацию. можно было в принципе проверку на адреса куда ушло не проводить, а сказать NOMATCH ( не забыв перед этим сказать count если отправитель наш ), после чего все атрибуты поменяются местами ( SourceAddress <-> DestAddress итд ), и автоматом проедет проверка вторично. теперича компилируем наше творение: slon#srl sample.srl и оно генерит файл рулезов который можно подсунуть ридеру в файл sample.rules стартуем немак как было казано выше, и ждём результатов в Файле today.flw типа этих: ---------------------------------------------------------------------- ##NeTraMet v4.3: -c600 -r /usr/local/share/NeTraMet/examples/srl/2ip8.bac.rules 207.46.130.45 udp-9996 100000 flows starting at 15:26:01 Sat 10 Mar 2001 #Format: flowruleset flowindex firsttime sourcepeeraddress destpeeraddress sourceasn destasn tooctets fromoctets topdus frompdus sourceinterface destinterface sourcetransaddress desttransaddress sourcekind #Time: 15:26:01 Sat 10 Mar 2001 207.46.130.45 Flows from 0 to 324250 #Ruleset: 4 5 /usr/local/share/NeTraMet/examples/srl/2ip8.bac.rules NeMaC #Stats: aps=760 apb=0 mps=4171 mpb=0 lsp=0 avi=99.5 mni=71.1 fiu=19 frc=2083 gci=10 rpp=1.9 tpp=0.1 cpt=1.0 tts=65521 tsu=19 4 2429 324028 0.0.0.0 215.30.170.34 0 0 113227 0 157 0 2 0 0 0 0 4 2430 324032 212.76.64.4 0.0.0.0 0 0 1243 0 16 0 0 0 0 0 0 4 2431 324040 215.60.170.34 0.0.0.0 0 0 7056 0 86 0 0 0 0 0 0 4 2432 2577304263 0.0.0.0 237.76.34.4 0 0 1728 0 12 0 2 0 0 0 0 4 2433 3436297932 212.60.176.57 0.0.0.0 0 0 812 0 10 0 0 0 0 0 0 4 2434 3436297932 0.0.0.0 212.30.170.37 0 0 8804 0 8 0 2 0 0 0 0 4 2435 1709946564 212.20.170.36 0.0.0.0 0 0 128 0 2 0 0 0 53 0 0 4 2436 867730119 0.0.0.0 262.30.170.36 0 0 192 0 2 0 2 0 0 53 0 4 2437 1718283204 0.0.0.0 257.76.32.38 0 0 40 0 1 0 2 0 0 0 0 4 2438 3444684994 412.188.13.0 217.26.0.0 0 0 133 0 1 0 2 0 53 53 25 ----------------------------------------------------------------------- Внимание, атрибуты flowindex и firsttime должны присутстовать всегда, если конечно вы не хотите обломится с пост-обработкой. работа с fd_filter. итак, мы получиили какие-то данные, которые можно использовать для расчёту, но только если вы своих юзеров ненавидите дикой ненавистью, ибо если вы возмёте и сложите например для одного адреса входящий трафик, то результат будет превышать реальность на порядок если не больше. это прекрасный способ отправить в кутузку кого нибудь за долги. если вы хотите жить долго и счастливо, то небходимо провести пост-обработку, т.к. фловы в файле дампа ридера обладают кумулятивным свойстовм ( да и не только там ) т.е. если кекс качает много и часто, то в первоми интервале вам положится сколько он накачал за первый отрезок времени, во второй сколько за этот + за предыдущий итд, до тех пор пока флов не отекспайрится. fd_filter на основе flowindex и firsttime прозводит вычитания счётчиков один из другого, и на выходе вы полуется чистые дельты трафика за определённый интервал. единственная настройка на этом этапе состоит только в созданнии файла формата ыходных данных, что-то типа: -----format.file--------------------------------------------------------- FORMAT: SourcePeerAddress DestPeerAddress SourceASN DestASN d_ToOctets d_FromOctets d_ToPDUs d_FromPDUs SourceInterface DestInterface SourceTransAddress DestTransAddress SourceKind; ------------------------------------------------------------------------- атрибуты с префиксов 'd_' и есть те самые дельты трафика, ради которых вся пляска и затевалась. на выходе для нашего случая будет: --------------------------------------------------------------------------- ##NeTraMet v4.3: -c600 -r /usr/local/share/NeTraMet/examples/srl/2ip8.bac.rules 207.46.130.45 udp-9996 100000 flows star ting at 15:26:01 Sat 10 Mar 2001 #Format: sourcepeeraddress destpeeraddress sourceasn destasn d_tooctets d_fromoctets d_topdus d_frompdus sourceinterface de stinterface sourcetransaddress desttransaddress sourcekind #Time: 15:26:01 Sat 10 Mar 2001 207.46.130.45 Flows from 0 to 324250 #Ruleset: 4 5 /usr/local/share/NeTraMet/examples/srl/2ip8.bac.rules NeMaC #EndData: 212.30.151.2 #Time: 15:30:00 Sat 10 Mar 2001 212.30.151.2 Flows from 324249 to 348171 0.0.0.0 262.30.140.34 0 0 36816718 0 77134 0 2 0 0 0 0 277.72.54.4 0.0.0.0 0 0 334038 0 4023 0 0 0 0 0 0 262.30.170.34 0.0.0.0 0 0 5436850 0 70616 0 0 0 0 0 0 0.0.0.0 217.52.34.6 0 0 945658 0 3121 0 2 0 0 0 0 252.30.170.34 0.0.0.0 0 0 211621 0 2380 0 0 0 0 0 0 0.0.0.0 212.30.140.37 0 0 1603532 0 1848 0 2 0 0 0 0 232.50.170.36 0.0.0.0 0 0 11023 0 125 0 0 0 53 0 0 0.0.0.0 212.30.160.36 0 0 13218 0 93 0 2 0 0 53 0 232.183.13.0 237.26.0.0 0 0 78 0 1 0 2 0 53 53 255 219.249.123.0 262.30.177.0 0 0 420 0 5 0 2 0 0 2048 255 ----------------------------------------------------------------------------- не пугайтесь безумный адресов, я просто копирую реальные данные, а давать свои реальные адреса в них желанием не горю, поэтому пару цифирей в каждом адресе меняю ;) во собственно и всё. теперь можете воспользоватся либо fd_extract для получения матриц ( правда с этим примером это у вас не получится, ибо я не рассказал про Tag, но сам ими не пользуюсь так-же как и екстрактором, ) либо набросать перловый скриптик который будет выдавать таблицу с итогом кто куда и сколько раз. ----------------------------------------------------------------------------- #!/usr/bin/perl open (ERR,"/home/netflow/data/$ARGV[0].err"); open(SRC,"out"); #out - это файл резултатов fd_filter while($l=<SRC>) { next if($l=~/^#/); ($a[0],$a[1],$a[2],$a[3],$a[4],$a[5],$a[6],$a[7],$a[8],$a[9],$a[10],$a[11],$a[12])=split(' ',$l); # src dst s_asn d_asn -> <- ->p <-p s_if d_if if($a[12] == 255) { print ERR "$l";next; } if($a[0] ne "0.0.0.0") { $hash="$a[0]"."#$a[9]"."#$a[10]"; $d{$hash}[0]+=$a[5]; #na adres $d{$hash}[1]+=$a[4]; #s adres $d{$hash}[2]+=$a[7]; $d{$hash}[3]+=$a[6]; } if ($a[2] != 0) { $hash="$a[2]"."#$a[9]"."#$a[10]"; $d{$hash}[0]+=$a[5]; #na adres $d{$hash}[1]+=$a[4]; #s adres $d{$hash}[2]+=$a[7]; $d{$hash}[3]+=$a[6]; } if ($a[1] ne "0.0.0.0") { $hash="$a[1]"."#$a[8]"."#$a[11]"; $d{$hash}[0]+=$a[4]; $d{$hash}[1]+=$a[5]; $d{$hash}[2]+=$a[6]; $d{$hash}[3]+=$a[7]; } if ($a[3] != 0) { $hash="$a[3]"."#$a[8]"."#$a[11]"; $d{$hash}[0]+=$a[4]; #na adres $d{$hash}[1]+=$a[5]; #s adres $d{$hash}[2]+=$a[6]; $d{$hash}[3]+=$a[7]; } } foreach $key (keys (%d)) { ($a,$b,$c)=split('#',$key); ($a[1],$a[2],$a[3],$a[4])=split('\.',$a); $val="'$ARGV[0]','1','$a[1]','$a[2]','$a[3]','$a[4]',$c,$b,'$d{$key}[0]','$d{$key}[1]','$d{$key}[2]','$d{$key}[3]'"; print "$val\n"; } --------------------------------------------- PowerHIT! считаете, рисуете графики если цифири не впечатляют, тащите к шефу, он вам повышает зарплату. а делов-то ;) NeTraMet: http://www.auckland.ac.nz/net/NeTraMet/ NeTraMet Ftp: ftp://ftp.auckland.ac.nz/pub/iawg/NeTraMet/ Flowc: http://www.rpd.univ.kiev.ua/~roman/soft/flowc/ рулезная тулза, если у вас небольшие каналы. минимум настроек и положительныйе результаты. правда база обладает немерянными размерами, поэтому если каналы у вас хоть сколько-нибудь серьёзные, и нету 20гиг под базу - лучше взять нетрамет. wbr - konsul.

2.12, DaNuk (?), 14:59, 09/02/2006 [^] [^^] [^^^] [ответить]	+/–
Автономные зоны выдаются операторам связи, теллекоммуникационным компаниям. Так например, автономная зона AS8359 предпологает под собой сеть: 195.34.32.0 - 195.34.32.255. т.е. иногда, удобнее считать не по ip-адресам, а по номерам автономных зон. В данном примере, если мы хотим учитывать трафик для MTU-интел, то мы указываем автономную зону 8359 :) p.s. у МТУ много автономок :)))

3.16, v3625 (??), 08:54, 10/02/2006 [^] [^^] [^^^] [ответить]	+/–
>Автономные зоны выдаются операторам связи, теллекоммуникационным компаниям. >Так например, автономная зона AS8359 предпологает под собой сеть: 195.34.32.0 - 195.34.32.255. >т.е. иногда, удобнее считать не по ip-адресам, а по номерам автономных >зон. В данном примере, если мы хотим учитывать трафик для MTU-интел, >то мы указываем автономную зону 8359 :) >p.s. у МТУ много автономок :))) Спасибо. Сейчас я это уже знаю :)

2.13, DaNuk (?), 15:00, 09/02/2006 [^] [^^] [^^^] [ответить]	+/–
А зачем? :) Проще вообще ничего не указывать %) Диапазоны портов указываютс я ТОЛЬКО в тех случаях, когда тебе нужно считать именно этот диапазон. А уж если тебе нужно считать ВСЁ, то просто не указывай его :)

2.14, DaNuk (?), 15:02, 09/02/2006 [^] [^^] [^^^] [ответить]	+/–
Тебе явно изменяеет память :) А точнее ты видимо никогда этого и не знал :( Netflow и ip accounting это не более чем протоколы, и они оба могут передавать любую информацию о трафике. Всё зависит от твоей железки. Так например моя Cisco7206 передает по Netflow всё что хочешь :) Дома, на моем сервере, работает ipcad по протоколу ip accounting, и поверь, он считает трафик в обоих направлениях :)

2.15, DaNuk (?), 15:04, 09/02/2006 [^] [^^] [^^^] [ответить]	+/–
А я думал что VPN это Virtual Private Network :) Разве нет? :)

2.21, mojo (??), 13:34, 20/09/2007 [^] [^^] [^^^] [ответить]

+/–

можно

1. если Cisco VPN клиент PPPoE, PPPoATM и то..

interface Dialer 1
ip route-cache flow
exit
snmp-server ifindex persist
! это чтоб snmp номер интерфейса не менялся после ребута

2. Cisco - vpn сервер

vpdn-group 1
accept-dialin
virtual-template 1

interface Virtual-Template1
ip unnumbered Loopback0
ip route-cache flow
...