Новые ответы

Большая загрузка процессора Cisco 7206,

Luxor, 22-Апр-09, 17:54 [смотреть все]

Здравствуйте, товарищи!
Имеется Cisco 7206 NPE-G2, выполняет роль пограничного маршрутизатора на Интернет, также на нем работает NAT и BGP. На данный момент маршрутизирует порядка 140 Мегабит/с на входящий, и 50 Мегабит/с на исходящий и при этом загрузка процессора 85%/65% (65% по прерываниям). Помогите идеями :), цисковскую документацию по борьбе с перегрузками изучил но пока что глухо. Если эту тему увидят владельцы 7206 NPE-G2 отпишите пожалуйста сюда какой объем трафика она у вас маршрутизирует и какие сервисы при этом провайдит. Читал что у одного админа 7206 NPE-G2 500 Мегабит маршрутизировало и он был не доволен, а у меня только 140, представляете как недоволен я?!))
Приведу немного информации для анализа:
rtr1-node10#sh interfaces switching
GigabitEthernet0/1 IP-tunnel-to-VPN-server
          Throttle count          0
                   Drops         RP    7894874         SP          0
             SPD Flushes       Fast   32893025        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs    1750197      Drops          0
    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process 2799492149 3193309513   69536565 1755240038
            Cache misses          0          -          -          -
                    Fast 2107472084 3093362577 2030008661 1149881674
               Auton/SSE          0          0          0          0
    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process        884      53040       1110      66600
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0     103183    6190980
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    NOTE: all counts are cumulative and reset only after a reload.
Interface FastEthernet0/2 is disabled
GigabitEthernet0/2 StartTelecom
          Throttle count          0
                   Drops         RP       1114         SP          0
             SPD Flushes       Fast     900988        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs    3693245      Drops          0
    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   70177277 1965337225 2800091372 3017474511
            Cache misses          0          -          -          -
                    Fast 1941764255 1388648908 1557061087  859530042
               Auton/SSE          0          0          0          0
    Protocol  DEC MOP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0       1727     132979
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process        866      51960        871      52260
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0     103190    6191400
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    NOTE: all counts are cumulative and reset only after a reload.
GigabitEthernet0/3 Cisco2924XL
          Throttle count          0
                   Drops         RP          0         SP          0
             SPD Flushes       Fast    4653430        SSE          0
             SPD Aggress       Fast          0
            SPD Priority     Inputs   20645147      Drops          0
    Protocol  IP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process   73298837  895766813     661175   64991044
            Cache misses          0          -          -          -
                    Fast   61953958 1946724888  155080827  931941463
               Auton/SSE          0          0          0          0
    Protocol  DEC MOP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0       1727     132979
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  ARP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process      79986    4803392     278587   17829568
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  CDP
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process          0          0      17215    6834355
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    Protocol  Other
          Switching path    Pkts In   Chars In   Pkts Out  Chars Out
                 Process     674158   45697543     103189    6191340
            Cache misses          0          -          -          -
                    Fast          0          0          0          0
               Auton/SSE          0          0          0          0
    NOTE: all counts are cumulative and reset only after a reload.
NVI0
    All statistics for this interface are zero.
SSLVPN-VIF0
    All statistics for this interface are zero.
rtr1-node10#sh ip traffic
IP statistics:
  Rcvd:  2942749765 total, 73976857 local destination
         0 format errors, 6 checksum errors, 4987796 bad hop count
         0 unknown protocol, 1 not a gateway
         0 security failures, 0 bad options, 64868 with options
  Opts:  64868 end, 2 nop, 0 basic security, 0 loose source route
         0 timestamp, 0 extended security, 6 record route
         0 stream ID, 0 strict source route, 0 alert, 0 cipso, 0 ump
         0 other
  Frags: 38 reassembled, 0 timeouts, 0 couldn't reassemble
         2026 fragmented, 4213 fragments, 130 couldn't fragment
  Bcast: 83434 received, 0 sent
  Mcast: 37258 received, 111779 sent
  Sent:  6445181 generated, 2309111103 forwarded
  Drop:  75872 encapsulation failed, 0 unresolved, 0 no adjacency
         93000 no route, 0 unicast RPF, 0 forced drop
         0 options denied
  Drop:  0 packets with source IP address zero
  Drop:  0 packets with internal loop back IP address
         0 physical broadcast
ICMP statistics:
  Rcvd: 1182 format errors, 6 checksum errors, 0 redirects, 72592400 unreachable
        155839 echo, 36 echo reply, 0 mask requests, 0 mask replies, 0 quench
        0 parameter, 0 timestamp, 0 timestamp replies, 0 info request, 0 other
        0 irdp solicitations, 0 irdp advertisements
        44 time exceeded, 0 info replies
  Sent: 0 redirects, 80319 unreachable, 20 echo, 155839 echo reply
        0 mask requests, 0 mask replies, 0 quench, 0 timestamp, 0 timestamp replies
        0 info reply, 4986983 time exceeded, 0 parameter problem
        0 irdp solicitations, 0 irdp advertisements
TCP statistics:
  Rcvd: 628474 total, 712 checksum errors, 59 no port
  Sent: 657236 total
BGP statistics:
  Rcvd: 1235837 total, 1 opens, 0 notifications, 1198397 updates
        37439 keepalives, 0 route-refresh, 0 unrecognized
  Sent: 33638 total, 1 opens, 0 notifications, 1 updates
        33636 keepalives, 0 route-refresh
IP-EIGRP statistics:
  Rcvd: 0 total
  Sent: 0 total
PIMv2 statistics: Sent/Received
  Total: 0/0, 0 checksum errors, 0 format errors
  Registers: 0/0 (0 non-rp, 0 non-sm-group), Register Stops: 0/0,  Hellos: 0/0
  Join/Prunes: 0/0, Asserts: 0/0, grafts: 0/0
  Bootstraps: 0/0, Candidate_RP_Advertisements: 0/0
  Queue drops: 0
  State-Refresh: 0/0
IGMP statistics: Sent/Received
  Total: 0/0, Format errors: 0/0, Checksum errors: 0/0
  Host Queries: 0/0, Host Reports: 0/0, Host Leaves: 0/0
  DVMRP: 0/0, PIM: 0/0
  Queue drops: 0
UDP statistics:
  Rcvd: 598168 total, 0 checksum errors, 70156 no port
  Sent: 566314 total, 0 forwarded broadcasts
OSPF statistics:
  Rcvd: 0 total, 0 checksum errors
        0 hello, 0 database desc, 0 link state req
        0 link state updates, 0 link state acks
  Sent: 0 total
        0 hello, 0 database desc, 0 link state req
        0 link state updates, 0 link state acks
ARP statistics:
  Rcvd: 73489 requests, 417 replies, 0 reverse, 0 other
  Sent: 278758 requests, 1841 replies (0 proxy), 0 reverse
  Drop due to input queue full: 0

rtr1-node10# sh ip cef summary
IPv4 CEF is enabled and running
VRF Default:
283475 prefixes (283475/0 fwd/non-fwd)
Table id 0
Database epoch:        0 (283475 entries at this epoch)

Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, den, 18:47 , 22-Апр-09 (1)
модуль для vpn какойнить стоит или все софтваре далем ? А что вы хотели раз еще NAT повесили. Плохая практика NAT сесии терминировать на бордере. У меня на G2 250Mbit роутится при загрузке cpu ~20%, а у вас явно чегото не так.
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 19:30 , 22-Апр-09 (2)
>модуль для vpn какойнить стоит или все софтваре далем ? А что
>вы хотели раз еще NAT повесили. Плохая практика NAT сесии терминировать
>на бордере. У меня на G2 250Mbit роутится при загрузке cpu
>~20%, а у вас явно чегото не так.
Den, спасибо за ответ!
7206 незанимается терминированием VPN-тунелей, это делает отдельный сервер! Честно говоря у меня тоже были мысли про NAT, но если бы NAT грузил систему то в загрузке был бы высокий процесс по про процессам а не по прерываниям! Т.е. было бы не как в моем случае загрузка 85%/65%, а 85%/15% где-то так) процесс NAT мало отъедает процесоррного времени вот смотрите:
rtr1-node10#sh proc cpu sorted
CPU utilization for five seconds: 58%/46%; one minute: 58%; five minutes: 53%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
  85   2618780481542129395        169  9.15% 10.33%  9.73%   0 IP Input
107     1873076     18344     102108  1.14%  0.14%  0.07%   0 IP Background
252    15922056   9482564       1679  0.81%  0.74%  0.75%   0 IP NAT Ager
263     6738144 233390950         28  0.24%  0.27%  0.25%   0 NAT MIB Helper
Сейчас маленкая загрузка потому что только впн-сервер перезагрузил, через полчасика опять до 85% подымется когда клиенты очухаются )
Den, к Вам пару вопросов еще), а вы используете какую-нить политику качества обслуживания чтобы зарезать паризитный трафик? Я вот сейчас начинаю грешить что это вирусы циску грузят. А вы VPN тунели на 7206 терминируете? Если то сколько примерно тунелей и какой модуль используете ?
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, seducer, 10:19 , 23-Апр-09 (3)
Имею 7204 NPE-G2: 2 Full View + Nat + Netflow
В пике 100Мбит/с вход и 50Мбит/с выход при 6-7 тыс Nat трансляций ,загрузка 35-40%.
Если убрать Nat и Netflow то гигабит в сумме прокачает.
Ответить | Сообщить модератору
Большая загрузка процессора Cisco 7206, green79, 13:48 , 23-Апр-09 (8)
>[оверквотинг удален]
>Input
> 107     1873076     18344
>    102108  1.14%  0.14%  0.07%
>  0 IP Background
> 252    15922056   9482564
>   1679  0.81%  0.74%  0.75%
> 0 IP NAT Ager
> 263     6738144 233390950
>    28  0.24%  0.27%  0.25%
>  0 NAT MIB Helper
просто ради интереса иос какой на машине ?
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 14:11 , 23-Апр-09 (9)
>[оверквотинг удален]
>>    102108  1.14%  0.14%  0.07%
>>  0 IP Background
>> 252    15922056   9482564
>>   1679  0.81%  0.74%  0.75%
>> 0 IP NAT Ager
>> 263     6738144 233390950
>>    28  0.24%  0.27%  0.25%
>>  0 NAT MIB Helper
>
>просто ради интереса иос какой на машине ?
rtr1-node10#sh ver
Cisco IOS Software, 7200 Software (C7200P-ADVENTERPRISEK9-M), Version 12.4(20)T1                                                                             , RELEASE SOFTWARE (fc3)
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, lumenous, 10:20 , 23-Апр-09 (4)
>[оверквотинг удален]
> Drop due to input queue full: 0
>
>
>rtr1-node10# sh ip cef summary
>IPv4 CEF is enabled and running
>VRF Default:
> 283475 prefixes (283475/0 fwd/non-fwd)
> Table id 0
> Database epoch: 0 (283475
>entries at this epoch)
NAT - Зло. Думаю, проблема именно в нем. Попробуйте перенести его на отдельный сервер, если это конечно возможно.
У нас в одном из городов стоит точно такая же циска. Насилуем ее как можем - MPLS, BGP, OSPF, vrf и тд и тп.
На двух портах разруливает по 600-800 мбит трафика и загрузка в пики достигает 70-80 процентов.
Мы как то пробовали NAT, сильно сжирает ресурсы =(((((
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, den, 11:23 , 23-Апр-09 (5)
а у Вас часом не ebgp multihop, а то тут на форуме уже обсуждали случай когда две сесии multihop без двух статик роутов к бордерам, в результате циска пересчитывала для всего full-view интерфейс в который отдавать трафик для каждого префикса. Это тоже сжирает ресурсы.

Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Murzik, 12:41 , 23-Апр-09 (6)
У меня Cisco 7206 с NPE G-1 через себя пропускает 360 Мб с 3 разных интерфейсов с включенным натом и загрузка не превышает 40% видимо что то не в порядке с настройками ната.Помнится в свое время я конфигурил некоторые тонкие настройки ната так что он перестал потреблять процессорное время.Да еще на ней же 2 BGP Full View от 2 разных провайдеров

Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 13:16 , 23-Апр-09 (7)
>У меня Cisco 7206 с NPE G-1 через себя пропускает 360 Мб
>с 3 разных интерфейсов с включенным натом и загрузка не превышает
>40% видимо что то не в порядке с настройками ната.Помнится в
>свое время я конфигурил некоторые тонкие настройки ната так что он
>перестал потреблять процессорное время.Да еще на ней же 2 BGP Full
>View от 2 разных провайдеров
У меня вечерами в NAT порядка 150 тысяч трансляций.
Murzik, расскажите пожалуйста что вы имеете ввиду под тонкими настройками NAT, или покажите как он настроен у Вас.
Вот как это выглядит у меня (удалили все что NAT на касается):
interface GigabitEthernet0/1
description IP-tunnel-to-VPN-server (трафик поступающий с VPN-сервера)
ip address 172.16.3.5 255.255.255.252
ip access-group LAN-FILTER in
ip nat inside
!
interface GigabitEthernet0/2
description StartTelecom (собственно провайдер)
ip address 81.16.113.250 255.255.255.252
ip access-group WAN-FILTER in
ip nat outside
!
ip nat translation timeout 300
ip nat translation tcp-timeout 300
ip nat translation icmp-timeout 120
ip nat pool NAT-POOL {начало пула} {конец пула} prefix-length 28
ip nat inside source list NAT pool NAT-POOL overload
Вот
rtr1-node10#sh ip nat statistics
Total active translations: 112505 (4 static, 112501 dynamic; 112495 extended)
Peak translations: 154420, occurred 13:59:45 ago
Outside interfaces:
  GigabitEthernet0/2
Inside interfaces:
  GigabitEthernet0/1
Hits: 1634249480  Misses: 0
CEF Translated packets: 1511307498, CEF Punted packets: 3116792470
Expired translations: 403175242
Dynamic mappings:
-- Inside Source
[Id: 1] access-list NAT pool NAT-POOL refcount 108780
pool NAT-POOL: netmask 255.255.255.240
        start {начало пула} end {конец пула}
        type generic, total addresses 15, allocated 2 (13%), misses 8
Appl doors: 0
Normal doors: 1
Queued Packets: 94
Отключил NetFlow нагрузка упала на 10%, но от этого мне легче так как сейчас порядка 70% к вечеру опять под 90% зашкаливать будет
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, seducer, 14:20 , 23-Апр-09 (10)
>У меня вечерами в NAT порядка 150 тысяч трансляций.
Что вы хотите получить от этой железки с таким количеством трансляций? Я ограничиваю количество трансляций в 40000 ,НАТ пользователей у меня не так много. Но раз в месяц кто то регулярно хватает вирусню которая сжирает эти 40к за пару сек.Инет для НАТ пользователей тормозит пару минут зато сразу вычисляю вирусню.Может у вас такая же ситуация.
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 14:24 , 23-Апр-09 (11)
>>У меня вечерами в NAT порядка 150 тысяч трансляций.
>
>Что вы хотите получить от этой железки с таким количеством трансляций? Я
>ограничиваю количество трансляций в 40000 ,НАТ пользователей у меня не так
>много. Но раз в месяц кто то регулярно хватает вирусню которая
>сжирает эти 40к за пару сек.Инет для НАТ пользователей тормозит пару
>минут зато сразу вычисляю вирусню.Может у вас такая же ситуация.
А как вы вычисляете таких пользователей ? Средствами IOS или програмку написали ?
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, seducer, 14:43 , 23-Апр-09 (12)
>А как вы вычисляете таких пользователей ? Средствами IOS или програмку написали
>?
И смех и грех но смотрю глазами %-) .Без проблем отличаю дос от торретов,обычно это имеет вид "ipмоегоклиента(перебор порта) - ipсервера(порт сервиса 80 53 и тд)" + 5 экранов статы по sh ip nat tr, далее подозрительные трансляции deny в динамическом ACL , sh ip nat st. Знаю что бред но проблема переполнения НАТ еще не решалась больше 5 минут.
Хотя в свое время написал парсер кот делает тоже самое.Еще никак не доходят руки сделать трэп на количество НАТ трансляций.
Попробуйте в момент макс загрузки сделать clear ip nat tr * . Существенно ли упадет?
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 15:08 , 23-Апр-09 (13)
>[оверквотинг удален]
>53 и тд)" + 5 экранов статы по sh ip nat
>tr, далее подозрительные трансляции deny в динамическом ACL , sh ip
>nat st. Знаю что бред но проблема переполнения НАТ еще не
>решалась больше 5 минут.
>
>Хотя в свое время написал парсер кот делает тоже самое.Еще никак не
>доходят руки сделать трэп на количество НАТ трансляций.
>
>Попробуйте в момент макс загрузки сделать clear ip nat tr * .
>Существенно ли упадет?
Загрузка прилично падает, где-то на 30%. До очистки таблицы транcляций NAT, загрузка центрального процессора была 75%/55%, сразу после очистки таблицы NAT стала 48%/34%, примерно через 3 минуты загрузка восстанавливается до исходных значений. Визуально определил пару клиентов которые очень вероятно подцепили вирусы... думаю перенести все-таки NAT на отдельный сервер.

Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, seducer, 15:23 , 23-Апр-09 (14)
Повести на интерфейс на вход от пользователей динамический АСЛ и заблокируйте подозрительных,если кол НАТ трансляций будет падать на десятки тысяц то это дос от пользователей. Нат это конечно зло , но плодить зоопарк серверов тоже не айс.
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, alex.krav, 08:04 , 24-Апр-09 (15)
>Повести на интерфейс на вход от пользователей динамический АСЛ и заблокируйте подозрительных,если
>кол НАТ трансляций будет падать на десятки тысяц то это дос
>от пользователей. Нат это конечно зло , но плодить зоопарк серверов
>тоже не айс.
Хорошо бы ограничить макимальное число трансляций для каждого хоста:
ip nat translation max-entries all-host
Установите это значение для начала = 300 и посмотрите (sh ip nat s) сколько хостов превышают этот порог трансляций
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Murzik, 12:39 , 24-Апр-09 (16)
>>Повести на интерфейс на вход от пользователей динамический АСЛ и заблокируйте подозрительных,если
>>кол НАТ трансляций будет падать на десятки тысяц то это дос
>>от пользователей. Нат это конечно зло , но плодить зоопарк серверов
>>тоже не айс.
>
>Хорошо бы ограничить макимальное число трансляций для каждого хоста:
>ip nat translation max-entries all-host
>
>Установите это значение для начала = 300 и посмотрите (sh ip nat
>s) сколько хостов превышают этот порог трансляций
А насчет плодить зоопарк тут я полностью согласен.Т.к. сервера имеют такую не хорошую штуку как жесткие диски а по ночам хочется спать а не пересобирать рейды.
У меня этот параметр стоит в 450 и всем пользователям кроме прокси этого хватает!
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 12:50 , 24-Апр-09 (17)
>[оверквотинг удален]
>>ip nat translation max-entries all-host
>>
>>Установите это значение для начала = 300 и посмотрите (sh ip nat
>>s) сколько хостов превышают этот порог трансляций
>
>А насчет плодить зоопарк тут я полностью согласен.Т.к. сервера имеют такую не
>хорошую штуку как жесткие диски а по ночам хочется спать а
>не пересобирать рейды.
>У меня этот параметр стоит в 450 и всем пользователям кроме прокси
>этого хватает!
Murzik, а какое время жизни трансляции NAT у вас приэтом установлено ?
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, fenix2, 13:33 , 24-Апр-09 (18)
Чтобы с натом было меньше проблем, 7206 должны быть статические трансляции на прокси сервера. Тогда роутер не держит 100к динамических трансляций, а 1 статическую, не тратя ресурны на обработку этих 100к с ихними таймаутами и поиском.
Ставте прокси!
Ответить | Сообщить модератору

Большая загрузка процессора Cisco 7206, Luxor, 14:24 , 24-Апр-09 (19)
>Чтобы с натом было меньше проблем, 7206 должны быть статические трансляции на
>прокси сервера. Тогда роутер не держит 100к динамических трансляций, а 1
>статическую, не тратя ресурны на обработку этих 100к с ихними таймаутами
>и поиском.
>
>Ставте прокси!
Мне не совсем понятно как прокси-сервер который по сути является кэшэм для Web-страниц может помочь в перегрузками NAT, для меня пока что данное предлоежние выглядит как абсурд. fenix2, опишиет пожалуйста подробнее схему узла раздачи Интернета которую вы предлагаете.
Ответить | Сообщить модератору