The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Лаги сетевой карты в jail , !*! Alexvn2008, 27-Июл-16, 21:14  [смотреть все]
Уважаемые гуру, помогите разобраться в чем причина.
Система FreeBSD 10.3-Stable в локальной сети маленького предприятия. Запросами не перегружена, CPU практически бездействует - 1-10 процентов загрузки. В системе собрано две jail-машины также с локальными IP. IP основной машины и первой jail пингуются без потерь, а пинг второй jail - около 30 процентов потерь. Как следствие - долгие ответы nginx, тормозит sshd и работа всех сетевых сервисов. В чем может быть причина?
  • Лаги сетевой карты в jail , !*! Pahanivo, 01:08 , 28-Июл-16 (1)
    очень информативно
    но лучше хотя бы ifconfig
  • Лаги сетевой карты в jail , !*! ыы, 16:08 , 28-Июл-16 (3)
    > Уважаемые гуру, помогите разобраться в чем причина.
    > Система FreeBSD 10.3-Stable в локальной сети маленького предприятия. Запросами не перегружена,
    > CPU практически бездействует - 1-10 процентов загрузки. В системе собрано две
    > jail-машины также с локальными IP. IP основной машины и первой jail
    > пингуются без потерь, а пинг второй jail - около 30 процентов
    > потерь. Как следствие - долгие ответы nginx, тормозит sshd и работа
    > всех сетевых сервисов. В чем может быть причина?

    В чем угодно. От настройки файрвола, до банально кривой конфигурации сети или самих джайлов.

    При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов всегда один и тот же? пинг между джайлами тоже с потерями?

    • Лаги сетевой карты в jail , !*! Alexvn2008, 17:35 , 28-Июл-16 (5)
      > При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов
      > всегда один и тот же? пинг между джайлами тоже с потерями?

      Вывод ifconfig основной машины
      re0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 150
      0                                                                              
              options=82099<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKS
      TATE>                                                                          
              ether 08:60:6e:d9:73:27                                                
              inet 172.16.34.41 netmask 0xffff0000 broadcast 172.16.255.255          
              nd6 options=9<PERFORMNUD,IFDISABLED>                                    
              media: Ethernet autoselect (100baseTX <full-duplex>)                    
              status: active                                                          
      re1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
              options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGI
      C,LINKSTATE>                                                                    
              ether 00:1e:58:31:33:1f                                                
              nd6 options=9<PERFORMNUD,IFDISABLED>                                    
              media: Ethernet autoselect (none)                                      
              status: no carrier                                                      
      lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384              
              options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>                  
              inet6 ::1 prefixlen 128                                                
              inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3                              
              inet 127.0.0.1 netmask 0xff000000                                      
              nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>                              
      bridge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
              ether 02:b1:f2:b6:5f:00                                                
              nd6 options=1<PERFORMNUD>                                              
              id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
              maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
              root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
              member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                      ifmaxaddr 0 port 5 priority 128 path cost 2000                  
              member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                      ifmaxaddr 0 port 7 priority 128 path cost 2000                  
              member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                      ifmaxaddr 0 port 1 priority 128 path cost 200000                
      epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
      1500                                                                          
              options=8<VLAN_MTU>                                                    
              ether 02:ff:a0:00:07:0a                                                
              nd6 options=1<PERFORMNUD>                                              
              media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
              status: active                                                          
      epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
      1500                                                                          
              options=8<VLAN_MTU>                                                    
              ether 02:ff:a0:00:05:0a                                                
              nd6 options=1<PERFORMNUD>
              ether 02:b1:f2:b6:5f:00                                                
              nd6 options=1<PERFORMNUD>                                              
              id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
              maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
              root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
              member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                      ifmaxaddr 0 port 5 priority 128 path cost 2000                  
              member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                      ifmaxaddr 0 port 7 priority 128 path cost 2000                  
              member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                      ifmaxaddr 0 port 1 priority 128 path cost 200000                
      epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
      1500                                                                          
              options=8<VLAN_MTU>                                                    
              ether 02:ff:a0:00:07:0a                                                
              nd6 options=1<PERFORMNUD>                                              
              media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
              status: active                                                          
      epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
      1500                                                                          
              options=8<VLAN_MTU>                                                    
              ether 02:ff:a0:00:05:0a                                                
              nd6 options=1<PERFORMNUD>

      Пинг первой jail с основной машины
      PING 172.16.34.201 (172.16.34.201): 56 data bytes                              
      64 bytes from 172.16.34.201: icmp_seq=0 ttl=64 time=0.062 ms                    
      64 bytes from 172.16.34.201: icmp_seq=1 ttl=64 time=0.044 ms                    
      64 bytes from 172.16.34.201: icmp_seq=2 ttl=64 time=0.049 ms                    
      64 bytes from 172.16.34.201: icmp_seq=3 ttl=64 time=0.043 ms                    
      64 bytes from 172.16.34.201: icmp_seq=4 ttl=64 time=0.045 ms                    
      64 bytes from 172.16.34.201: icmp_seq=5 ttl=64 time=0.040 ms                    
      64 bytes from 172.16.34.201: icmp_seq=6 ttl=64 time=0.049 ms                    
      64 bytes from 172.16.34.201: icmp_seq=7 ttl=64 time=0.044 ms                    
      64 bytes from 172.16.34.201: icmp_seq=8 ttl=64 time=0.047 ms                    
      64 bytes from 172.16.34.201: icmp_seq=9 ttl=64 time=0.055 ms                    
      64 bytes from 172.16.34.201: icmp_seq=10 ttl=64 time=0.054 ms                  
      64 bytes from 172.16.34.201: icmp_seq=11 ttl=64 time=0.056 ms                  
      64 bytes from 172.16.34.201: icmp_seq=12 ttl=64 time=0.041 ms                  
      64 bytes from 172.16.34.201: icmp_seq=13 ttl=64 time=0.056 ms                  
      64 bytes from 172.16.34.201: icmp_seq=14 ttl=64 time=0.054 ms                  
                                                                                      
      --- 172.16.34.201 ping statistics ---                                          
      15 packets transmitted, 15 packets received, 0.0% packet loss                  
      round-trip min/avg/max/stddev = 0.040/0.049/0.062/0.006 ms

      Пинг второй jail с основной машины
      PING 172.16.34.202 (172.16.34.202): 56 data bytes                              
                                                                                      
      --- 172.16.34.202 ping statistics ---                                          
      15 packets transmitted, 0 packets received, 100.0% packet loss

      Пинг второго jail с рабочей станции в сети
      Обмен пакетами с 172.16.34.202 по с 32 байтами данных:
      Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=2мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Превышен интервал ожидания для запроса.
      Ответ от 172.16.34.202: число байт=32 время=4мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=2мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=11мс TTL=64
      Ответ от 172.16.34.202: число байт=32 время=1мс TTL=64

      Статистика Ping для 172.16.34.202:
          Пакетов: отправлено = 15, получено = 8, потеряно = 7
          (46% потерь)
      Приблизительное время приема-передачи в мс:
          Минимальное = 1мсек, Максимальное = 11 мсек, Среднее = 2 мсек

      Ну, а пинги основной машины и первой jail - без потерь

      Файервол на серве выключен, на маршрутизаторе - включен только на wan порте.

      • Лаги сетевой карты в jail , !*! lavr, 00:34 , 29-Июл-16 (6)
        >> При пинге с самого сервера тоже потери пакетов? файрвол включен? путь пакетов
        >> всегда один и тот же? пинг между джайлами тоже с потерями?

        Вы сами создавали jail'ы?

        У Вас jail'ы используют vimage?

      • Лаги сетевой карты в jail , !*! ыы, 09:14 , 29-Июл-16 (7)
        >[оверквотинг удален]
        >         ether 02:ff:a0:00:07:0a
        >         nd6 options=1<PERFORMNUD>
        >         media: Ethernet 10Gbase-T (10Gbase-T
        > <full-duplex>)
        >         status: active
        > epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
        >  1500
        >         options=8<VLAN_MTU>
        >         ether 02:ff:a0:00:05:0a
        >         nd6 options=1<PERFORMNUD>

        Как вам удалось этого добиться? вы ошиблись при копировании вывода ifconfig?

        • Лаги сетевой карты в jail , !*! ыы, 09:17 , 29-Июл-16 (8)
          Оверквотинг все сьел...
          Почему у вас в ifconfig интерфейсы перечислены по 2 раза с разными параметрами,
          и откуда у вас в описании epair-а взялось вот это:
                  member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                          ifmaxaddr 0 port 5 priority 128 path cost 2000                  
                  member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                          ifmaxaddr 0 port 7 priority 128 path cost 2000                  
                  member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                          ifmaxaddr 0 port 1 priority 128 path cost 200000                

          Вы забриджевали epair сам на себя?

          • Лаги сетевой карты в jail , !*! Alexvn2008, 12:54 , 29-Июл-16 (10)
            > Вы забриджевали epair сам на себя?

            Пардон за мое не знание, а как должно быть? Что исправить? видимо сборка окружения через вэбку - не лучший вариант.

            • Лаги сетевой карты в jail , !*! lavr, 15:46 , 29-Июл-16 (12)
              >> Вы забриджевали epair сам на себя?
              > Пардон за мое не знание, а как должно быть? Что исправить? видимо
              > сборка окружения через вэбку - не лучший вариант.

              дело не в "вебке", а в понимании.

              Откуда нам знать:
              - почему FreeBSD 10.3-Stable ?
              - какое ядро: GENERIC или Custom ?
              - чем Вы пользовались для создания Jail ?
              - какие Jail'ы Вы создавали:
              a) традиционные
              b) с собственным сетевым стеком - vimage
              - для чего Вы создавали Jail машины и что у Вас в них крутится

              исходя из этого, можно попробовать посмотреть конфигурацию и настройки

              традиционный jail:
              - jail без vimage не имеет собственного сетевого стека, отдаются ip-alias'ы в jail

              jail с сетевым стеком(vimage):
              - для vimage - необходимо собрать собственное ядро с vimage
              - epairX[a,b] - используется как виртуальный Ethernet, например для присоединения
              jail машины к бриджу: epair - ethernet с двумя концами, один присоединяем
              к jail, второй конец втыкаем в бридж:

              HOST-[ bridge: re0 + epair0a ]<--- epair0 ---> [epair0b]-jailvm1

              типа: HOST--- re0 --> воткнули в мост -->[bridge] воткнули в мост<--- epair0a --- ethernet ---- epair0b ---->воткнули в виртуальную_машину_jail

              один конец epairX при запуске jailс vnet - должен добавляться в bridge с re0,
              другой _присоединяется_ к jail машине. Посему, если в host'е выдать:
              # ifconfig -a
              болтающихся epair не должно быть

              есть хорошие порты для управления: cbsd, iocage, jadm, qjail... - правда некоторые
              только zfs-based.

              • Лаги сетевой карты в jail , !*! Alexvn2008, 17:00 , 29-Июл-16 (13)
                Сервер freenas с zfs на трех дисках с raidz, для доступа к файлам из локальной сети через samba и ftp. Jail1 с transmission, создавался путем добавления плагина к freenas - автоматически создается jail и прописываются все настройки. Jail2 - для owncloud: создал jail через вкладку jails в вебе freenas, а установку и настройку owncloud делал по статье в хабре "облака - белогривые лошадки". Все работает, но owncloud жутко тормозит. Погуглил, увидел проблему с пингами сетевухи jail2.


              • Лаги сетевой карты в jail , !*! Alexvn2008, 17:32 , 29-Июл-16 (14)
                # uname -a
                FreeBSD freenas.local 10.3-STABLE FreeBSD 10.3-STABLE #0 455d13d(9.10-STABLE): S
                un Jun 26 22:47:03 PDT 2016     root@build.ixsystems.com:/tank/home/nightlies/bu
                ild-freenas9/_BE/objs/tank/home/nightlies/build-freenas9/_BE/trueos/sys/FreeNAS.
                amd64  amd64

                vimage галочкой отмечен jail

                # ifconfig -a

                re0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 150
                0                                                                              
                        options=82099<RXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,LINKS
                TATE>                                                                          
                        ether 08:60:6e:d9:73:27                                                
                        inet 172.16.34.41 netmask 0xffff0000 broadcast 172.16.255.255          
                        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
                        media: Ethernet autoselect (100baseTX <full-duplex>)                    
                        status: active                                                          
                re1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
                        options=8209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGI
                C,LINKSTATE>                                                                    
                        ether 00:1e:58:31:33:1f                                                
                        nd6 options=9<PERFORMNUD,IFDISABLED>                                    
                        media: Ethernet autoselect (none)                                      
                        status: no carrier                                                      
                lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384              
                        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>                  
                        inet6 ::1 prefixlen 128                                                
                        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3                              
                        inet 127.0.0.1 netmask 0xff000000                                      
                        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>                              
                bridge0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
                        ether 02:b1:f2:b6:5f:00                                                
                        nd6 options=1<PERFORMNUD>                                              
                        id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15            
                        maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200                
                        root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0                
                        member: epair0a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                                ifmaxaddr 0 port 5 priority 128 path cost 2000                  
                        member: epair2a flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>          
                                ifmaxaddr 0 port 7 priority 128 path cost 2000                  
                        member: re0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>              
                                ifmaxaddr 0 port 1 priority 128 path cost 200000                
                epair2a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
                1500                                                                          
                        options=8<VLAN_MTU>                                                    
                        ether 02:ff:a0:00:07:0a                                                
                        nd6 options=1<PERFORMNUD>                                              
                        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
                        status: active                                                          
                epair0a: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu
                1500                                                                          
                        options=8<VLAN_MTU>                                                    
                        ether 02:ff:a0:00:05:0a                                                
                        nd6 options=1<PERFORMNUD>
                        media: Ethernet 10Gbase-T (10Gbase-T <full-duplex>)                    
                        status: active

              • Лаги сетевой карты в jail , !*! Alexvn2008, 17:36 , 29-Июл-16 (15)
                # uname -i
                FREENAS64                                                                      
                • Лаги сетевой карты в jail , !*! lavr, 23:51 , 29-Июл-16 (16)
                  > # uname -i
                  > FREENAS64

                  к сожалению, с NAS'ами не помогу, не пользуюсь ими.

                  Советую спросить на FreeNAS'овских форумах.

                  прим. У Вас одна активная сетевая карта "re0", и торрентом можно очень лихо
                  нагрузить ее, так что возможны таймауты в jail'ах с виртуальными ethernet'ами.

                  прим. перегруз сетевого стека != ошибки сетевой карты.

                  посмотреть наличие ошибок, набрать в консоли хост машины:

                  # netstat -I re0 -w 3

                  увидите и ошибки и коллизии, если их нет, но присутствуют "тормоза",
                  либо ограничивайте торрент-качалки, либо тюнингуйте сетевой стек.
                  Ну и логи смотрите

    • Лаги сетевой карты в jail , !*! Alexvn2008, 22:01 , 02-Авг-16 (18)
      Разобрался в чем была причина, все оч банально: freenas при создании нового jail присваивает mac по умолчанию всем одинаковый. Обе виртуалки работали с одинаковым маком, поэтому конфликтовали. Всем спасибо за правильные подсказки, куда копать. Тему можно закрывать.


      • Лаги сетевой карты в jail , !*! lavr, 12:19 , 03-Авг-16 (19)
        > Разобрался в чем была причина, все оч банально: freenas при создании нового
        > jail присваивает mac по умолчанию всем одинаковый. Обе виртуалки работали с
        > одинаковым маком, поэтому конфликтовали. Всем спасибо за правильные подсказки, куда копать.
        > Тему можно закрывать.

        очень странно, подразумеваю что дело не в freenas, вряд ли они прокололись бы
        в генерации mac, скорей всего plugin создания jails.

        И да, ping должен был бы показать наличие dup?





Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру