The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"vpn server для 1000 юзверов"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 09:13 
Как такое реализовать? Что-то типа кластера с mpd. Есть такое или какое другое решение?
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

 Оглавление

Сообщения по теме [Сортировка по времени, UBB]


1. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 09:18 
>Как такое реализовать? Что-то типа кластера с mpd. Есть такое или какое
>другое решение?


Здесь важно не общее количество пользователей, а сколько юзеров будет одновременно работать.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

2. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 09:22 

>Здесь важно не общее количество пользователей, а сколько юзеров будет одновременно работать.
>

ну примерно 500-600.
сейчас несколько серверов стоит, на них под 100 юзверей, но при этом загрузка под 100%, в это же время другие простаивают. Вот и хочется как-то разгрузить и масштабировать это дело.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

3. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 09:29 
>сейчас несколько серверов стоит, на них под 100 юзверей, но при этом
>загрузка под 100%, в это же время другие простаивают. Вот и
>хочется как-то разгрузить и масштабировать это дело.

Это не много, нормальный сервак от 100 одновременных коннектов не помрет, если конечно выключено шифрование, а ты проверь оно у тебя включено или нет, может не настолько уж важные данные чтоб их так прятать, а серваку сразу легче станет.
И еще важна активность пользователей, с какой целью они к вам подключаются.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

4. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 09:39 

>Это не много, нормальный сервак от 100 одновременных коннектов не помрет, если
>конечно выключено шифрование, а ты проверь оно у тебя включено или
>нет, может не настолько уж важные данные чтоб их так прятать,
>а серваку сразу легче станет.
>И еще важна активность пользователей, с какой целью они к вам подключаются.
>


Да вроде выключено, качают много только, фильмы всякие/

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

5. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 09:53 
>Да вроде выключено, качают много только, фильмы всякие/

Так вроде, или выключено, еще к сведению, в линухе если не ошибаюсь можно сделать только 256  подключений, а потом йок, нехватает пти или что-то в этом духе, так-что делайте выводы.
Может вам попробовать разгрузить этот сервак просто перенеся некоторые задачи с него на другой, например если у вас авторизация через радиус по mysql, сделайте что-бы этот сервер только принимал коннекты и заворачивал трафик, что-бы он не был по совместительству файл или еще каким-нибудь сервером, добавте сюда оптимизацию ядра под свои личные нужды, а радиус, мускул, и все остальное (как то веб фтп и пр.) перенесите на другие машины.
Еще вопрос, какое железо на серваке?

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

6. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 10:48 
>>Да вроде выключено, качают много только, фильмы всякие/
>
>Так вроде, или выключено, еще к сведению, в линухе если не ошибаюсь
>можно сделать только 256  подключений, а потом йок, нехватает пти
>или что-то в этом духе, так-что делайте выводы.
>Может вам попробовать разгрузить этот сервак просто перенеся некоторые задачи с него
>на другой, например если у вас авторизация через радиус по mysql,
>сделайте что-бы этот сервер только принимал коннекты и заворачивал трафик, что-бы
>он не был по совместительству файл или еще каким-нибудь сервером, добавте
>сюда оптимизацию ядра под свои личные нужды, а радиус, мускул, и
>все остальное (как то веб фтп и пр.) перенесите на другие
>машины.
>Еще вопрос, какое железо на серваке?
Сервер на freebsd сделаны. На нем только впн и все, других служб нет.
в конфиге set bundle no crypt-reqd encryption multilink
авторизация через файлы.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

7. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 10:57 
100 юзеров онлайн качающих фильмы?
покажите вывод
netstat -m и top
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

8. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 11:09 
а какой конфиг у железа?
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

9. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 11:15 
>100 юзеров онлайн качающих фильмы?
>покажите вывод
>netstat -m и top

сейчас не 100, и качают как-то хило, но все же:

last pid: 60072;  load averages:  0.08,  0.12,  0.09  up 156+17:17:08 15:09:04
26 processes:  1 running, 25 sleeping
CPU states:  0.0% user,  0.0% nice,  0.0% system, 78.0% interrupt, 22.0% idle
Mem: 28M Active, 136M Inact, 59M Wired, 9608K Cache, 35M Buf, 12M Free
Swap: 1024M Total, 1024M Free

  PID USERNAME PRI NICE   SIZE    RES STATE    TIME   WCPU    CPU COMMAND
48096 root      96    0  3956K  2752K select  98.5H  0.00%  0.39% mpd
  353 root      96    0  5648K  4872K select 106:32  0.00%  0.00% ospfd
  385 root      96    0  1340K   792K select  25:59  0.00%  0.00% syslogd
  344 root      96    0  1372K   892K select  17:12  0.00%  0.00% mrouted
  545 root      96    0  2268K  1804K select  12:18  0.00%  0.00% bsnmpd
  570 root      96    0  6000K  3928K select   8:03  0.00%  0.00% snmpd
  351 root      96    0  1836K  1176K select   4:53  0.00%  0.00% zebra
  537 root      96    0  6492K  4100K select   4:32  0.00%  0.00% snmptrapd
72209 root      96    0  2908K  1428K select   3:51  0.00%  0.00% ntpd
  523 root       8    0  1364K   948K nanslp   1:54  0.00%  0.00% cron
12799 root      96    0  2344K  1908K select   0:00  0.00%  0.00% dhcpd
  506 root      96    0  3384K  1984K select   0:00  0.00%  0.00% sshd
60067 root      96    0  6104K  2552K select   0:00  0.00%  0.00% sshd
60069 root      20    0  2368K  1864K pause    0:00  0.00%  0.00% csh
60072 root      96    0  2296K  1556K RUN      0:00  0.00%  0.00% top
95247 root       8    0  1668K   992K wait     0:00  0.00%  0.00% sh
  596 root       5    0  1288K   820K ttyin    0:00  0.00%  0.00% getty
  597 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  599 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  603 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  600 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  598 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  601 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  602 root       5    0  1288K   824K ttyin    0:00  0.00%  0.00% getty
  187 root      20    0  1192K   584K pause    0:00  0.00%  0.00% adjkerntz
  367 root     115    0   516K   248K select   0:00  0.00%  0.00% devd

netstat -m
493 mbufs in use
491/8960 mbuf clusters in use (current/max)
0/3/2496 sfbufs in use (current/peak/max)
1105 KBytes allocated to network
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
8 calls to protocol drain routines

netstat -w 1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     11369     0    6473111      13111     0    9175303     0
     11226     0    7246216      12960     0    9894487     0
     13153     0    7702726      14780     0   10179611     0
     12563     0    7156038      14260     0    9675008     0
     12736     0    6360298      14640     0    9690111     0
     11948     0    6897565      13667     0    9025059     0


CPU: Intel(R) Celeron(R) CPU 2.40GHz (2400.09-MHz 686-class CPU)
  Origin = "GenuineIntel"  Id = 0xf41  Stepping = 1
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,S
SE2,SS,HTT,TM,PBE>
real memory  = 266600448 (254 MB)
avail memory = 255197184 (243 MB)

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

10. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 11:23 
Ну так тут загрузка ерунда, swap вообще не используется, для начала можно добавить оперативы до 512 метров (понаблюдайте как используется swap при полной загрузке), заменить целку на пень, ну а самый дешевый способ, с которого собственно и надо было начинать, это оптимизация ядра под личные нужды.

ICQ 346-038-609

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

11. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 11:23 
Сечас смотреть вообще нечего ( единственно что у вас там делает zebra? )
как будет большая загрузка
скинь сюда вывод

netstat -m
top
vmstat 3

посмотрим что там будет

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

12. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 11:34 
совет поменять железо в очередь не есть гут
надо сначала точно знать где узкое место а потом думать что делать

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

13. "vpn server для 1000 юзверов"  
Сообщение от satelit on 16-Мрт-06, 11:38 
>совет поменять железо в очередь не есть гут
>надо сначала точно знать где узкое место а потом думать что делать
>


Согласен, просто я указал направления возможного увеличения производительности.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

14. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 11:39 
>>совет поменять железо в очередь не есть гут
>>надо сначала точно знать где узкое место а потом думать что делать
>>
>
>
>Согласен, просто я указал направления возможного увеличения производительности.

ждем тогда данных

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

15. "vpn server для 1000 юзверов"  
Сообщение от Den (??) on 16-Мрт-06, 12:06 
Машина умирает от интераптов - либо сетевуха типа realtek или переключение контекста ядро-юзерспейс (не знаю я в freebsd ядерный ppp как в линуксе или нет ?).

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

16. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 12:22 
>Машина умирает от интераптов - либо сетевуха типа realtek или переключение контекста
>ядро-юзерспейс (не знаю я в freebsd ядерный ppp как в линуксе
>или нет ?).


сетевушки fxp0, интерапты от ng*

last pid: 62209;  load averages:  0.20,  0.38,  0.28                                                up 156+18:27:32 16:19:28
22 processes:  1 running, 21 sleeping
CPU states:  0.0% user,  0.0% nice,  0.6% system, 60.6% interrupt, 38.8% idle
Mem: 27M Active, 137M Inact, 55M Wired, 9608K Cache, 35M Buf, 17M Free
Swap: 1024M Total, 1024M Free

  PID USERNAME PRI NICE   SIZE    RES STATE    TIME   WCPU    CPU COMMAND
48096 root      96    0  3956K  2752K select  98.5H  1.12%  1.12% mpd

#vmstat 3
procs      memory      page                   disk   faults      cpu
r b w     avm    fre  flt  re  pi  po  fr  sr ad0   in   sy  cs us sy id
1 0 0   52228  26940   40   0   0   0  38   0   0  175  138 285  1 35 64
0 0 0   52228  26940    1   0   0   0   1   0   0 25755  582 2519  1 58 42
1 0 0   52228  26940    0   0   0   0   0   0   0 26681  211 2491  0 68 32


netstat -m
509 mbufs in use
499/8960 mbuf clusters in use (current/max)
0/3/2496 sfbufs in use (current/peak/max)
1125 KBytes allocated to network
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
8 calls to protocol drain routines

сейчас 45 активных ng


Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

17. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 13:03 
last pid: 99988;  load averages:  0.69,  0.78,  0.69                                                up 50+20:40:03  16:59:23
26 processes:  1 running, 25 sleeping
CPU states:  0.0% user,  0.0% nice,  3.4% system, 86.2% interrupt, 10.3% idle
Mem: 25M Active, 139M Inact, 59M Wired, 15M Cache, 35M Buf, 7004K Free
Swap: 1024M Total, 1024M Free

  PID USERNAME PRI NICE   SIZE    RES STATE    TIME   WCPU    CPU COMMAND
  562 root      96    0  3956K  2800K select 927:14  1.07%  1.07% mpd

netstat -m
482 mbufs in use
476/8960 mbuf clusters in use (current/max)
0/3/2496 sfbufs in use (current/peak/max)
1072 KBytes allocated to network
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
7 calls to protocol drain routines

vmstat 3
procs      memory      page                   disk   faults      cpu
r b w     avm    fre  flt  re  pi  po  fr  sr ad0   in   sy  cs us sy id
1 0 0   60444  22520   43   0   0   0  40   0   0  365  320 559  1 37 61
0 0 0   60444  22520    3   0   0   0   1   0   0 23509  296 1687  1 88 11
2 0 0   60444  22520    1   0   0   0   0   0   0 23495  321 1643  0 88 12
0 0 0   60444  22520    0   0   0   0   0   0   0 23515  536 1746  1 89 11
1 0 0   60444  22520    1   0   0   0   2   0   3 23358  286 1715  1 88 11
0 0 0   60444  22536    1   0   0   0   2   0   3 23048  269 1626  1 89 10
2 0 0   60444  22536    1   0   0   0   0   0   0 23520  282 1769  2 84 14
0 0 0   60444  22536    1   0   0   0   0   0   0 23207  302 1650  0 92  8
0 0 0   60444  22536    1   0   0   0   0   0   0 23333  381 1736  2 87 11
58 ng

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

18. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 13:36 

1. RAM - хватает
2. сетевых буферов в избытке
3. к диску практически не обращается
я думаю товарищ DEN прав - машина валится из-за интераптов
тут много сетевых интерфейсов можно  попробовать перевести их в device polling
у тебя какая версия Фри?

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

19. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 13:43 
5.4
#sysctl -a | grep pol
kern.polling.burst: 5
kern.polling.each_burst: 5
kern.polling.burst_max: 150
kern.polling.idle_poll: 0
kern.polling.poll_in_trap: 0
kern.polling.user_frac: 30
kern.polling.reg_frac: 20
kern.polling.short_ticks: 1260
kern.polling.lost_polls: 784405006
kern.polling.pending_polls: 0
kern.polling.residual_burst: 0
kern.polling.handlers: 2
kern.polling.enable: 1
kern.polling.phase: 0
kern.polling.suspect: 1947634
kern.polling.stalled: 301
kern.polling.idlepoll_sleeping: 1
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

20. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 13:56 
sysctl kern.polling.user_frac: 10
и включай полинг на инт

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

22. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 14:11 
>sysctl kern.polling.user_frac: 10
>и включай полинг на инт
при 10 совсем загибается.
подскажи как на инт включить полинг.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

21. "vpn server для 1000 юзверов"  
Сообщение от denn email(??) on 16-Мрт-06, 14:09 
>Как такое реализовать? Что-то типа кластера с mpd. Есть такое или какое
>другое решение?

было время на мпд 3,18 вертелись чуток более чем 200 на 2х процессорном,1Г памяти с 5,3 фрей.
сервак был оттюнингован по ману+обслуживал тока мпд, траф считался на радиусе.
работал стабильно.
как только кол-во клиентов возросло, встала туда циска. думаю кластер на мпд не выход.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

23. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 14:11 
>>Как такое реализовать? Что-то типа кластера с mpd. Есть такое или какое
>>другое решение?
>
>было время на мпд 3,18 вертелись чуток более чем 200 на 2х
>процессорном,1Г памяти с 5,3 фрей.
>сервак был оттюнингован по ману+обслуживал тока мпд, траф считался на радиусе.
>работал стабильно.
>как только кол-во клиентов возросло, встала туда циска. думаю кластер на мпд
>не выход.


а циска какая и сколько держит сейчас впн?

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

24. "vpn server для 1000 юзверов"  
Сообщение от alk (??) on 16-Мрт-06, 14:18 
sysctl kern.polling.user_frac=50
kern.polling.each_burst=1

ifconfig fxp0 polling

и смотри сразу интерапты - должны будут уменьшиться


Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

26. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 16-Мрт-06, 14:34 
>sysctl kern.polling.user_frac=50
>kern.polling.each_burst=1
>
>ifconfig fxp0 polling
>
>и смотри сразу интерапты - должны будут уменьшиться

fxp0: flags=18a43<UP,BROADCAST,RUNNING,ALLMULTI,SIMPLEX,MULTICAST,POLLING> mtu 1500
        options=48<VLAN_MTU,POLLING>
fxp1: flags=18a43<UP,BROADCAST,RUNNING,ALLMULTI,SIMPLEX,MULTICAST,POLLING> mtu 1500
        options=48<VLAN_MTU,POLLING>
не уменьшились :(

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

25. "vpn server для 1000 юзверов"  
Сообщение от denn email(??) on 16-Мрт-06, 14:24 
>>>Как такое реализовать? Что-то типа кластера с mpd. Есть такое или какое
>>>другое решение?
>>
>>было время на мпд 3,18 вертелись чуток более чем 200 на 2х
>>процессорном,1Г памяти с 5,3 фрей.
>>сервак был оттюнингован по ману+обслуживал тока мпд, траф считался на радиусе.
>>работал стабильно.
>>как только кол-во клиентов возросло, встала туда циска. думаю кластер на мпд
>>не выход.
>
>
>а циска какая и сколько держит сейчас впн?


на самом деле на большое кол-во клиентов нужна распределенная сеть. в одной железке держать всех опасное решение. взависимости от топологии и вытекает решение. как и где терминировать клиентов по впн  - это один вопрос, аутентификация и биллинг - второй.
1000 пользователей это /22 сетка или 4 /24. я бы разделил на 4 точки терминации с единым биллингом, с циской в центре.
по поводу какая циска и сколько одновременных сессий выдержит, зависит от кол-во памяти и
необходимой пропускной способности.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

27. "vpn server для 1000 юзверов"  
Сообщение от tor email(??) on 21-Мрт-06, 15:47 
systat -vmstat

что вызывает эти прерывания ?
если сетевая то значит полинг невключился ...
sysctl kern.polling.user_frac=50 полинг включится при нагрузке на сеть 50%
сеть 100М ? у тебя столько трафика наверняк нет ...
И вообще какой смысл пускать локальный трафик через впн пусти его напрямую ... сделай самбу и фтп на отдельном ипе и туда роутингом из скриптов зарули ... все остальное в впн ... получится только инетовский трафик ... упадет нагрузка на билинг ...
Для включения полинга нужна поддержка в ядре ... и fxp rl xl умеют полинг но последние кажется в 6 версии ... нат есть ? natd работает user-level поэтому перейди на ipf ... в 6 есть ng_nat пробовал .... быстрый ... но как он будет работать в паре с mpd нескажу ... в 5 версии две проги netgraph на одной машине неработали ... покрайней мере mpd & bw_man так  подружить и неудалось ...

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

28. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 21-Мрт-06, 18:36 
>systat -vmstat
Interrupts
Proc:r  p  d  s  w    Csw  Trp  Sys  Int  Sof  Flt     44 cow    1129 total
     1       19      1565  212 140922183  525  194  53840 wire   1000 0: clk
                                                    26584 act     128 8: rtc
11.5%Sys  82.0%Intr  6.5%User  0.0%Nice  0.0%Idl   114724 inact       9: fxp0
|    |    |    |    |    |    |    |    |    |        192 cache       11: fxp
======+++++++++++++++++++++++++++++++++++++++++>    55308 free        13: npx
                                                          daefr     1 14: ata
Технология сети такова что нужно все пускать через впн :(
На машинах нет никаких служб, кроме зебры и мпд.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

29. "vpn server для 1000 юзверов"  
Сообщение от satelit on 22-Мрт-06, 05:22 
Ну тогда разнеси один сервак на несколько NAS'ов, каждый поставь в свой сегмент, а авторизацию на отдельный.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

30. "vpn server для 1000 юзверов"  
Сообщение от AD email(ok) on 22-Мрт-06, 06:25 
>Ну тогда разнеси один сервак на несколько NAS'ов, каждый поставь в свой
>сегмент, а авторизацию на отдельный.
Итак разнесено.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру