The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Выявить максимальное потребление памяти на сервере"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Мониторинг, логи / Linux)
Изначальное сообщение [ Отслеживать ]

"Выявить максимальное потребление памяти на сервере"  –1 +/
Сообщение от Seryoga2014 (ok), 03-Авг-19, 12:38 
На сервере терабайты логов, их надо времена парсить временами, разыскивая всякое. В некоторых случаях парсер ломается, проработав часа 3. Подозреваю, что память заканчивается и поэтому он ломается. Хотелось бы как-то это понять. Как? Можно как-то выяснить сколько процентов физической RAM, своп-файла было занято в максимально на сервере? Дело в том, что подбираю конфиг для нового сервера и не понятно, надо ли больше памяти или и так её слишком много. Когда только запускаю парсер, то если смотрю с помощью htop используемую память, то её сильно меньше общего количества физической и значение не растёт, но что там будет через несколько часов работы парсера - не знаю и постоянно вручную смотреть - какой-то мутный вариант, да и CPU мне за это время может понадобиться для дела - не хотелось бы его занимать на много часов ради эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать как потребление памяти? Есть какие-то инструменты, но только чтоб не строить графики в web типа Cacti и т.д.
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Аноним (1), 03-Авг-19, 13:17 
top -b
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Аноним (2), 03-Авг-19, 17:17 
atop. Потом посмотришь его логи, только период замеров не забудь поставить нужный
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Аноним (3), 03-Авг-19, 17:54 
Munin
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от VladimirV (ok), 04-Авг-19, 07:02 
поставить систему мониторинга, какая нравится, например Zabbix


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Аноним (5), 05-Авг-19, 10:35 
> поставить систему мониторинга, какая нравится, например Zabbix

- Пацаны, тут надо с дачи ведерко помидор привезти...
- Бро, тебе Камаз нужен, иначе никак!

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Seryoga2014 (ok), 05-Авг-19, 19:43 
> - Пацаны, тут надо с дачи ведерко помидор привезти...
> - Бро, тебе Камаз нужен, иначе никак!

Да, разбираться с Заббиксом мне бы не хотелось (я его вообще не знаю) из-за такой ерундовой (на мой некомпетентный взгляд), разовой задачки. Хотелось бы чего-то максимально простого.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от ыы (?), 05-Авг-19, 10:44 
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.

Поскольку вы не пишите что за ОС на сервере -  предположу что виндовс.
Ищите  в поисковике "счетчики производительности windows"

Ну а в линухах есть такая штука как sar - если не выпендривались и ставили например centos (вы же не поставили на сервер убунту да?) по умолчанию - то он там есть и работает.
ищите в поисковике как посмотреть через него параметры системы за нужный промежуток времени

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Seryoga2014 (ok), 05-Авг-19, 19:39 
> Поскольку вы не пишите что за ОС на сервере -  предположу
> что виндовс.
> Ищите  в поисковике "счетчики производительности windows"

Вверху есть "Мониторинг, логи / Linux" - я думал этого достаточно.

> Ну а в линухах есть такая штука как sar - если не
> выпендривались и ставили например centos (вы же не поставили на сервер
> убунту да?) по умолчанию - то он там есть и работает.

У меня Debian Stretch.

> ищите в поисковике как посмотреть через него параметры системы за нужный промежуток
> времени

Спасибо, почитаю.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Аноним (10), 09-Авг-19, 12:56 
# cat /proc/meminfo
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от fantom (??), 05-Авг-19, 12:12 
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.

# IDX=1; while [[ $IDX -le 10 ]]; do ( date&&free)  >> 123 ;sleep 2 ; IDX=$(($IDX + 1 )); done

получите файлик 123 в котором с интервалом в 2 секунду отражены данные 10-ти замеров занятой/свободной памяти

варьируя интервал и количество замеров можно добиться нужной продолжительности мониторинга....

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Павел Отредиезemail (?), 16-Авг-19, 17:24 
>[оверквотинг удален]
> и не понятно, надо ли больше памяти или и так её
> слишком много. Когда только запускаю парсер, то если смотрю с помощью
> htop используемую память, то её сильно меньше общего количества физической и
> значение не растёт, но что там будет через несколько часов работы
> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
> вариант, да и CPU мне за это время может понадобиться для
> дела - не хотелось бы его занимать на много часов ради
> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
> графики в web типа Cacti и т.д.

Что за парсер? grep | less наврядли упадет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Выявить максимальное потребление памяти на сервере"  +/
Сообщение от Seryoga2014 (ok), 01-Сен-19, 21:16 
>[оверквотинг удален]
>> слишком много. Когда только запускаю парсер, то если смотрю с помощью
>> htop используемую память, то её сильно меньше общего количества физической и
>> значение не растёт, но что там будет через несколько часов работы
>> парсера - не знаю и постоянно вручную смотреть - какой-то мутный
>> вариант, да и CPU мне за это время может понадобиться для
>> дела - не хотелось бы его занимать на много часов ради
>> эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать
>> как потребление памяти? Есть какие-то инструменты, но только чтоб не строить
>> графики в web типа Cacti и т.д.
> Что за парсер? grep | less наврядли упадет.

Самописный.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру