форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[ Отслеживать ]

"продвинутый syslog"

Сообщение от pablo (ok) on 02-Окт-08, 11:29

Приветствую Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За день набегает около восьми гиг лога для каждой железяки. Всё замечательно до тех пор пока не приходится искать там какую-то инфу. Занимает это достаточно много времени и раздражает ужасно. Снизить объем - нереально, он будет только расти. Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может быть что-то кладущее их в базу и предоставляющее простой интерфейс для поиска? Понимаю, что можно и самому написать, но не хочется изобратать велосипеды.

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "продвинутый syslog"

Сообщение от yurmax on 02-Окт-08, 13:59

>[оверквотинг удален] >Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За >день набегает около восьми гиг лога для каждой железяки. Всё замечательно >до тех пор пока не приходится искать там какую-то инфу. Занимает >это достаточно много времени и раздражает ужасно. Снизить объем - нереально, >он будет только расти. > >Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может >быть что-то кладущее их в базу и предоставляющее простой интерфейс для >поиска? Понимаю, что можно и самому написать, но не хочется изобратать >велосипеды. как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с веб-морды. ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 14:24
	>>[оверквотинг удален] >>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может >>быть что-то кладущее их в базу и предоставляющее простой интерфейс для >>поиска? Понимаю, что можно и самому написать, но не хочется изобратать >>велосипеды. > >как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с >веб-морды. >ЗЫ. только не знаю как мускуль отнесется к такому количеству логов...... Думаю mysql станет не очень хорошо, я привел размер лога для одного из девайсов, но всего устройств более полусотни и хранить логи желательно не менее месяца. Есть ли готовые решения на этой основе или необходимо писать самому?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "продвинутый syslog"
	Сообщение от ingoa (??) on 02-Окт-08, 15:22
	>Думаю mysql станет не очень хорошо, я привел размер лога для одного >из девайсов, но всего устройств более полусотни и хранить логи желательно >не менее месяца. > >Есть ли готовые решения на этой основе или необходимо писать самому? 50device*8Gb*30=12Tb Большие расходы на обработку и хранение такой базы
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "продвинутый syslog"

Сообщение от zsh (ok) on 02-Окт-08, 14:02

как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать их в другой логфайл.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 14:29
	>как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав >данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать >их в другой логфайл. В данный момент стоит именно syslog-ng. К сожалению уменьшить (отфильтровать) невозможно, как и раскинуть по разным лог-файлам. Объясню: каждый лог-файл это лог за день от одного устройства и уже содержит однотипные события. В первую очередь интересует готовое решение для индексации и поиска.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "продвинутый syslog"

Сообщение от gpl77 (??) on 02-Окт-08, 17:45

> >Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может >быть что-то кладущее их в базу и предоставляющее простой интерфейс для >поиска? Понимаю, что можно и самому написать, но не хочется изобратать >велосипеды. все про syslog-и http://www.loganalysis.org/

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 17:56
	> >все про syslog-и >http://www.loganalysis.org/ Отличный ресурс! Почитаем, спасибо.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "продвинутый syslog"

Сообщение от Pahanivo (ok) on 02-Окт-08, 17:51

> 50device*8Gb*30=12Tb > Большие расходы на обработку и хранение такой базы. Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика логирования? Тем более пишете что события однотипные? Мона пример посмотреть логов?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 18:01
	>> 50device*8Gb*30=12Tb >> Большие расходы на обработку и хранение такой базы. > >Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика >логирования? Ну не всё так страшно на самом деле. :) Во-первых всё это дело архивируется, а во-вторых нагруженых устройств (лог от которых достигает восьми гб.) не так так уж и много, но поскольку они одни из самых загруженых, инженерам достаточно часто приходится что-то там искать, а это раздражает и занимает уйму времени. >Тем более пишете что события однотипные? > >Мона пример посмотреть логов? Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" всегда можно посмотреть что происходило на самом деле.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "продвинутый syslog"
	Сообщение от idle (ok) on 02-Окт-08, 19:00
	>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass >очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" >всегда можно посмотреть что происходило на самом деле. Жесть какая... Фаерволы не предназначены для логгирования трафика. Замените на нетфлоу, будет одна запись не на пакет, а на сессию. Размер будет в 1000 раз меньше.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "продвинутый syslog"
	Сообщение от Pahanivo (ok) on 02-Окт-08, 19:25
	> >>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass >>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" >>всегда можно посмотреть что происходило на самом деле. > >Жесть какая... >Фаерволы не предназначены для логгирования трафика. >Замените на нетфлоу, будет одна запись не на пакет, а на сессию. >Размер будет в 1000 раз меньше. Полностью согласен. Если вы таким образом собираете статистику - это бред. Во первых грузите сам фаер - ибо он должен пакеты гонять, а не гигабайты логов отдавать. Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	13. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 19:51
	>Полностью согласен. Если вы таким образом собираете статистику - это бред. >Во первых грузите сам фаер - ибо он должен пакеты гонять, а >не гигабайты логов отдавать. >Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как >товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог. > Ответил ниже в треде.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 19:51
	> >>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass >>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" >>всегда можно посмотреть что происходило на самом деле. > >Жесть какая... >Фаерволы не предназначены для логгирования трафика. >Замените на нетфлоу, будет одна запись не на пакет, а на сессию. >Размер будет в 1000 раз меньше. Извините конечно, но вы не пробовали читать то что я написал? Какой нетфлоу? При чем он здесь? Файрволл пишет лог при первой проверке на аксесс-листе, т.е. для одной сессии - одна запись. Логи используются в дальнейшем для траблшута и анализа.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	14. "продвинутый syslog"
	Сообщение от parad (??) on 02-Окт-08, 20:33
	Вернее всего вы не правильно выбираете предназначение лога или не доконца понимаете что хотите. 8Гб = 8'589'934'592 байт или 99'420 байт/сек. Если представить длину одной записи за 80байт получаем 1243записей/сек. Если представить даже самый идеальный случай, когда <50% - это разрешенный траффик, т.е. ~500коннектов/сек, и учесть, что у вас фаерволом отслеживает состояние подключения (keep-state/check-state), то фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды, в противном случае таблица состояний будет расти очень быстро. В общем, к чему это я, - где-то вы врете, либо не хотите оптимизировать записи, а просто нарываетесь на рекомандацию купить железяку на неск тысч евро под БД, поскольку более быстрого механизма поиска по структурированным данным, кроме как в БД вы не найдете, притом не каждая БД подайдет. Вот мускуль точно не справится с таким объемом данных!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	15. "продвинутый syslog"
	Сообщение от parad (??) on 02-Окт-08, 20:36
	Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	16. "продвинутый syslog"
	Сообщение от pablo (ok) on 02-Окт-08, 21:06
	>Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек! Честно говоря, даже с уточнением не понял данной выкладки. Почему при пороге 500 новых соединений в секунду "фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды"? Что-то магическое в цифре 500? Почему не 666 в таком случае? :) Возможно я неверно понял.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	17. "продвинутый syslog"
	Сообщение от Pahanivo (ok) on 03-Окт-08, 16:16
	Дайте уже посмотреть пример лога!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	18. "продвинутый syslog"
	Сообщение от LS (ok) on 10-Окт-08, 22:54
	> >>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass >>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" >>всегда можно посмотреть что происходило на самом деле. > >Жесть какая... >Фаерволы не предназначены для логгирования трафика. >Замените на нетфлоу, будет одна запись не на пакет, а на сессию. >Размер будет в 1000 раз меньше. где Вы увидели задачу логирования трафика? вопрос только о доступе к определенному сетевому ресурсу. и поэтому в тот же фаервол на каждую попытку установить соединение сделает только одну запись (при правильной настройке). а сбор данных по нетфлоу - это другой раздел задач - из разряда "кто-на-сколькоМБ-КУДА-ходил".
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	19. "продвинутый syslog"
	Сообщение от LS (ok) on 10-Окт-08, 23:05
	>> 50device*8Gb*30=12Tb >> Большие расходы на обработку и хранение такой базы. > >Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика >логирования? >Тем более пишете что события однотипные? > >Мона пример посмотреть логов? +1 поста не нашел - цитата цитаты из данной ветки: >>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass >>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" >>всегда можно посмотреть что происходило на самом деле. и ответ однозначен - логирование "парвильного" трафика - это бред начинающих админов. нигде практически кроме _серьезных_ струр, которые в этой информации нуждаются это делать не надо: - на время отладки включил - настроил - посмотрел - все хорошо - выключил. все.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "продвинутый syslog"

Сообщение от simplerulzz on 20-Окт-08, 21:19

>[оверквотинг удален] >Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За >день набегает около восьми гиг лога для каждой железяки. Всё замечательно >до тех пор пока не приходится искать там какую-то инфу. Занимает >это достаточно много времени и раздражает ужасно. Снизить объем - нереально, >он будет только расти. > >Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может >быть что-то кладущее их в базу и предоставляющее простой интерфейс для >поиска? Понимаю, что можно и самому написать, но не хочется изобратать >велосипеды. rsyslog

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]