forum.opennet.ru - "Lightsquid

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Lightsquid - bad year."

Форумы Настройка Squid и других прокси серверов (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Lightsquid - bad year."
Сообщение от Vertigo (??) on 11-Ноя-08, 19:38
Всем здравствуйте. Проблема такая. Решил попробовать lightsquid в качестве анализатора логов. Поставил (из портов, система - freebsd), настроил, запускаю lightparser. В reports пусто. включил дебаг - парсер стал выдавать табличку статистики, из которой стало понятно, что ему не нравится год. LightSquid parser statistic report 155636 lines processed (average 51878.67 lines per second) 0 lines parsed 77809 lines recovered 8 lines notrecovered 155628 lines skiped by bad year 0 lines skiped by date filter 0 lines skiped by Denied filter 0 lines skiped by skipURL filter Не пойму куда копать - типы лога в конфиге пробовал все, всё равно он на счёт года бесится и пропускает все записи. lightparser запускаю без параметров, так что он должен читать весь access.log, а не записи по дате. Sarg работал нормально. access.log пишется syslogом с другой машины, где, собственно, squid и стоит. Помогите, если у кого мысли есть на этот счёт.
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Lightsquid - bad year., lightsquid, 20:33 , 13-Ноя-08, (1)
Lightsquid - bad year., Vertigo, 16:01 , 18-Ноя-08, (2)

Lightsquid - bad year., lightsquid, 16:40 , 18-Ноя-08, (3)
Lightsquid - bad year., Vertigo, 16:49 , 18-Ноя-08, (4)

Lightsquid - bad year., lightsquid, 18:56 , 18-Ноя-08, (5)

Lightsquid - bad year., Vertigo, 19:42 , 18-Ноя-08, (6)

Lightsquid - bad year., lightsquid, 23:05 , 18-Ноя-08, (7)

Сообщения по теме [Сортировка по времени | RSS]

1. "Lightsquid - bad year."

Сообщение от lightsquid on 13-Ноя-08, 20:33

>Всем здравствуйте.
Привет
>
>LightSquid parser statistic report
>
>          155636 lines
>processed (average 51878.67 lines per second)
>
>   0 lines parsed
ему ВООБЩЕ ВСЕ не нравится
>           77809
>lines recovered
это ОЧЕНЬ дофига
>[оверквотинг удален]
>   8 lines notrecovered
>          155628 lines
>skiped by bad year
>
>   0 lines skiped by date filter
>
>   0 lines skiped by Denied filter
>
>   0 lines skiped by skipURL filter
>Не пойму куда копать - типы лога в конфиге пробовал все, всё
проверь ФОРМАТ лога,
можно было бы сюда пример твоего привести, мы бы сразу гдянули ...
>равно он на счёт года бесится и пропускает все записи. lightparser
>запускаю без параметров, так что он должен читать весь access.log, а

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Lightsquid - bad year."

Сообщение от Vertigo (??) on 18-Ноя-08, 16:01

Во, понятно почему оно так. Строчка обычного сквидовского лога:
1225471584.286     34 192.168.0.163 TCP_MISS/200 1012 GET http://favicon.yandex.net/favicon/cableman.ru - DIRECT/87.250.251.36 image/png
Строчка лога, который пишет syslog:
Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494    376 192.168.0.7 TCP_MISS/200 1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript
То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid и не понимает формата лога. Вроде бы у сквида есть logformat, который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто, часом, не знает как это сделать?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Lightsquid - bad year."

Сообщение от lightsquid on 18-Ноя-08, 16:40

>[оверквотинг удален]
>
>Строчка лога, который пишет syslog:
>Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494    376 192.168.0.7 TCP_MISS/200
>1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript
>
>То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid
>и не понимает формата лога. Вроде бы у сквида есть logformat,
>который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы
>сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто,
>часом, не знает как это сделать?
попробуй в lightparser.pl
найти
       ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split;
и изменить ее на
       ($qq1,$qq2,$qq3,$qq4,$qq5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split;
попытаемся проскипать лишние данные ...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Lightsquid - bad year."

Сообщение от Vertigo (??) on 18-Ноя-08, 16:49

>Или поправить формат лога в lightsquid? Никто,
>часом, не знает как это сделать?
Мда. Костыль, конечно... Но пока что работает.
Поправил в lightparser.pl:
($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl<...>)=split
Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет syslog:
($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl
Если кто знает более изящное решение - подскажите.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Lightsquid - bad year."

Сообщение от lightsquid on 18-Ноя-08, 18:56

>>Или поправить формат лога в lightsquid? Никто,
>>часом, не знает как это сделать?
>
>Мда. Костыль, конечно... Но пока что работает.
>Поправил в lightparser.pl:
>($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl<...>)=split
>Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет
>syslog:
>($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl
>Если кто знает более изящное решение - подскажите.
а чем плохо решение ?????
все работает, в это прелесть перла, легко править под свои задачи ;)
p.s. вы прям мысли читаете ;) см. мой пред. пост

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Lightsquid - bad year."

Сообщение от Vertigo (??) on 18-Ноя-08, 19:42

>а чем плохо решение ?????
>
>все работает, в это прелесть перла, легко править под свои задачи ;)
Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа настройки формата лога. Вот она - сила open source ))
>p.s. вы прям мысли читаете ;) см. мой пред. пост
Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на чтение )
Всё, проблема, будем считать, решена.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Lightsquid - bad year."

Сообщение от lightsquid on 18-Ноя-08, 23:05

>>а чем плохо решение ?????
>>
>>все работает, в это прелесть перла, легко править под свои задачи ;)
>
>Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа
>настройки формата лога. Вот она - сила open source ))
ээ, ну как автор - отвественно заявляю, это вполне предусмотренный путь,
чем плодить конфиг на все случаи жизни проще подкрутить код
Вот она - сила open source ))

>
>>p.s. вы прям мысли читаете ;) см. мой пред. пост
>
>Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на
>чтение )
>Всё, проблема, будем считать, решена.
;)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Lightsquid - bad year."
Сообщение от lightsquid on 13-Ноя-08, 20:33
>Всем здравствуйте. Привет > >LightSquid parser statistic report > > 155636 lines >processed (average 51878.67 lines per second) > > 0 lines parsed ему ВООБЩЕ ВСЕ не нравится > 77809 >lines recovered это ОЧЕНЬ дофига >[оверквотинг удален] > 8 lines notrecovered > 155628 lines >skiped by bad year > > 0 lines skiped by date filter > > 0 lines skiped by Denied filter > > 0 lines skiped by skipURL filter >Не пойму куда копать - типы лога в конфиге пробовал все, всё проверь ФОРМАТ лога, можно было бы сюда пример твоего привести, мы бы сразу гдянули ... >равно он на счёт года бесится и пропускает все записи. lightparser >запускаю без параметров, так что он должен читать весь access.log, а
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Lightsquid - bad year."
Сообщение от Vertigo (??) on 18-Ноя-08, 16:01
Во, понятно почему оно так. Строчка обычного сквидовского лога: 1225471584.286 34 192.168.0.163 TCP_MISS/200 1012 GET http://favicon.yandex.net/favicon/cableman.ru - DIRECT/87.250.251.36 image/png Строчка лога, который пишет syslog: Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494 376 192.168.0.7 TCP_MISS/200 1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid и не понимает формата лога. Вроде бы у сквида есть logformat, который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто, часом, не знает как это сделать?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Lightsquid - bad year."
	Сообщение от lightsquid on 18-Ноя-08, 16:40
	>[оверквотинг удален] > >Строчка лога, который пишет syslog: >Nov 18 16:31:34 192.168.0.200 (squid): 1227015094.494 376 192.168.0.7 TCP_MISS/200 >1761 GET http://mail.google.com/mail/? - DIRECT/74.125.39.17 text/javascript > >То бишь, сислог добавляет свою информацию перед логом сквида, из-за чего lightsquid >и не понимает формата лога. Вроде бы у сквида есть logformat, >который позволяет задавать вид лога, но тут-то надо как-то сделать чтобы >сислог не добавлял отсебятины. Или поправить формат лога в lightsquid? Никто, >часом, не знает как это сделать? попробуй в lightparser.pl найти ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split; и изменить ее на ($qq1,$qq2,$qq3,$qq4,$qq5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl,$Luser,$Lhierarchy,$Lconttype,@Lrest)=split; попытаемся проскипать лишние данные ...
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Lightsquid - bad year."
	Сообщение от Vertigo (??) on 18-Ноя-08, 16:49
	>Или поправить формат лога в lightsquid? Никто, >часом, не знает как это сделать? Мда. Костыль, конечно... Но пока что работает. Поправил в lightparser.pl: ($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl<...>)=split Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет syslog: ($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl Если кто знает более изящное решение - подскажите.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "Lightsquid - bad year."
	Сообщение от lightsquid on 18-Ноя-08, 18:56
	>>Или поправить формат лога в lightsquid? Никто, >>часом, не знает как это сделать? > >Мда. Костыль, конечно... Но пока что работает. >Поправил в lightparser.pl: >($Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl<...>)=split >Добавил в начало переменных-пустышек - 5 штук, по количеству полей, которые добавляет >syslog: >($_1,$_2,$_3,$_4,$_5,$Ltimestamp,$Lelapsed,$Lhost,$Ltype,$Lsize,$Lmethod,$Lurl >Если кто знает более изящное решение - подскажите. а чем плохо решение ????? все работает, в это прелесть перла, легко править под свои задачи ;) p.s. вы прям мысли читаете ;) см. мой пред. пост
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Lightsquid - bad year."
	Сообщение от Vertigo (??) on 18-Ноя-08, 19:42
	>а чем плохо решение ????? > >все работает, в это прелесть перла, легко править под свои задачи ;) Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа настройки формата лога. Вот она - сила open source )) >p.s. вы прям мысли читаете ;) см. мой пред. пост Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на чтение ) Всё, проблема, будем считать, решена.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Lightsquid - bad year."
	Сообщение от lightsquid on 18-Ноя-08, 23:05
	>>а чем плохо решение ????? >> >>все работает, в это прелесть перла, легко править под свои задачи ;) > >Хм. Ну, в общем, да. Хотя странно, что автор не предусмотрел способа >настройки формата лога. Вот она - сила open source )) ээ, ну как автор - отвественно заявляю, это вполне предусмотренный путь, чем плодить конфиг на все случаи жизни проще подкрутить код Вот она - сила open source )) > >>p.s. вы прям мысли читаете ;) см. мой пред. пост > >Ага, сам удивился )) Спасибо за помощь и доступ к мыслям на >чтение ) >Всё, проблема, будем считать, решена. ;)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

Архив \| Удалить	Индекс форумов \| Темы \| Пред. тема \| След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 \| 2 \| 3 \| 4 \| 5 ] [Рекомендовать для помещения в FAQ]