forum.opennet.ru - "nginx (проблема с логами)" (9)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"nginx (проблема с логами)"

Форумы WEB технологии (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"nginx (проблема с логами)"
Сообщение от Shvapsss (ok) on 11-Мрт-09, 14:15
Добрый день гуру и не гуру :) Помогите плиз разобраться! Есть некий сайт крутящийся на nginx. К нему идут запросы которые конечно попадают в лог. Но есть 2 проблемы.! Во первых в лог попадает не только запрс к странице но и запрос к КАРТИНКАМ что в свою очередь влечет ошибку статистики AWSTATS. Можно ли прибить эту не нужную функцию? И как? Я пока толком не гуглил решил делать все одновременно. :) пример лога (домен заменен на ХХХ) 2.36.22.169 GET /imgs/link_spb.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 304 0 "http://hotels.ХХХ.ru/map/3779/" "Mozilla/4 .0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 5.3 (build 02564); MRSPUTNIK 2, 0, 1, 54 SW; .NET CLR 1.1.4322; .NET CLR 2.0.50 727)" "-" 85.172.36.50 GET /imgs/top_htl_2.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 200 300 "http://news.ХХХ.ru/cyprus/8251/other.h tml" "Opera/9.63 (Windows NT 5.1; U; MRA 5.3 (build 02550); ru) Presto/2.1.1" "-" 85.172.36.50 GET /imgs/bg_top.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 200 871 "http://news.ХХХ.ru/cyprus/8251/other.html " "Opera/9.63 (Windows NT 5.1; U; MRA 5.3 (build 02550); ru) Presto/2.1.1" "-" 92.36.22.169 GET /imgs/link_msk.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 304 0 "http://hotels.ХХХ.ru/map/3779/" "Mozilla/ 4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 5.3 (build 02564); MRSPUTNIK 2, 0, 1, 54 SW; .NET CLR 1.1.4322; .NET CLR 2.0.5 0727)" "-" Вторая проблема заключается в недосчете запросов. :) nginx заводит одну сессию для каждого пользователя с одного IP и совершенно не считает дальнейшее его пребывание на сайте. Спасибо за помощь!!!!!!!
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

nginx (проблема с логами), Shvapsss, 17:18 , 11-Мрт-09, (1)
nginx (проблема с логами), adews, 09:13 , 12-Мрт-09, (2)

nginx (проблема с логами), Shvapsss, 10:40 , 12-Мрт-09, (3)

nginx (проблема с логами), Shvapsss, 10:42 , 12-Мрт-09, (4)
nginx (проблема с логами), adews, 11:00 , 12-Мрт-09, (5)

nginx (проблема с логами), Shvapsss, 14:12 , 12-Мрт-09, (6)

nginx (проблема с логами), angra, 19:29 , 12-Мрт-09, (7)

nginx (проблема с логами), Shvapsss, 11:15 , 13-Мрт-09, (8)

nginx (проблема с логами), angra, 18:52 , 13-Мрт-09, (9)

Сообщения по теме [Сортировка по времени | RSS]

1. "nginx (проблема с логами)"

Сообщение от Shvapsss (ok) on 11-Мрт-09, 17:18

Что то типа такого. Не писать в лог бы помогло.!!! Но он не только не пишет, но и не отображает тогда.
location ~* ^.+.(jpg|jpeg|gif|css|png|js|ico)$ {
        access_log        off;
        expires           3d;
        }
помогите.плз.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "nginx (проблема с логами)"

Сообщение от adews (ok) on 12-Мрт-09, 09:13

По-вашему, фиксировать запрос к картинкам это неправильно?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "nginx (проблема с логами)"

Сообщение от Shvapsss (ok) on 12-Мрт-09, 10:40

По моему это мне не нужно. :)
Просто смотри.
Человек зашел на страницу, на главную. А в статистику попало будто он открыл 20 страниц.
потому что в лог пишется каждая картинка. Это пофигу если сайт не большой итп. А с посещаемостью в 50 тыс человек в день это катастрофически не верная статистика.
И такая же фигня с сессиями.:) Вот в чем вся проблема.
Я где то читал что есть у nginx где то модуль способный в этом помочь. Но у Сысоева на страницах я ничего не нашел.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "nginx (проблема с логами)"

Сообщение от Shvapsss (ok) on 12-Мрт-09, 10:42

Мне просто нужно что бы хотя бы картинки не попадали в ЛОГ.
Не фиксировать их в логах.
Это возможно сделать?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "nginx (проблема с логами)"

Сообщение от adews (ok) on 12-Мрт-09, 11:00

>По моему это мне не нужно. :)
>Просто смотри.
>Человек зашел на страницу, на главную. А в статистику попало будто он
>открыл 20 страниц.
Давайте начнём с того, что access-log и статистика это принципиально разные вещи. Access лог нужен для того, чтобы видеть, какие файлы реально запрашивались с вашего сервера, и в том смысле в вашем логе всё правильно.
А вот что касается статистики,- то, что недоделанный awstat считает 20 картинок 20 заходами,- это проблема его настройки, или Ваша проблема, как интерпретатора данных.
Если Вам критично считать статистику именно по файлам access-log,- ищите более адекватный пакет или пишите свои скрипты.
Но есть и другие варианты,-Вы не рассматривали вопрос установки внешней статистики, например google analytics?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "nginx (проблема с логами)"

Сообщение от Shvapsss (ok) on 12-Мрт-09, 14:12

Внешняя уже стоит и даже работает, поэтому такое расхождение данных и стало заметным. :)
Создается впечатление что идет перенакрутка :)Становиться сложно объяснить рекламным клиентам в чем дело :)
Делать другую статистику в чем то удобно, но у нас настроено что не только awstats статистику собирает, но как вы и заиметили собственные скрипты, для отображения на сайте.
Вот скрипты так же собирают и данные о картинках...
Вообщем ситуация сложная, поэтому я и задаю в более понятной форме.
Можно ли отключить средствами nginx логирование картинок.
Я вернее уверен что можно, только не знаю как, а документации кот наплакал.
Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера. Обработка такого лога займет не мало времени. (я думаю что не мало, не уверен сколько):)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "nginx (проблема с логами)"

Сообщение от angra (ok) on 12-Мрт-09, 19:29

>Я вернее уверен что можно, только не знаю как, а документации кот
>наплакал.
Никогда не делал подобное, но быстрый взгляд в доку показывает, что параметры логов можно указать по location, как следствие ничего не мешает указать отдельный лог для location ~* \.(gif|jpg|jpeg)$ или location ^~ /images/.  А можно наоборот в отдельный лог только скрипты.
Кстати примеры location тоже из доки, так что жалоба на недостаточность доков необоснованна :)
>Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к
>кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера.
>Обработка такого лога займет не мало времени. (я думаю что не
>мало, не уверен сколько):)
Да практически нисколько. Вешаем скрипт с select на файл лога и он будет писать отдельный лог по мере поступления данных от nginx. Только про ротацию логов забывать не стоит.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "nginx (проблема с логами)"

Сообщение от Shvapsss (ok) on 13-Мрт-09, 11:15

Спасибо!
Беглый взгляд на то что ты написал вселяет надежду.
Про наличие доки... она есть но возможно лично для меня плохо читабельна. Что то пропустил что то не дочитал, на кривые руки жаловаться не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая нужные куски. видимо нужно менять стиль чтения.
Запомню твой ник может как нить пересечемся да я смогу тебе чем нить помочь.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "nginx (проблема с логами)"

Сообщение от angra (ok) on 13-Мрт-09, 18:52

>Про наличие доки... она есть но возможно лично для меня плохо читабельна.
>Что то пропустил что то не дочитал, на кривые руки жаловаться
>не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая
>нужные куски. видимо нужно менять стиль чтения.
Да нет, как раз так и нужно читать доку, ну и знания буржуинского важны. На поиск ответа ушло пару минут, при том что именно с такой задачей под nginx не сталкивался. На всякий случай линка: http://wiki.nginx.org//Main. Открываем раздел modules и смотрим синтаксис и область применения директив и модулей.
Хотя если сравнивать с докой апача, то таки дока nginx убога :(

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "nginx (проблема с логами)"
Сообщение от Shvapsss (ok) on 11-Мрт-09, 17:18
Что то типа такого. Не писать в лог бы помогло.!!! Но он не только не пишет, но и не отображает тогда. location ~* ^.+.(jpg\|jpeg\|gif\|css\|png\|js\|ico)$ { access_log off; expires 3d; } помогите.плз.
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

2. "nginx (проблема с логами)"
Сообщение от adews (ok) on 12-Мрт-09, 09:13
По-вашему, фиксировать запрос к картинкам это неправильно?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "nginx (проблема с логами)"
	Сообщение от Shvapsss (ok) on 12-Мрт-09, 10:40
	По моему это мне не нужно. :) Просто смотри. Человек зашел на страницу, на главную. А в статистику попало будто он открыл 20 страниц. потому что в лог пишется каждая картинка. Это пофигу если сайт не большой итп. А с посещаемостью в 50 тыс человек в день это катастрофически не верная статистика. И такая же фигня с сессиями.:) Вот в чем вся проблема. Я где то читал что есть у nginx где то модуль способный в этом помочь. Но у Сысоева на страницах я ничего не нашел.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "nginx (проблема с логами)"
	Сообщение от Shvapsss (ok) on 12-Мрт-09, 10:42
	Мне просто нужно что бы хотя бы картинки не попадали в ЛОГ. Не фиксировать их в логах. Это возможно сделать?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "nginx (проблема с логами)"
	Сообщение от adews (ok) on 12-Мрт-09, 11:00
	>По моему это мне не нужно. :) >Просто смотри. >Человек зашел на страницу, на главную. А в статистику попало будто он >открыл 20 страниц. Давайте начнём с того, что access-log и статистика это принципиально разные вещи. Access лог нужен для того, чтобы видеть, какие файлы реально запрашивались с вашего сервера, и в том смысле в вашем логе всё правильно. А вот что касается статистики,- то, что недоделанный awstat считает 20 картинок 20 заходами,- это проблема его настройки, или Ваша проблема, как интерпретатора данных. Если Вам критично считать статистику именно по файлам access-log,- ищите более адекватный пакет или пишите свои скрипты. Но есть и другие варианты,-Вы не рассматривали вопрос установки внешней статистики, например google analytics?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "nginx (проблема с логами)"
	Сообщение от Shvapsss (ok) on 12-Мрт-09, 14:12
	Внешняя уже стоит и даже работает, поэтому такое расхождение данных и стало заметным. :) Создается впечатление что идет перенакрутка :)Становиться сложно объяснить рекламным клиентам в чем дело :) Делать другую статистику в чем то удобно, но у нас настроено что не только awstats статистику собирает, но как вы и заиметили собственные скрипты, для отображения на сайте. Вот скрипты так же собирают и данные о картинках... Вообщем ситуация сложная, поэтому я и задаю в более понятной форме. Можно ли отключить средствами nginx логирование картинок. Я вернее уверен что можно, только не знаю как, а документации кот наплакал. Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера. Обработка такого лога займет не мало времени. (я думаю что не мало, не уверен сколько):)
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "nginx (проблема с логами)"
	Сообщение от angra (ok) on 12-Мрт-09, 19:29
	>Я вернее уверен что можно, только не знаю как, а документации кот >наплакал. Никогда не делал подобное, но быстрый взгляд в доку показывает, что параметры логов можно указать по location, как следствие ничего не мешает указать отдельный лог для location ~* \.(gif\|jpg\|jpeg)$ или location ^~ /images/. А можно наоборот в отдельный лог только скрипты. Кстати примеры location тоже из доки, так что жалоба на недостаточность доков необоснованна :) >Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к >кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера. >Обработка такого лога займет не мало времени. (я думаю что не >мало, не уверен сколько):) Да практически нисколько. Вешаем скрипт с select на файл лога и он будет писать отдельный лог по мере поступления данных от nginx. Только про ротацию логов забывать не стоит.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "nginx (проблема с логами)"
	Сообщение от Shvapsss (ok) on 13-Мрт-09, 11:15
	Спасибо! Беглый взгляд на то что ты написал вселяет надежду. Про наличие доки... она есть но возможно лично для меня плохо читабельна. Что то пропустил что то не дочитал, на кривые руки жаловаться не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая нужные куски. видимо нужно менять стиль чтения. Запомню твой ник может как нить пересечемся да я смогу тебе чем нить помочь.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "nginx (проблема с логами)"
	Сообщение от angra (ok) on 13-Мрт-09, 18:52
	>Про наличие доки... она есть но возможно лично для меня плохо читабельна. >Что то пропустил что то не дочитал, на кривые руки жаловаться >не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая >нужные куски. видимо нужно менять стиль чтения. Да нет, как раз так и нужно читать доку, ну и знания буржуинского важны. На поиск ответа ушло пару минут, при том что именно с такой задачей под nginx не сталкивался. На всякий случай линка: http://wiki.nginx.org//Main. Открываем раздел modules и смотрим синтаксис и область применения директив и модулей. Хотя если сравнивать с докой апача, то таки дока nginx убога :(
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

Архив \| Удалить	Индекс форумов \| Темы \| Пред. тема \| След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 \| 2 \| 3 \| 4 \| 5 ] [Рекомендовать для помещения в FAQ]