The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
nginx (проблема с логами), !*! Shvapsss, 11-Мрт-09, 14:15  [смотреть все]
Добрый день гуру и не гуру :)
Помогите плиз разобраться!
Есть некий сайт крутящийся на nginx.
К нему идут запросы которые конечно попадают в лог.
Но есть 2 проблемы.!
Во первых в лог попадает не только запрс к странице но и запрос к КАРТИНКАМ что в свою очередь влечет ошибку статистики AWSTATS.
Можно ли прибить эту не нужную функцию? И как? Я пока толком не гуглил решил делать все одновременно. :)
пример лога (домен заменен на ХХХ)

2.36.22.169 GET /imgs/link_spb.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 304 0 "http://hotels.ХХХ.ru/map/3779/" "Mozilla/4
.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 5.3 (build 02564); MRSPUTNIK 2, 0, 1, 54 SW; .NET CLR 1.1.4322; .NET CLR 2.0.50
727)" "-"
85.172.36.50 GET /imgs/top_htl_2.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 200 300 "http://news.ХХХ.ru/cyprus/8251/other.h
tml" "Opera/9.63 (Windows NT 5.1; U; MRA 5.3 (build 02550); ru) Presto/2.1.1" "-"
85.172.36.50 GET /imgs/bg_top.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 200 871 "http://news.ХХХ.ru/cyprus/8251/other.html
" "Opera/9.63 (Windows NT 5.1; U; MRA 5.3 (build 02550); ru) Presto/2.1.1" "-"
92.36.22.169 GET /imgs/link_msk.gif HTTP/1.1 [10/Mar/2009:23:50:19 +0300] 304 0 "http://hotels.ХХХ.ru/map/3779/" "Mozilla/
4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 5.3 (build 02564); MRSPUTNIK 2, 0, 1, 54 SW; .NET CLR 1.1.4322; .NET CLR 2.0.5
0727)" "-"

Вторая проблема заключается в недосчете запросов. :) nginx заводит одну сессию для каждого пользователя с одного IP и совершенно не считает дальнейшее его пребывание на сайте.

Спасибо за помощь!!!!!!!

  • nginx (проблема с логами), !*! Shvapsss, 17:18 , 11-Мрт-09 (1)
    Что то типа такого. Не писать в лог бы помогло.!!! Но он не только не пишет, но и не отображает тогда.

    location ~* ^.+.(jpg|jpeg|gif|css|png|js|ico)$ {
            access_log        off;
            expires           3d;
            }

    помогите.плз.

  • nginx (проблема с логами), !*! adews, 09:13 , 12-Мрт-09 (2)
    По-вашему, фиксировать запрос к картинкам это неправильно?
    • nginx (проблема с логами), !*! Shvapsss, 10:40 , 12-Мрт-09 (3)
      По моему это мне не нужно. :)
      Просто смотри.
      Человек зашел на страницу, на главную. А в статистику попало будто он открыл 20 страниц.
      потому что в лог пишется каждая картинка. Это пофигу если сайт не большой итп. А с посещаемостью в 50 тыс человек в день это катастрофически не верная статистика.
      И такая же фигня с сессиями.:) Вот в чем вся проблема.

      Я где то читал что есть у nginx где то модуль способный в этом помочь. Но у Сысоева на страницах я ничего не нашел.

      • nginx (проблема с логами), !*! Shvapsss, 10:42 , 12-Мрт-09 (4)
        Мне просто нужно что бы хотя бы картинки не попадали в ЛОГ.
        Не фиксировать их в логах.
        Это возможно сделать?
      • nginx (проблема с логами), !*! adews, 11:00 , 12-Мрт-09 (5)
        >По моему это мне не нужно. :)
        >Просто смотри.
        >Человек зашел на страницу, на главную. А в статистику попало будто он
        >открыл 20 страниц.

        Давайте начнём с того, что access-log и статистика это принципиально разные вещи. Access лог нужен для того, чтобы видеть, какие файлы реально запрашивались с вашего сервера, и в том смысле в вашем логе всё правильно.

        А вот что касается статистики,- то, что недоделанный awstat считает 20 картинок 20 заходами,- это проблема его настройки, или Ваша проблема, как интерпретатора данных.

        Если Вам критично считать статистику именно по файлам access-log,- ищите более адекватный пакет или пишите свои скрипты.
        Но есть и другие варианты,-Вы не рассматривали вопрос установки внешней статистики, например google analytics?

        • nginx (проблема с логами), !*! Shvapsss, 14:12 , 12-Мрт-09 (6)
          Внешняя уже стоит и даже работает, поэтому такое расхождение данных и стало заметным. :)
          Создается впечатление что идет перенакрутка :)Становиться сложно объяснить рекламным клиентам в чем дело :)

          Делать другую статистику в чем то удобно, но у нас настроено что не только awstats статистику собирает, но как вы и заиметили собственные скрипты, для отображения на сайте.
          Вот скрипты так же собирают и данные о картинках...
          Вообщем ситуация сложная, поэтому я и задаю в более понятной форме.
          Можно ли отключить средствами nginx логирование картинок.
          Я вернее уверен что можно, только не знаю как, а документации кот наплакал.

          Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера. Обработка такого лога займет не мало времени. (я думаю что не мало, не уверен сколько):)

          • nginx (проблема с логами), !*! angra, 19:29 , 12-Мрт-09 (7)
            >Я вернее уверен что можно, только не знаю как, а документации кот
            >наплакал.

            Никогда не делал подобное, но быстрый взгляд в доку показывает, что параметры логов можно указать по location, как следствие ничего не мешает указать отдельный лог для location ~* \.(gif|jpg|jpeg)$ или location ^~ /images/.  А можно наоборот в отдельный лог только скрипты.
            Кстати примеры location тоже из доки, так что жалоба на недостаточность доков необоснованна :)

            >Появился вариант обрабатывать лог другим скриптом у херачить нафиг все запросы к
            >кратинкам, но я думаю Вы понимаете что это ОЧЕНЬ крайняя мера.
            >Обработка такого лога займет не мало времени. (я думаю что не
            >мало, не уверен сколько):)

            Да практически нисколько. Вешаем скрипт с select на файл лога и он будет писать отдельный лог по мере поступления данных от nginx. Только про ротацию логов забывать не стоит.


            • nginx (проблема с логами), !*! Shvapsss, 11:15 , 13-Мрт-09 (8)
              Спасибо!
              Беглый взгляд на то что ты написал вселяет надежду.

              Про наличие доки... она есть но возможно лично для меня плохо читабельна. Что то пропустил что то не дочитал, на кривые руки жаловаться не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая нужные куски. видимо нужно менять стиль чтения.
              Запомню твой ник может как нить пересечемся да я смогу тебе чем нить помочь.

              • nginx (проблема с логами), !*! angra, 18:52 , 13-Мрт-09 (9)
                >Про наличие доки... она есть но возможно лично для меня плохо читабельна.
                >Что то пропустил что то не дочитал, на кривые руки жаловаться
                >не могу а вот с внимательностью проблемы есть. Читаю быстро,бегло, выдерая
                >нужные куски. видимо нужно менять стиль чтения.

                Да нет, как раз так и нужно читать доку, ну и знания буржуинского важны. На поиск ответа ушло пару минут, при том что именно с такой задачей под nginx не сталкивался. На всякий случай линка: http://wiki.nginx.org//Main. Открываем раздел modules и смотрим синтаксис и область применения директив и модулей.
                Хотя если сравнивать с докой апача, то таки дока nginx убога :(




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру