The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Логирование web-активности wi-fi пользователей"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Мониторинг, логи / Linux)
Изначальное сообщение [ Отслеживать ]

"Логирование web-активности wi-fi пользователей"  +/
Сообщение от 027 email(ok) on 23-Дек-12, 00:03 
Имеется несколько wi-fi точек доступа, подключенных через свитч к самопальному роутеру на debian 6. Для ограничения доступа используется фильтр по mac, аутентификация посредством freeradius.

Задача - писать логи http и https запросов, содержащие:
- таймстамп
- mac-адрес
- URL запроса

Выражаясь по-простому, нужно иметь возможность посмотреть, кто когда на какие сайты ходил.

Обычный http-прокси не подходит, ибо начальство постановило "никаких настроек на клиентских дивайсах". Прозрачный - очень не хотелось бы. Собственно, проксирование вообще не нужно, только шейпер, чтоб не забили общий канал к прову.

Подскажите подходящую софтину/метод/способ/куда_копать. Писать логи надо в базу MySQL. Желательно, чтобы логгер умел отбрасывать всякие гифки, джипеги и прочие цсс, не захламляя ими лог.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от PavelR (ok) on 23-Дек-12, 00:51 

меня уже перестают смешить такие "одмины".

Попробуйте всё-таки в сторону прозрачного прокси посмотреть, как бы вам "очень" не хотелось бы.

А про логирование httpS запросов, я думаю, вам надо понять почему о нем вам стоит забыть.


>Писать логи надо в базу MySQL. Желательно, чтобы логгер умел отбрасывать всякие гифки,
>джипеги и прочие цсс, не захламляя ими лог.

"Ищу кнопку "сделать мне за-ись", желательно опенсорсную."

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от 027 email(ok) on 23-Дек-12, 03:14 
В порядке компенсации информационного шума выше. Строка из лога непрозрачного сквида:
1354197488.385   3516 172.23.30.33 TCP_MISS/200 3986 CONNECT www.facebook.com:443 - DIRECT/69.171.237.36 -
Т.е., в момент установления связи URL нешифрованный, отловить и записать его технически возможно. Но сквид 3.1 не умеет писать в лог мак-адреса (3.2 вроде как умеет, но его еще нет в репозитории, даже в unstable).

P.S. Я не админ.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от PavelR (??) on 23-Дек-12, 11:03 
> В порядке компенсации информационного шума выше. Строка из лога непрозрачного сквида:
> 1354197488.385   3516 172.23.30.33 TCP_MISS/200 3986 CONNECT www.facebook.com:443 - DIRECT/69.171.237.36
> -
> Т.е., в момент установления связи URL нешифрованный,

1) То, что вы назвали URL, URL не является.
2) как только сквид станет прозрачным, не будет и этой информации, только IP.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Andrey Mitrofanov on 23-Дек-12, 13:05 
> 2) как только сквид станет прозрачным, не будет и этой информации, только
> IP.

"Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение, чем прозрачный сквид...

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от 027 email(ok) on 23-Дек-12, 17:56 
>> 2) как только сквид станет прозрачным, не будет и этой информации, только
>> IP.
> "Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение,
> чем прозрачный сквид...

Спасибо, читал. Я и говорю, не хотелось бы. Есть и еще способ "прозрачного" проксирования ssl, с подменой сертификатов, на опеннете обсуждали.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

14. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от PavelR (ok) on 24-Дек-12, 12:46 
>>> 2) как только сквид станет прозрачным, не будет и этой информации, только
>>> IP.
>> "Они" сделали http://wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>> чем прозрачный сквид...
> Спасибо, читал. Я и говорю, не хотелось бы. Есть и еще способ
> "прозрачного" проксирования ssl, с подменой сертификатов, на опеннете обсуждали.

мда, налицо клиническая картина. Медицина бессильна.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

15. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Andrey Mitrofanov on 24-Дек-12, 14:06 
>>>wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>> "прозрачного" проксирования ssl, с подменой сертификатов
> мда, налицо клиническая картина. Медицина бессильна.

"я не тормоз, я просто медленно думаю"

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

4. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от PavelR (??) on 23-Дек-12, 11:07 
> P.S. Я не админ.

Вспомните басню «Щука и Кот» Крылова, в школе наверняка читали. Загуглить её не сложно.


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Дядя_Федор on 23-Дек-12, 13:39 
> Т.е., в момент установления связи URL нешифрованный, отловить и записать его технически
> возможно. Но сквид 3.1 не умеет писать в лог мак-адреса (3.2
> вроде как умеет, но его еще нет в репозитории, даже в
> unstable).

Займитесь самообразованием - это очень полезно для мозгов. И изучите основы сетевой модели TCP/IP. Возможно, через какое-то время Вы поймете сферу действия MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость того, что Вы пишете.


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от 027 email(ok) on 23-Дек-12, 17:59 
>  Займитесь самообразованием - это очень полезно для мозгов. И изучите основы
> сетевой модели TCP/IP. Возможно, через какое-то время Вы поймете сферу действия
> MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость
> того, что Вы пишете.

Голодный-то какой, толстенький... Аж жалко бедного. На, покушай сухарик:
http://www.squid-cache.org/Doc/config/logformat/

%>eui EUI logging (EUI-48 / MAC address for IPv4, EUI-64 for IPv6). Both EUI forms are logged in the same field. Type can be identified by length or byte delimiter.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Дядя_Федор on 23-Дек-12, 21:34 
Тупость покоя не дает? Ну-ну.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от gentoo email on 24-Дек-12, 08:45 
Тезис про уровни L2 и L7 так и остался не услышан. Товарисч действительно не админ. Но оно бы и ладно. Так и еще и напыщенный дурак, к тому же. А тут уже медицина бессильна, увы.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Andrey Mitrofanov on 24-Дек-12, 09:36 
> Тезис про уровни L2 и L7 так и остался не услышан. Товарисч

Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?

Ну, то есть типа маки "своих" клиентов, не ssl-серверов из инета? И да, мне хорошо известно, что мак поменять несложно.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от fantom (ok) on 24-Дек-12, 11:13 
>> Тезис про уровни L2 и L7 так и остался не услышан. Товарисч
> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?
> Ну, то есть типа маки "своих" клиентов, не ssl-серверов из инета? И
> да, мне хорошо известно, что мак поменять несложно.

А мысль писать mac+ip из dhcp сервера вам в голову не приходила?
Кесарю - кесарево...

Логируйте сквидом хосты, а dhcp-ой маки.
А вообще вам правильно написали - ищите компромис между вашими хотелками и имеющимися умелками...

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Дядя_Федор on 24-Дек-12, 12:27 
> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?

Вполне себе нормальный тезис. Только находится ли прокси с одном L2-сегменте - далеко не очевидно из описанного выше. А приведенная автором строка из параметров лога сквида - абсолютно не в кассу. Ну умеет он писать маки в логи и что? Вопрос в том - как он их получит.


Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от 027 email(ok) on 24-Дек-12, 23:57 
>>>>wiki.squid-cache.org/Features/SslBump ещё большее извращение,
>>> "прозрачного" проксирования ssl, с подменой сертификатов
>> мда, налицо клиническая картина. Медицина бессильна.
> "я не тормоз, я просто медленно думаю"

Andrey Mitrofanov, вам единственному хочу сказать спасибо за наводку на SslBump, хотя и запоздала она немного. К тому времени сам набрел. Однако и вы не удержались от подковырки. Ну да ладно, на фоне этой стайки толстеньких неумелых троллей... (Если что, не хотел вас обидеть! И сам бываю грешен. :)

Жалко вот, тролли неинтересные набижали. Тупенькие совсем. Особенно феерично обкакался этот:
>> Как насчёт контр-тезиса, что в пределах эзернет-сегмента может быть _вполне применимо?
>  Вполне себе нормальный тезис. Только находится ли прокси с одном L2-сегменте
> - далеко не очевидно из описанного выше. А приведенная автором строка
> из параметров лога сквида - абсолютно не в кассу. Ну умеет
> он писать маки в логи и что? Вопрос в том -
> как он их получит.

Самую первую строку первого поста прочитать, не? Вот эту:

027 > Имеется несколько wi-fi точек доступа, подключенных через свитч к самопальному роутеру на debian 6.

А как вещал, как вещал! ггг

Дядя_Федор > Возможно, через какое-то время Вы поймете сферу действия MAC-адреса и сферу действия сквида. И (возможно) - тогда поймете глупость того, что Вы пишете.

Крутой одмин, чо там.

Ладно, хватит с вас. Были б вы тонкие тролли, можно было бы поиграть. Тонких уважаю. А вы толстые и скучные. Так что, чао, мои хорошие.

========================

Тому, кто наткнется на эту тему в поисках ответов на подобную задачку.

Я и вправду не админ. Вообще-то меня позвали помочь настроить вебморду к фрирадиусу. Я немного соображаю в настройке апача и построении запросов к мускулю. Когда я увидел, что им повелели сгородить... а особенно, как они начали это реализовывать... в общем, мое слабое доброе сердце не выдержало. :) Им же еще предстоит вбивать в базу порядка 3000 мак-адресов вместе с ФИО владельцев мобильных устройств.

В процессе вникания и возникла такая мысль - ведь сквид по сути будет выступать в роли простого логгера запросов. Нет ли в природе именно логгера? Забивать сапожные гвозди кузнечным молотом как-то некузяво. Однако, похоже таки придется. В конце концов, должно же начальство получить свою игрушку? Собственно такой вопрос и был задан: нет ли подходящей программки для логгирования запросов от браузера? Я с набегу не нашел. Всяких снифферов и кейлоггеров полно, но находились только утилиты, а надо демона.

Правильный ответ не назвал ни один. Правильный, честный ответ был бы - "не знаю". Не знают они такой софтины. Так кто ж признается, троллю инстинкт не велит. Так еды не добудешь.

(Справедливости ради, пару толковых советов они дали. Правда, я именно это не спрашивал, вопросы они сами нателепатировали. Принцип прост - если не знаешь ответа, отвечай на то, что знаешь. И делай томное выражение лица: "это же банально.." Ну что, молодцы, зачот. Я так вступительный экзамен по физике проскочил, в далеком лохматом году догорбачевской еще эпохи. Навык студента-рас...дяя защитан.)

И тут же дружно осудили мою тупость, безграмотность и лень. Это насчет сопоставленения вручную лога dhcpd с логом squid и конфигом freeradius. А то мы без них не догадались. Нарулили рабочий прототип за пару дней, в перерывах между основной работой. Единственная бредовая идея, которую не сразу отвергли, это закреплять в конфиге dhcpd постоянный ip за каждым mac-адресом. Это да, протупили конкретно)))

(...вот вам еще немного еды, кушайте, кушайте. Жалко вас, болезных... плохо кормят, да? :)

В общем и целом, чудо-юдо-нано-СОРМ практически готов к работе. Осталось сочинить вебморду для поиска маков по ФИО. И еще одну - для максимально возможного упрощения процедуры "прописки" студентов на халявном вайфае. Ибо вбивать в базу несколько тысяч записей врукопашную они затрахаются до полусмерти. А в сентябре набежит молодое ретивое стадо первокурсников, числом с полтыщи, и так каждый год. И выпускников, по-хорошему, из базы вычеркивать надо... Как тут без острозаточенной вебморды?

Наверное, проще всего будет прикрутить скрипт к готовой, хоть и не самой удобной для этой цели морде, dialupadmin. В репозитории дебиана она есть. Есть, наверное, и в других популярных дистрибутивах.

Да, а насчет возможности прозрачного проксирования HTTPS я им тоже доложил. Вламываться в шифрованный трафик нехорошо, неэтично и себе дороже будет. Можно, конечно (дал почитать про man-in-the-middle атаку, и что сквид это умеет делать. Вот, влезаешь ты с поддельным сертификатом в сеанс связи студента с платежной системой. Сквид вломиться позволяет. Оно тебе надо? Нет, говорят, ну его нафиг. Вот и славно.

"Собрат по несчастью", если тебе на голову упала похожая задача, отметься в этой теме, поделюсь. Где-то во второй половине января мне таки придется набыдлокодить пару скриптов. Не оставлять же хороших ребят колотить по клаве до одурения.

P.S. ..."Не было печали, купила баба порося". Ты думаешь, я такой умный, брат? Или мне за это деньги платят? Хе-хе. Ни то, ни другое. Я старый больной инженер. Был бы умный - не ввязался бы. Разве что намекнуть попозже, что неплохо бы поляну накрыть? Когда они задолбаются^W прочувствуют :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Дядя_Федор on 25-Дек-12, 08:41 
Действительно идиот. И действительно - медицина тут бессильна.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от fantom (ok) on 25-Дек-12, 10:45 
>[оверквотинг удален]
> его нафиг. Вот и славно.
> "Собрат по несчастью", если тебе на голову упала похожая задача, отметься в
> этой теме, поделюсь. Где-то во второй половине января мне таки придется
> набыдлокодить пару скриптов. Не оставлять же хороших ребят колотить по клаве
> до одурения.
> P.S. ..."Не было печали, купила баба порося". Ты думаешь, я такой умный,
> брат? Или мне за это деньги платят? Хе-хе. Ни то, ни
> другое. Я старый больной инженер. Был бы умный - не ввязался
> бы. Разве что намекнуть попозже, что неплохо бы поляну накрыть? Когда
> они задолбаются^W прочувствуют :)

Хочешь получить разумный ответ...
Какправило одну и ту же задачу можно решать разными способами и заложить в решение разную масштабируемость.
Вы скомпилировали свое решение - со своими ограничениями и начальными условиями, флаг в руки перо в .... ну вы поняли.

И правильный ответ был "недостаточно исходных данных для корректного ответа".

Вас вполне может и устроила бы netflow статистика, а может и нет...
В изначальной постановки вашего вопроса - корпоративная система безопасности с корневым ssl сертификатом за 10^n баксов даст ответ на все ваши вопросы... так что ненадо тут соплями по ... ну всмысле мыслью по древу.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Логирование web-активности wi-fi пользователей"  +/
Сообщение от Дядя_Федор on 25-Дек-12, 12:00 
> так что ненадо тут соплями по ... ну всмысле мыслью по
> древу.

Забавно, когда человек, обвиняющий всех подряд в троллинге - сам именно этим и занимается. Написав целый трактат (тем более - бесполезный для специалистов) на тему "Как я провел это лето". :))))
ПыСы: Совй экзамен по физике при Горбачеве зачем-то привел. Еще бы собственную автобиографию расписал.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру