> Если вам нужно за неделю - настройте ротацию на неделю)

Во первых, заранее сложно сказать за какой интервал потребуются логи. Во вторых, портянка за неделю будет приличная как ни крути. Что попиленая на ежедневные куски, что одной простыней. От перемены мест слагаемых сумма не меняется.

>> Идеальный вариант: анализатор логов разгребая логи видит аномалии ("вот этот товарищ
>> делает 100 запросов в секунду!") и просто гасит такое сам. [...]
> Вообще если мы говорим про страничку васи пупкина, то сервис один - http.

Ну да, конечно. И никаких там MySQL, FTP, а может еще и nntp, dns, ssh, ... :)

> А логи apache/nginx парсит большое количество программ.

Ну вот взломали вам вашу "хомпагу васи" и вас уже интересует как бы не просто доступ к хттп а доступ к всем сервисам вообще. А вдруг через ftp эксплойт залили. К тому же текстовые логи можно тихонько и без палива подчистить, просто стерев неудобные записи. Минимум шума и пыли, никто и не заметит...

> В этом случае откройте для себя log2ban - сам парсит, сам гасит.

Эталонный пример костылей. Как только надо шажок в сторону - начинается геморрой. А можно гасить тех кто чрезмерно много запросов в наш днс делает? А FTP? А ssh?

А как насчет того чтобы гасить еще и умников вида [100500.000000] TCP: Peer 1.2.3.4:56789/7654 unexpectedly shrunk window XXX:YYY (repaired) ?

Очень удобно каждому логу новый парсер подпихивать, ага.

[...]
>> который должен или сам реализовывать каждый раз нормальный индекс, или каждый
>> раз читать огромные простыни, скорость данной операции думаю понятна :)
> Анализатор логов работает в режиме реального времени.
> Разница между чтением текста и бинаря - в микросекундах.

Угу. Поэтому анализатор должен или сам докостыливать некоторые моменты, или просто забить на некоторые вещи. Например быстро посмотреть сколько запросов за некий интервал сделал вон тот айпи - да фиг вам. Или педаль всю портянку или обломись.

>> Грепать все логи всех демонов за неделю, при том что они еще и в разном формате все
>> - нифига не быстро и не удобно.
> Я бы не назвал выдачу данных о подключении ко всем демонам с одно ip - типовой задачей.

Нормальная задача при допустим изучении взлома или атаки или попыток скана. Чего тут такого необычного?

> Но вы знаете, что даже с имеющимися средствами вы можете это сделать.

Могу, просто это будет долго и геморройно. Можно и намного лучше.

> Вы можете настроить rsyslog/syslog-ng на хранение логов в нужном вам формате.
> Можно даже настроить, чтобы хранилось по папкам:
> /log/year/month/day/hour/service/ip.log

Угу, только вот откуда следует что я заранее угадаю формат который будет всегда удобен для всех случаев - совершенно не понятно. В случае когда на все более-менее популярные поля есть индексы - все как-то проще: можно быстро построить желаемую выборку не лопатя вообще все данные, оперативно отсеяв только нужное. Тогда и угадывать заранее ничего не нужно. А в вашей схеме недостаток один, зато какой: надо чтобы ЗАРАНЕЕ был припасен РОЯЛЬ В КУСТАХ. При том желательно удобный.

> Хотя вы можете ничего не делать, и ждать, пока нужный вам функционал сделают за вас.

Не, ну как-то выкручиваться приходится, но хотелось бы чтобы именно сделали за нас, ибо хороший админ - ленив :)

> Могу добавить, что пока рабочей программы нет, неизвестно, удовлетворит ли ваши нужды её функционал.

Correct. Однако хотелось бы чтобы более-менее типовые задачи оно покрывало сходу и без проблем. И если ко всему этому будет прозрачный интерфейс - почему бы и нет? Никто же не ругается на гзипованые логи, хотя поток гзипа не только бинарный но и довольно задрюченый и руками его фиг разберешь вообще, нужна программа для его парсинга ака gzip. А ничо, пипл хавает...

> Я бы уже сейчас настроил нужный функционал из того, что есть.

И? Это не значит что я хочу вплоть до отправки в могилу продолжать так делать если можно делать проще/лучше/удобнее...