- чем кликхаус для хранения и обработки логов лучше ES , анон (?), 01:12 , 03-Дек-21 (1)
чем кликхаус для хранения и обработки логов лучше ES?
- Быстрее, примерно в 100500 раз , Аноним (2), 09:39 , 03-Дек-21 (2)
- Смотря какие объемы логов На малых объемах логов - грамотно сделанная схема рабо, XoRe (ok), 15:30 , 03-Дек-21 (4)
- Разработчики сказали, что им так удобнее Они уже использовали ES, не понравилос, Vitto74 (ok), 19:43 , 13-Дек-21 (12)
- Очень неоптимальная схема, максимально нагружающая КХ в момент вставки Вставлят, Аноним (2), 09:47 , 03-Дек-21 (3)
Очень неоптимальная схема, максимально нагружающая КХ в момент вставки. Вставлять в него данные рекомендуется блоками хотя бы от 100 тыс. записей, чтобы нормально отрабатывали алгоритмы сортировки в MergeTree.Ну и по мелочи, например, для namespace вместо String можно использовать LowCardinality(String).
- Основная проблема Clickhouse это отсутствие хорошей морды для просмотра логов В, Аноним (5), 16:48 , 03-Дек-21 (5)
Основная проблема Clickhouse это отсутствие хорошей морды для просмотра логов. Во всяком так было на момент когда я пробовал. Разрабам такой вариант не понравился, CH язык запросов мало кто знает, ES был привычнее.Но пробовали так, делали. Правда, вместо fluent-bit мы написали своего демонюгу на Go чтобы вытаскивать логи из docker и journald. Сделали отправку батчами и оптимизировали парсеры и структуру во все щели: получались какие-то сумасшедшие цифры по производительности в миллионы строк/сек с кластера с минимальной нагрузкой на демон форвардинга. Писали напрямую с коллекторов в CH.
- ЗЫ кому интересно поржать, могу выложить код схемы и демона, Аноним (5), 16:49 , 03-Дек-21 (6)
- Мы тоже сначала свой костыль написали, но на java это смотрелось не очень - не с, Vitto74 (ok), 19:41 , 13-Дек-21 (11)
- SQL-select для одной таблички мало кто знает из разработчиков, которые логи бэка, Аноним (15), 22:15 , 15-Янв-22 (15)
- Loki не , ФФФФФФ (?), 17:09 , 03-Дек-21 (7) +1
- Что используете в роли просмотрщика логов , Антон (??), 00:19 , 23-Дек-21 (13)
Что используете в роли просмотрщика логов?
- Оверинжиниринг , Alex_K (??), 00:44 , 29-Дек-21 (14)
- Почему не Vector https vector dev , specter (ok), 13:49 , 04-Фев-22 (17)
- Способ хороший, однако должен заметить, что приведённая конфигурация fluent-bit , Igor (??), 18:32 , 03-Июн-22 (18)
Способ хороший, однако должен заметить, что приведённая конфигурация fluent-bit может терять чанки. Как я понял, пайплайн работает так: из файла читаются чанки и поднимаются в память. После успешного чтения в DB записывается новая позиция. Далее чанк обрабатывается парсерами, фильтрами и направляется в output. Всё это время чанк держится в памяти. Однако если в output отправить не удалось, то информация об этом не будет никуда сохранена. А если процесс перезапустится, так и не успев отправить этот чанк, то чанк будет потерян: перечитываться заново чанк не будет (т.к. в базе уже записана новая позиция), а сам чанк был в памяти, и после рестарта процесса не сохранился.Чтобы избежать потери логов, нужно настроить filesystem storage и бесконечные ретраи в output. Тогда после чтения чанк сразу будет записываться на диск, и только потом будет производиться его обработка. Если процесс рестартится, то он перечитывает все сохранённые чанки и продолжает попытку их обработки и отправки. А бесконечные ретраи нужны чтобы эти чанки не дропались после N-ого неуспешного ретрая отправки.
|