The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Релиз проекта Apache Flume 1.3.0

05.12.2012 09:55

Представлен Apache Flume 1.3.0, второй стабильный релиз, готовый для промышленного внедрения, выпущенный за время существования проекта. Apache Flume позволяет организовать работу распределённого и отказоустойчивого сервиса, гарантирующего сохранение данных и обеспечивающего эффективный сбор большого объёма логов, его агрегирование и перемещение в хранилище. Код системы написан на языке Java и поставляется под лицензией Apache.

Архитектура Apache Flume имеет модульную структуру и основана на манипулировании потоками данных между обработчиками (модуль приёма направляет данные в модуль очереди передачи, из которой данные извлекаются модулями фильтрации, сохранения или передачи по цепочке). Система предусматривает возможность использования различных механизмов для достижения гарантированной доставки данных и восстановления в случае выявления сбоев. Apache Flume отличается использованием простой и расширяемой модели данных, что делает продукт интересным решением для построения таких систем, как приложения для online-аналитики.

В новой версии добавлено несколько новых источников данных: HTTP Post (сбор данных через инициирование HTTP POST-запросов), Spool Directory (забираются файлы, сохранённые в директорию) и Multi-port Syslog (приём логов от нескольких демонов syslog). Обеспечена поддержка шифрования каналов передачи файлов. Добавлен модуль для извлечения данных из потока на основании правил, оформленных в форме регулярных выражений.

  1. Главная ссылка к новости (https://blogs.apache.org/flume...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/35505-apache
Ключевые слова: apache, flume, log
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (42) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 10:38, 05/12/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Апачи на Яве прямо-таки помешались. Что ни проект, то вызывает большие вопросы "а оно мне вообще нужно в таком виде?"
     
     
  • 2.2, Аноним (-), 10:48, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    тебе, одмину локалхоста - нет, не нужно
     
     
  • 3.26, Аноним (-), 17:24, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Дык, опача укусил ынтырпрайз. По поводу чего их сервак на машине с менее чем 32 гиг оперативы и 16 ядер лучше вообще не запускать.
     
     
  • 4.28, Дмитрий (??), 19:13, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Апачевская ллицензия как праз экономически подходит для крупных компаний (ынтырпрайз).
     
     
  • 5.34, Дмитрий (??), 23:43, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще я бы сказал что это апач так укусилил ынтырпрайз, что ынтырпрайз комммитит и коммитит код :))
     
  • 4.31, Дмитрий (??), 19:36, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    да, и в этом продукте одним серваком не обойдётся :)
     
  • 2.3, arisu (ok), 10:54, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ну, ява и ява. а ты что взамен предлагаешь? неужто c++? какой в этом смысл там, где не надо выжимать огромное быстродействие?
     
     
  • 3.4, Анони (?), 11:00, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Ну как же, Ява - это не модно, а вто Ruby, NodeJS, Python - это стильно и молодёжно.
     
     
  • 4.5, arisu (ok), 11:06, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    а как сюда затесалась нода, которая и вовсе не язык?
     
     
  • 5.6, Капитан (??), 11:21, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • –3 +/
    не называть же языком javascript
     
     
  • 6.8, Аноним (-), 11:24, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > не называть же языком javascript

    это ещё почему? вполне себе язык, очень мощный и удобный во многих отношениях

     
  • 6.10, arisu (ok), 11:43, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > не называть же языком javascript

    потому что ты его не знаешь, Капитан Необразованность.

     
     
  • 7.39, Аноним (-), 13:51, 06/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > потому что ты его не знаешь, Капитан Необразованность.
    > arisu

    Кто бы говорил :)

     
  • 5.7, Аноним (-), 11:23, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    видимо, имелся ввиду standalone javascript, а нода - то, на чём это в основном делается
     
     
  • 6.11, arisu (ok), 11:44, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > видимо, имелся ввиду standalone javascript, а нода — то, на чём это
    > в основном делается

    что наглядно показывает квалификацию комментатора, кстати — не отличающего js от nodejs.

     
     
  • 7.15, a (??), 12:27, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем фундаментальное отличие то? nodejs – это v8, запущенный как исполняемая среда
     
     
  • 8.16, arisu (ok), 12:44, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    действительно в чём отличие платформы от языка дураки какие-то выдумали их раз... текст свёрнут, показать
     
     
  • 9.22, rshadow (ok), 14:25, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Мне это напомнило одну статью на хабре там тоже было сравнение NodeJS с PHP ... текст свёрнут, показать
     
     
  • 10.33, eervcec (?), 21:40, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    NodeJS и PHP используются в сходных ситуацих для решения сходных задач, потому и... текст свёрнут, показать
     
  • 5.40, Аноним (-), 13:52, 06/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > а как сюда затесалась нода, которая и вовсе не язык?

    А кто сказал, что это перечень _языков_?

     
  • 3.12, Аноним (-), 11:58, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ява не тормозная (если не гуи). Она жруча до оперативки. И требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?
     
     
  • 4.13, Eugene.Shiyanov (?), 12:04, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А если SWT, то и гуи не тормозит.
     
     
  • 5.23, rshadow (ok), 14:26, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Все равно тормозит. И выглядит как говно.
     
     
  • 6.25, Аноним (-), 16:53, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    нет, ты
     
  • 6.35, Аноним (-), 23:46, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Hint: JavaFX
     
  • 4.37, другой аноним (?), 10:49, 06/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >  требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?

    Это говорит о твоей некомпетенции и близорукости, неуважаемый аноним. Мне кажется, ты сильно ошибаешься, если предполагаешь что конкретные реализации явы для конкретных операционок не используют их системные библиотеки и работают только напрямую с ядром ОС, попробуй хотя бы ldd яве сделать (libc точно в списке увидишь). А свои библиотеки нужны еще и затем, что системные либы в разных ОС разные, а одна из заявленных фич платформы - кроссплатформенность (сорри за масло масляное). Довольно часто приходится писать универсальную стандартную прослойку к разношерстным подсистемам. Аноним понимает что такое дополнительный уровень абстракции над конкретными реализациями с целью достижения единообразного метода работы с разными кучами гов...а? Или он предлагает писАть один и тот же кусок программы, но N раз, для каждой из N операционных систем?

     
     
  • 5.41, Elhana (ok), 14:43, 07/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И получается матрешка из абстракций, чтобы программист мог просто написать что-то вроде музыка_ляля_играть() и у него все тормозит, после чего он рассказывает какая ява тормозная.
     
     
  • 6.43, arisu (ok), 16:03, 07/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    ява.
    программист.
    /0
     

  • 1.9, VoDA (ok), 11:40, 05/12/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Остается сделать этот проект агрегатором логов для journald и у всех java- и Поттеринго-фобов будет эпичнейший баттхерт ;)))
     
     
  • 2.20, Аноним (-), 13:29, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Остается сделать этот проект агрегатором логов для journald и у всех java-
    > и Поттеринго-фобов будет эпичнейший баттхерт ;)))

    да у них и так сфинкторы пунцовые от потока новостей о systemd

     
     
  • 3.24, rshadow (ok), 14:28, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.
     
     
  • 4.32, piteri (ok), 19:42, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Для чего? Ведь есть http://www.jnode.org/.
     
  • 4.38, Аноним (-), 13:50, 06/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.

    Автор rsyslog, говорят, уже работает над этим (в пику поттерингу с его сишными блобами).
    В будущих версиях rsyslog, чтобы не отставать по скорости поиска от journal, собираются прикрутить http://en.wikipedia.org/wiki/ElasticSearch

     
  • 4.42, Elhana (ok), 14:45, 07/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я
    > пока запасусь попкорном.

    они уже llvm запилили: http://www.phoronix.com/scan.php?page=news_item&px=MTIxMDM

     
  • 2.27, YetAnotherOnanym (ok), 18:45, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Да на здоровье, journald будет одним из множества агентов для Flume, наряду с традиционными *syslogd и прошивками всевозможных железок, поддерживающими стандарт syslog. С чего тут баттхёрту возникнуть?
     

  • 1.18, o (?), 13:13, 05/12/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Новый релиз проекта написаного на чем? ... на ява.. все давай досвиданья.
     
     
  • 2.19, Аноним (-), 13:28, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ага, у3бывай
     
  • 2.36, arcade (??), 04:40, 06/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вы знаете, товарищ, то что я считаю яву [censored] [censored] не мешает мне пользовать Jenkins и поддерживать его в свежем состоянии в портах.
     

  • 1.21, Аноним (-), 13:43, 05/12/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    с logstash, graylog2 кто нибудь сравнивал?
     
     
  • 2.29, Дмитрий (??), 19:21, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    как было написано "обеспечивающего эффективный сбор большого объёма логов"
    большой объём, я думаю, это от миллиарда в день. И сохранение данных в распределённом хранилище типа HDFS (есть на картинке )
     
     
  • 3.30, Дмитрий (??), 19:32, 05/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    слышал про применение как раз в web аналитике:  на пол интернета ставится счётчики, и кажды показ этого счётчика  - запись в лог
     
     
  • 4.44, o (?), 13:46, 08/12/2012 [^] [^^] [^^^] [ответить]  
  • +/
    если на яве, то осмелюсь сделать предположение что вторая половина интернета как раз служит для хранения счетчиков из первой половины
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру