The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Представлена новая NoSQL БД Hibari, созданная для больших хр..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от opennews (??) on 30-Июл-10, 13:59 
Японская компания Gemini Mobile Technologies представила (http://www.geminimobile.com/news/news100714%28en%2...) новую свободную нереляционную БД Hibari (http://hibari.sourceforge.net/), предназначенную для организации сверхбольших распределенных хранилищ данных, представленных в формате ключ-значение. Код Hibari (http://sourceforge.net/projects/hibari/) написан на языке Erlang и распространяется в рамках лицензии Apache. В качестве наиболее типичных областей применения  Hibari называются крупные web-mail системы, социальные сети, службы хранения логов операторов связи и другие сервисы, в которых необходимо хранить терабайты и петабайты поступающих ежедневно данных.


API для доступа к данным в Hibari доступно для языков Java, C/C++, Python, Ruby и Erlang. В настоящий момент подготовлены модули эмуляции API Amazon S3, JSON-RPC-RFC4627 и UBP (Universal Binary Protocol), что позволяет использовать БД с типовыми приложениями, написанными для уже существующих стандартных сервисов хран...

URL: http://www.geminimobile.com/news/news100714%28en%2...
Новость: https://www.opennet.ru/opennews/art.shtml?num=27481

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от AlexGor (??) on 30-Июл-10, 13:59 
судя по описанию - вполне приличная хибара.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  –12 +/
Сообщение от mine on 30-Июл-10, 14:34 
> высокая производительность

Это на эрланге-то??? В виртуальной машине? Ха-ха-ха-ха!

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +8 +/
Сообщение от k.bxya.ru on 30-Июл-10, 14:42 
О господи, да открой ты уже для себя мир оптимизации на более высоком уровне нежели ассемблер.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  –7 +/
Сообщение от аноним on 30-Июл-10, 15:10 
Оптимизация тут не при чем. Тут неустранимый оверхед ненативного кода.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +2 +/
Сообщение от Mamut email(??) on 30-Июл-10, 16:59 
При чем тут оверхед? У Erlang'а — soft realtime безо всякого оверхеда. Плюс плюшки по созданию именно распределенных приложений.

Можно только повториться:

«
да открой ты уже для себя мир оптимизации на более высоком уровне нежели ассемблер.
»

и

«
Народ, когда вы перестанете все примерять к своему "ноутбуку"? Это решение преследует несколько другие цели и масштабы.
Если так ограничены во взглядах, то не надо каждый раз это показывать.
»

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от User294 (ok) on 30-Июл-10, 19:27 
> У Erlang'а — soft realtime безо всякого оверхеда.

А как реалтаймность связана с быстродействием вообще? oO

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от sashka_ua on 01-Авг-10, 00:48 
Скорей всего он имел ввиду, что это возможно и реализовано, поэтому о оверхеде здесь можно не говорить.

С.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  –1 +/
Сообщение от User294 (ok) on 01-Авг-10, 12:31 
Не вижу как одно связано с другим. Предсказуемость времени реакции ("реалтайм") - одно. Производительность - другое. Скажем мелкий 8-лапый "таракан" (микроконтроллер) может среагировать на внешнее событие гораздо быстрее писюка, при том с точностью до тактов и команды выполняются всегда за одинаковое время (кеша нет, память на полной скорости CPU). Т.е. ему по зубам даже "жесткий" реалтайм, когда время реакции всегда одинаковое и строго определенное (у x86 будет некий джиттер времен реакции на события за счет кеша и прочая). А вот производительность 8-битника на его паре десятков мегагерцев - понятно какая, да? Вот я и не догоняю - как они взаимосвязаны :). Более того - я не догоняю как можно гарантировать реалтайм не рассмотрев хотя-бы систему на которой это запущено. А то если у вашей задачи ядро системы отберет время вот сейчас на 10 мс а через полчаса на 100мс - это реалтайм будет или нет? :)
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

26. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Mamut email(??) on 03-Авг-10, 10:37 
>[оверквотинг удален]
>на полной скорости CPU). Т.е. ему по зубам даже "жесткий" реалтайм,
>когда время реакции всегда одинаковое и строго определенное (у x86 будет
>некий джиттер времен реакции на события за счет кеша и прочая).
>А вот производительность 8-битника на его паре десятков мегагерцев - понятно
>какая, да? Вот я и не догоняю - как они взаимосвязаны
>:). Более того - я не догоняю как можно гарантировать реалтайм
>не рассмотрев хотя-бы систему на которой это запущено. А то если
>у вашей задачи ядро системы отберет время вот сейчас на 10
>мс а через полчаса на 100мс - это реалтайм будет или
>нет? :)

Я не говорил про hard realtime, а про soft realtime. Ссылки сейчас искать лень, ищущий да обрящет ;)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

27. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от User294 (ok) on 03-Авг-10, 21:00 
Мне просто не понятно - как реалтаймность вообще коррелирует с производительностью или что вы хотели доказать. Более того - чтобы гарантировать времена отклика на вменяемом уровне и непрерывность выполнения на критичных местах - явно надо лезть глубоко в механику операционки. А это имхо заявка на написание модуля/драйвера ядра или как минимум какие-то злостные системные извращения, для которых прокатит обычный си (из коего лезть в тонкую системную механику более-менее удобно и съедобно, имхо).
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

29. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Mamut email(??) on 04-Авг-10, 09:45 
>Более того - чтобы гарантировать времена отклика
>на вменяемом уровне и непрерывность выполнения на критичных местах - явно
>надо лезть глубоко в механику операционки.

Не обязательно

В общем, достаточно взять Erlang в руки и посмореть/почитать.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

23. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от аноним on 03-Авг-10, 00:06 
>При чем тут оверхед? У Erlang'а — soft realtime безо всякого оверхеда.

При чем здесь нахрен realtime? Без оверхеда - грязная ложь, он выполняется виртуальной машиной, а это всегда оверхед. У тебя на ноутбуке оно может и работает, а я не собираюсь покупать лишние сервера на то что мне не нужно - а именно, интерпретацию байткода. Есть замечательные параллельные БД на нормальных языках.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

24. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Mamut email(??) on 03-Авг-10, 10:33 
>>При чем тут оверхед? У Erlang'а — soft realtime безо всякого оверхеда.
>
>При чем здесь нахрен realtime? Без оверхеда - грязная ложь, он выполняется
>виртуальной машиной, а это всегда оверхед. У тебя на ноутбуке оно
>может и работает, а я не собираюсь покупать лишние сервера на
>то что мне не нужно - а именно, интерпретацию байткода. Есть
>замечательные параллельные БД на нормальных языках.

Берется в руки мозг, если он есть и начинает читаться про:
- ejabberd
- facebook chat
- basecamp chat
- mochiads/mochiweb
- riak
- couchdb


ну или вообще хотя бы про Erlang.


Почему-то народ, переходя на Erlang с «нормальных» языков уменьшает количество серверов, а не увеличивает их.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

28. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от User294 (ok) on 03-Авг-10, 21:07 
>Почему-то народ, переходя на Erlang с «нормальных» языков уменьшает количество серверов,

Может быть, дело в том что сервера были задизайнены дурно/неоптимально? А то почему-то переход с своеобразного опача на допустим лайти или нжинкс тоже количество серверов может уменьшить весьма некисло. А все отличие - сугубо в логике работы сервера. Одно форкает по процессу на юзера, что ессно жрет дофига ресурсов, особенно неоптимально сие на статике. Другое реализует машины состояний, которым количество юзеров не особо критично. А, извините, какойнить ircd писаный на голых сях - легко обслужит групчат с многими тыщщами юзеров на ископаемом железе вообще. Заметьте, сожрав в разы меньше ресурсов и траффика чем ejabberd для той же задачи (это правда частично заслуга самого протокола жаббер сделанного понятно как).

P.S. я не пытаюсь сказать что "эрланг - плохо". Я не имею ничего против эрланга. Тем не менее, если вы беретесь доказывать его крутизну - доказывайте убедительно и будьте готовы что аргументы проверят/оспорят :P.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

30. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Mamut email(??) on 04-Авг-10, 09:47 
>>Почему-то народ, переходя на Erlang с «нормальных» языков уменьшает количество серверов,
>
>Может быть, дело в том что сервера были задизайнены дурно/неоптимально?

А может быть дело в том, что Erlang оптимизирован именно для распределенных систем, а для C/C++ практически нет подобных решений?


>P.S. я не пытаюсь сказать что "эрланг - плохо". Я не имею
>ничего против эрланга. Тем не менее, если вы беретесь доказывать его
>крутизну - доказывайте убедительно и будьте готовы что аргументы проверят/оспорят :P.
>

Вообще-то, доказательства должны лечь на человека, заявившего про «оверхед» в первом ответе. Все остальное легко находится в гугле.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +3 +/
Сообщение от thirteensmay on 30-Июл-10, 15:16 
Производительность распределенных систем сильно зависит именно от распределенности - организации фрагментации и управления ею, производительность отдельных узлов отходит на второй план.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +3 +/
Сообщение от Lefan email on 30-Июл-10, 15:48 
Народ, когда вы перестанете все примерять к своему "ноутбуку"? Это решение преследует несколько другие цели и масштабы.
Если так ограничены во взглядах, то не надо каждый раз это показывать.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от аноним on 03-Авг-10, 00:04 
А почему ты думаешь что ты самый умный и знаешь кто куда это решение примеряет?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от thirteensmay on 30-Июл-10, 15:01 
Чтото последнее время эта CAP-теорема на каждом шагу, я вот только одного понять не могу, может кто прояснит, в соответствии с ней:

"обеспечение непротиворичивости хранилища в целом"

возможно одновременно с

"способность продолжать работу в случае раскола кластера хранения (нарушения связности узлов)"

это как ?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от аноним on 30-Июл-10, 15:10 
Да не обращайте на нее внимания, бред это, а не теорема.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Aleksey (??) on 30-Июл-10, 15:22 
В это время база не работает и получаем нарушение второго требования "высокая надежность (устойчивость к сбоям)", т.е. как и предсказывалось.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от thirteensmay on 01-Авг-10, 22:43 
т.е. база не работает уже при двух требованиях ?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

25. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от Mamut email(??) on 03-Авг-10, 10:33 
>т.е. база не работает уже при двух требованиях ?

Нет. Это означает, что база не выполняет третье требование

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +1 +/
Сообщение от Аноним (??) on 30-Июл-10, 15:32 
Непротиворечивость не значит доступность всех данных. Например, два условия сохраняются когда в кластере хранится только одна копия данных, без дублирования на несколько узлов. Так как при изменении данных другие узлы не затронуты гарантируется непротиворечивость.

Заменяя требование о непротиворечивости на отказоустойчивость получаем дублирование данных на несколько узлов, но вот гарантировать, что во время чтения данных с одного узла они уже не успели измениться на другом не получится.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Представлена новая NoSQL БД Hibari, созданная для больших хр..."  +/
Сообщение от thirteensmay on 30-Июл-10, 15:54 
тогда получается что все данные должны лежать на одном узле, это уже не распределенная система, либо от функциональности остаются рожки да ножки, т.е. можно работать только с тем что доступно "локально" целостно и не продублировано, опять не распределенная система получается.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру