The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Новый вариант распределённой файловой системы POHMELFS готов..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от opennews on 13-Фев-12, 11:32 
Евгений Поляков сообщил (https://lkml.org/lkml/2012/2/8/293) в списке рассылки разработчиков ядра Linux о готовности для включения в состав ядра Linux кода новой реализации сетевой распределённой файловой системы POHMELFS. Грег Кроу-Хартман (Greg Kroah-Hartman), курирующий экспериментальный "staging" раздел ядра Linux, в котором начиная с выпуска 2.6.30 поставляется код POHMELFS, уже удалил (https://lkml.org/lkml/2012/2/9/325) из ветки 3.3-rc3 код старой реализации POHMELFS, вместо которой в ближайшие дни будет добавлена новая версия. Таким образом, код новой реализации POHMELFS, основанный на работе поверх распределённого хранилища Elliptics (http://www.ioremap.net/projects/elliptics),  войдёт в состав ядра Linux 3.3.
    

Одновременно сообщается (http://www.ioremap.net/node/533) о том, что размер одного из кластеров Elliptics, используемый в компании Яндекс для хранения небольших объектов (от сотен байт до нескольких килобайт), таких как аватары, превысил отметку в 5 миллиардов храни...

URL: http://www.ioremap.net/node/534
Новость: https://www.opennet.ru/opennews/art.shtml?num=33066

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


3. "Новый вариант распределённой файловой системы POHMELFS готов..."  +12 +/
Сообщение от Аноним (??) on 13-Фев-12, 11:56 
Он наконец-то склеил файловую систему и elliptics! Ура, молодец Евгений!!
Да здравствуют кластерные технологии хранения в широком доступе =)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 13-Фев-12, 14:57 
"Они такие, какими должны были бы быть с самого начала".
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Новый вариант распределённой файловой системы POHMELFS готов..."  –5 +/
Сообщение от Аноним (??) on 13-Фев-12, 12:33 
А как расшифорвывается "POHMEL"? Это хоть акроним или словесная аббревиатура?..
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Новый вариант распределённой файловой системы POHMELFS готов..."  +10 +/
Сообщение от spanasik email(ok) on 13-Фев-12, 12:38 
Parallel Optimized Host Message Exchange Layered File System
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

15. "Новый вариант распределённой файловой системы POHMELFS готов..."  +1 +/
Сообщение от hummermania (ok) on 13-Фев-12, 13:47 
Вместо ехидных и бессмысленных замечаний по поводу названия, лучше бы присоединились к тестингу. Много ли стоит развернуть это чудо на нескольких машинах и тестировать? Как по мне то будущее у такой системы есть и силы потрачены не даром. Вот кстати почему бы не её применить для хранилища большого числа ODF файлов внутри организации в пределах Private Cloud?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 13-Фев-12, 16:04 
> Вместо ехидных и бессмысленных замечаний по поводу названия, лучше бы присоединились к
> тестингу. Много ли стоит развернуть это чудо на нескольких машинах и
> тестировать? Как по мне то будущее у такой системы есть и
> силы потрачены не даром. Вот кстати почему бы не её применить
> для хранилища большого числа ODF файлов внутри организации в пределах Private
> Cloud?

Там в бложике есть пример конфигов для network raid1: http://ioremap.net/node/535

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от thelamon email(ok) on 13-Фев-12, 14:09 
А мне elliptics нравится...Вот только применить где-нибудь не удаётся пока что, специфичен уж. Но всё равно, сделан зачётно, респект.
Похмелка - ждём тестов.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 13-Фев-12, 16:03 
Чем специфичен? Его позиционируют так же как mongodb и остальные nosql системы
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

25. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Антибрх. on 13-Фев-12, 17:02 
Не "так же" и не пишите глупости.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

26. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 13-Фев-12, 17:37 
Нет, не так же? Чем же elliptics не любая другая nosql?
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

27. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от thelamon (ok) on 13-Фев-12, 17:45 
> Нет, не так же? Чем же elliptics не любая другая nosql?

Не позорьтесь.
У него нет MapReduce. У него только один индекс/он же PK - по имени файла. У него хранится в чистом виде Value - без структуры. Для его правильной работы нужно, чтобы весь индекс для хранимых данных помещался в оперативку, тогда производительность будет очень хорошей. Это FS-like in-memory-indexed key-value storage, ориентированный на распределённость и хранение файлов для последующей раздачи. До "классических" map-reduce-ных NoSQL-решений ему далеко.


Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 13-Фев-12, 18:08 
> У него нет MapReduce.

Ммм, а назовите, где он есть?
В hbase и cassandra его нет, hadoop - это внешнее приложение
В mongodb есть, но судя по тому, что коллекцию можно заменить "работой в памяти" для небольших объемов, настоящий reduce на отдельные хосты не делается

А map-итераторы и так есть - их результат можно положить в тот же эллиптикс или в отдельную колонку, а потом на отдельных reduce хостах прочитать эти временные "таблицы"

> У него только один индекс/он же PK - по имени файла.

Ну это же совсем глупость, что PK по имени файла
Во-первых, ключ можно самому задавать, а во-вторых, можно делать вторичные индексы по любому собственному параметру на серверных скриптах, где-то я видел пример, как строится вторичный индекс по части заливаемого урла

> У него хранится в чистом виде Value - без структуры.

Так всегда и делают - в SQL это называется schema, которую все не любят менять :)

> Для его правильной работы нужно, чтобы весь индекс для хранимых данных помещался в оперативку, тогда производительность будет очень хорошей.

Глупости какие, вон там пример на 5 миллиардов ключей, каждый по 512 бит - памяти надо всего 300 гигабайт

В общем, надо бы вам еще бложик почитать :)

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

30. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Crazy Alex (ok) on 13-Фев-12, 22:36 
У couch, например, есть. Да и монго, вроде, как раз на разные инстансы параллелит (по кранйней мере вторая).
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

31. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 14-Фев-12, 00:11 
> У couch, например, есть. Да и монго, вроде, как раз на разные
> инстансы параллелит (по кранйней мере вторая).

Так это же не каноничнi mapreduce - там просто view который бежит по всем данным и может какие-то пропустить а какие-то взять
Такое много где есть - что в монге что в коуче
Как в couchdb view удалить данные? Или смержить их с результатом работы на другой ноде?

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

20. "Новый вариант распределённой файловой системы POHMELFS готов..."  –2 +/
Сообщение от Мужик32 (ok) on 13-Фев-12, 14:46 
И почему я сразу подумал, что разработчик - русский?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

29. "Новый вариант распределённой файловой системы POHMELFS готов..."  +2 +/
Сообщение от Mizuno on 13-Фев-12, 19:42 
Мне вот тоже кажется, что акроним был придуман раньше, чем его расшифровка)
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

24. "Новый вариант распределённой файловой системы POHMELFS готов..."  +2 +/
Сообщение от Аноним (??) on 13-Фев-12, 16:23 
Кластер из новости, кстати, изначально был в конфигурации "3 машины в 3 разных дц", потом добавили ещё по 1 машине в каждую группу, получилось "по 2 машины в 3 разных дц". Степень репликации = 3.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 14-Фев-12, 01:43 
чем бы детя не тешилось..
А он уже научилось писать с разных нод в один файл по разным смещениям?
Или до сих пор один глобальный i_mutex like семафор?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Новый вариант распределённой файловой системы POHMELFS готов..."  +/
Сообщение от Аноним (??) on 14-Фев-12, 03:51 
оно еще и читать через мастер сервер только может

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру