форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от opennews on 27-Дек-11, 11:43
Спустя три года с момента первого релиза (https://www.opennet.ru/opennews/art.shtml?num=15561) сетевой распределённой файловой системы POHMELFS в списке рассылки разработчиков ядра Linux представлен (https://lkml.org/lkml/2011/12/23/161) полностью переработанный вариант данной ФС, в котором реализовано большинство из всех запланированных ранее возможностей. Код проекта распространяется под лицензией GPLv2. Новая реализация POHMELFS базируется на распределённом хранилище Elliptics (http://www.ioremap.net/projects/elliptics), представляющем собой (http://www.elliptics.ru/node/3) распределённую хэш таблицу. Изначально Elliptics развивался как часть POHMELFS, но два года назад был выделен в отдельный проект, который успешно используется в промышленной эксплуатации. Например, Elliptics используется для организации хранения около петабайта контента в сервисах компании Yandex (карты, фотографии, музыка). Хранилище рассчитано на организацию надёжного хранения большого объема данных в форм... URL: http://www.ioremap.net/node/529 Новость: https://www.opennet.ru/opennews/art.shtml?num=32667
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

2. "Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от deadless (ok) on 27-Дек-11, 11:49
о, восставший из пепла..
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Представлен полностью переработанный вариант распределённой ..."	+5 +/–
Сообщение от Tigro (??) on 27-Дек-11, 12:27
Автор уже четвертый день как Россию покинул, а тут такая новость:):)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	21. "Представлен полностью переработанный вариант распределённой ..."	+1 +/–
	Сообщение от anonymous (??) on 27-Дек-11, 15:54
	Насовсем?
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	39. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Tigro (??) on 27-Дек-11, 22:45
	Не, так на лыжах покататься.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

8. "Представлен полностью переработанный вариант распределённой ..."	+2 +/–
Сообщение от б.б. on 27-Дек-11, 12:53
Решили под новогоднюю релевантность попасть? Вспоминается история с libsexy.rpm и dcpp.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Представлен полностью переработанный вариант распределённой ..."	–9 +/–
Сообщение от Аноним (??) on 27-Дек-11, 13:14
Чем оно отличается от Tahoe-LAFS
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	36. "Представлен полностью переработанный вариант распределённой ..."	–8 +/–
	Сообщение от Аноним (??) on 27-Дек-11, 20:12
	Чё минусуете то, объяснить не в состоянии? Я по существу спросил, ибо интересно и действительно не знаю.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	57. "Представлен полностью переработанный вариант распределённой ..."	+3 +/–
	Сообщение от wS on 28-Дек-11, 11:45
	минусуют за то что сам не хочешь разбираться. зайди прочти про POHMELFS в чём плюсы и минусы и сравни Tahoe-LAFS
	Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

	64. "Представлен полностью переработанный вариант распределённой ..."	–1 +/–
	Сообщение от анонимм on 28-Дек-11, 18:57
	а тебя за что минусуют
	Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

	65. "Представлен полностью переработанный вариант распределённой ..."	–1 +/–
	Сообщение от wS on 28-Дек-11, 22:22
	троллей не любят:)
	Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

10. "Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от evgeny_t (ok) on 27-Дек-11, 13:21
во человек работает )
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Представлен полностью переработанный вариант распределённой ..."	+2 +/–
Сообщение от Просто прохожий on 27-Дек-11, 13:22
Мои поздравления. Как только она появилась в ядре в первый раз она меня сразу заинтересовала. Удачи проекту!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Представлен полностью переработанный вариант распределённой ..."	+8 +/–
Сообщение от Онаним on 27-Дек-11, 13:57
>"автоматическое восстановление сбоев" Сильная вещь! Т.е. если один раз сбойнет, то ремонтировать бесполезно...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	50. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 04:49
	Да не, просто многократное резервирование. Помер один из узлов? Да и хрен с ним!
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	66. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 29-Дек-11, 02:03
	Очевидно, соль шутки вы не уловили.
	Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

	74. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 31-Дек-11, 16:01
	помер один из узлов - и кластер 3е суток синкает данные на востановленную ноду
	Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

13. "Представлен полностью переработанный вариант распределённой ..."	–1 +/–
Сообщение от Аноним (??) on 27-Дек-11, 14:10
Afs?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Представлен полностью переработанный вариант распределённой ..."	–1 +/–
Сообщение от alrond (ok) on 27-Дек-11, 14:13
Я так понимаю прямой конкурент GlusterFS
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	17. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от ceph on 27-Дек-11, 14:46
	Или ceph
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	29. "Представлен полностью переработанный вариант распределённой ..."	+1 +/–
	Сообщение от k_bx on 27-Дек-11, 18:51
	Я думал GlusterFS -- это поверх существующих ФС. Я ошибкался?
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	37. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от alrond (ok) on 27-Дек-11, 20:25
	Так и есть, но я смотрю по задаче - обеспечение отказоустойчивого хранилища(типа сетевого raid1), способного к клиентам цепляться как posix-фс Конечно поверх ФС удобнее - можно, например, сканировать для анализа на контентных серверах локально, что будет быстрее чем через шластер, даже локально примонтированного
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

16. "Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от Аноним (??) on 27-Дек-11, 14:34
Этот Elliptics в юзерспейсе работает? Вообще, что именно из всего этого комплекса реализовано на уровне ядра?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Представлен полностью переработанный вариант распределённой ..."	–1 +/–
Сообщение от Аноним (??) on 27-Дек-11, 15:13
Как потестировать/посмотреть на это в убунте?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Представлен полностью переработанный вариант распределённой ..."	–3 +/–
Сообщение от bircoph (ok) on 27-Дек-11, 16:01
Оно уже перестало давать kernel panic при записи?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	69. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 29-Дек-11, 02:09
	> Оно уже перестало давать kernel panic при записи? Спросите у админов Яндекса.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Представлен полностью переработанный вариант распределённой ..."	+2 +/–
Сообщение от emfs (ok) on 27-Дек-11, 17:27
кто-нибудь применяет у себя в продакшн?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	25. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Иван (??) on 27-Дек-11, 17:58
	кроме Яндекса возможно никто.
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

	27. "Представлен полностью переработанный вариант распределённой ..."	–6 +/–
	Сообщение от deadless (ok) on 27-Дек-11, 18:24
	откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю.
	Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

	40. "Представлен полностью переработанный вариант распределённой ..."	+2 +/–
	Сообщение от Аноним (??) on 27-Дек-11, 23:05
	> откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю. Очевидно, новости вы не читали, сразу обсуждать бросились :D
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	63. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 16:59
	>> откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю. > Очевидно, новости вы не читали, сразу обсуждать бросились :D в блоге коментарий - "что-то никто не пишет сюда, и в lkml нету движухи" Видимо оно так всем надо.
	Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

	68. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 29-Дек-11, 02:08
	> в блоге коментарий - "что-то никто не пишет сюда, и в lkml нету движухи" > Видимо оно так всем надо. Не, они просто еще читают и осмысливают. Не то что здешние - прочитали только заголовок (и то наискосок), и уже бегом обсуждать.
	Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

	70. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 29-Дек-11, 10:18
	некоторые "местные" указывали автору на узкие места - а автор отмахивался - "мне так удобно и идите вон". Кстати - он до сих пор не дает читать и писать в конец файла одновременно?
	Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

26. "Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от Аноним (??) on 27-Дек-11, 18:21
frontend - внешний интерфейс. Зачем плодить лишние сущности?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Представлен полностью переработанный вариант распределённой ..."	–3 +/–
Сообщение от Аноним (??) on 27-Дек-11, 19:59
какой смешной метод повышения отказо устойчивости. надо будет послушать как у них будет ложиться сеть когда одна из нод умрет и все начнет синхронизироваться по сети.. ;-) Видимо пока живет - пока ноды не умирали - или нагрузка в сети меньше 20% от пропускной :) а вообще попытка сделать новый map-reduce ;-)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	41. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 27-Дек-11, 23:08
	> какой смешной метод повышения отказо устойчивости. Вас послушать - так они все смешные, а отказоустойчивость - это миф.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	49. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 03:06
	>какой смешной метод повышения отказо устойчивости. надо будет послушать как у них будет ложиться сеть когда одна из нод умрет и все начнет синхронизироваться по сети.. ;-) Оптимизируют и это...
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	53. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 04:58
	> надо будет послушать как у них будет ложиться сеть когда одна из > нод умрет и все начнет синхронизироваться по сети.. ;-) Обычно в таких системах репликация данных делается заранее. Поэтому вылет узла тупо не заметен как класс. Или вы думаете что в ынтырпрайзе типа гугла или хотя-бы яндекса сервера никогда не ломаются? Агащаз, для большого ынтырпрайза вылет сервера - почти штатное событие. Если у вас есть миллион дисков - вы только и будете делать что заменять полетевшие. А если у вас их только 10, то может и за 5 лет ни 1 не замените. Чисто теория вероятности работает.
	Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

	61. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 16:53
	аха. было 3 реплики - вылетела 1 нода, стало 2, потом еще одна, осталась последная.. и что вы хотите сказать что эта система в отличии от Gluster (или ceph я их путаю) - не востанавливает количество реплик до заданного? То есть не запускает режим востановления содержимого ноды аналогичного raid rebuild ? учитывая что сейчас 120T на ноду это нормально - я хотел бы послушать оценки - как долго 120T будут синхронизироваться с других нод по сети ;-) А значит - как долго кластер будет тормозить.
	Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

	59. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от k_bx on 28-Дек-11, 12:58
	>>какой смешной метод повышения отказо устойчивости. > надо будет послушать как у них будет ложиться сеть когда одна из > нод умрет и все начнет синхронизироваться по сети.. ;-) > Оптимизируют и это... А, собственно, в чем проблема? Во-первых, если точность / согласованность данных не сильно важна (как в случае с я.картами), то можно держать 3 реплики, при этом на чтение требовать только одну. Таким образом вылет 2 из 3х дисков для нас останется безболезненным. Ну и синхронизироваться никто никуда не будет при вылете, просто новый диск надо будет вставить. А синхронизация нужна именно при удалении ноды из кластера (когда кластер уменьшать собираемся), или же при росте кластера (что тоже не так уж часто нужно).
	Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

	62. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 28-Дек-11, 16:56
	>>>какой смешной метод повышения отказо устойчивости. >> надо будет послушать как у них будет ложиться сеть когда одна из >> нод умрет и все начнет синхронизироваться по сети.. ;-) >> Оптимизируют и это... > А, собственно, в чем проблема? Во-первых, если точность / согласованность данных не > сильно важна (как в случае с я.картами), то можно держать 3 > реплики, при этом на чтение требовать только одну. Таким образом вылет > 2 из 3х дисков для нас останется безболезненным. Ну и синхронизироваться > никто никуда не будет при вылете, просто новый диск надо будет > вставить. Да да. raid запускает в этот момент rebuild - вы не знали об этом? так и тут - надо востановить требуемую избыточность - что бы при следующем вылете дисков не остаться вообще без данных. Вот и вопрос - сколько ж будет напрягаться кластер при вылете одной из нод объемом 100T? и учтите - кластер начнет терять в производительности пока идет синхронизация и восстановление содержимого ноды..
	Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

	72. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от psv (??) on 31-Дек-11, 11:51
	скорость синхронизации дозируется (добавление ноды производят в период наименьшей нагрузки) и никакого конца света не будет
	Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

	75. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 31-Дек-11, 16:07
	> скорость синхронизации дозируется (добавление ноды производят в период наименьшей нагрузки) > и никакого конца света не будет ну да. осталось узнать когда это наименьшая нагрузка - и прикинуть что 120T будет писаться дня 3-4 на full time -  а если "дозированно" то это будут недели, а за это время еще одна нода может сдохнуть - или не давать требуемой скорости. Так что конец света или не конец - но дизаин кривой.
	Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

	73. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от psv (??) on 31-Дек-11, 11:55
	> надо будет послушать как у них будет ложиться сеть когда одна из > нод умрет и все начнет синхронизироваться по сети.. ;-) ну почему ложится? новая нода получает свои стопятьсот терабайт от _многих_ нод хранища. то что новая нода не сможет отвечать сама не критично, а для остальных это появление всего одного дополнительного клиента. свичи куда включены ноды обычно пропускают по своей шине полный суммарный трафик своих портов без проблем.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	76. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 31-Дек-11, 16:09
	>> надо будет послушать как у них будет ложиться сеть когда одна из >> нод умрет и все начнет синхронизироваться по сети.. ;-) > ну почему ложится? новая нода получает свои стопятьсот терабайт от _многих_ нод > хранища. то что новая нода не сможет отвечать сама не критично, > а для остальных это появление всего одного дополнительного клиента. потому что - эти ноды они того... тоже бывают загружены - и с них забирают данные. То есть загружать 120Т будут неделями. за это время может сдохнуть еще одна копия и.... > свичи куда включены ноды обычно пропускают по своей шине полный суммарный трафик > своих портов без проблем. Зато диски у "других" нод - имеют конечную пропускную способность. Которую почему-то все хотят израсходовать. А тут еще сливать копию потеряных реплик куда-то.
	Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

46. "Представлен полностью переработанный вариант распределённой ..."	+/–
Сообщение от FSA (??) on 28-Дек-11, 00:42
Не первый раз слышу об этой файловой системе. Но за название зачёт. Не что, что XEP от Apache :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	47. "Представлен полностью переработанный вариант распределённой ..."	+2 +/–
	Сообщение от pavlinux (ok) on 28-Дек-11, 01:07
	Да ты что, наш делает, Поляков, Евгений вроде... Придумал с бадуна, потом придумал культурную расшифровку.
	Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

	48. "Представлен полностью переработанный вариант распределённой ..."	–4 +/–
	Сообщение от progserega (ok) on 28-Дек-11, 02:31
	Скорее наоборот. Алкогольно-наркоманский "юмор". Вообще, алкогольная тематика в интеллектуальной среде - это оксюморон.
	Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

	67. "Представлен полностью переработанный вариант распределённой ..."	+/–
	Сообщение от Аноним (??) on 29-Дек-11, 02:06
	> Скорее наоборот. Алкогольно-наркоманский "юмор". Вообще, алкогольная тематика в интеллектуальной > среде - это оксюморон. Да, настоящий интеллектуал должен всегда ходить в черном смокинге с похоронным выражением лица, и любой юмор презрительно называть "оксюмороном" (или "рододендроном", как раница, все равно никто не поймет).
	Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема