The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Обновление кластерной файловой системы LizardFS 3.13.0-rc2, opennews (??), 10-Ноя-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


27. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  –1 +/
Сообщение от Онаним (?), 10-Ноя-19, 19:00 
> а, блин, вдогонку: lightweight снапшоты и trashcan.
> У gluster первого технически не сделать нормально, а второе сделано в виде
> trash. В смысле, выкрасить и выбросить только.

У гластера в trashcan превращается всё хранилище после первого же серьёзного сбоя репликации.

Ответить | Правка | Наверх | Cообщить модератору

29. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +3 +/
Сообщение от пох. (?), 10-Ноя-19, 20:49 
расскажите, как вы это делаете.

Учитывая что "сбой репликации" у него вообще в клиенте (и тоже интересно - КАК?), а в хранилище банально лежат файлы на банальной xfs или вообще ext4 - поштучно, потому что все "хранилище" - пачка EA привязанных к этим файлам, и их всегда можно руками вытащить. КАК?!

И эти люди будут рассказывать про прелести ceph. Где не то что руками никуда не подлезешь, а понять-то меганавороченные механизмы и научиться хотя бы выбирать правильные - годы уйдут.

Ответить | Правка | Наверх | Cообщить модератору

33. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 10-Ноя-19, 22:28 
> расскажите, как вы это делаете.

Ну у меня там просто не полторы виртуалки лежало. Я туда пытался рабочий набор статистики загрести, несколько сот тысяч файлов по 1-30 метров каждый. Поигрался, пока репликация этого счастья колом не встала. Вытащилось-то всё, конечно, по датам модификации без проблем, но сам гластер оказался неюзабелен - репликация легла до такого состояния, что ноды ставили сеть раком и не синхронизировались никогда.

Ответить | Правка | Наверх | Cообщить модератору

34. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +1 +/
Сообщение от Онаним (?), 10-Ноя-19, 22:31 
С Ceph кстати тоже не пошло, упёрлись в latency на геораспределённой хранилке. Сейчас под этим добром лежит OCFS2 в итоге.
Ответить | Правка | Наверх | Cообщить модератору

35. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 10-Ноя-19, 22:32 
Shared LUN - не совсем то, что хотелось, хотелось распределённо данные выкорябывать, чтобы bandwidth был потенциально бесконечный, но на практике хрен он этот bandwidth занимает, упирается в latency между узлами и клиентами.
Ответить | Правка | Наверх | Cообщить модератору

36. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Michael Shigorinemail (ok), 10-Ноя-19, 22:44 
> упёрлись в latency на геораспределённой хранилке

Поищите запись/тезисы доклада Евгения Полякова на первом LinuxPiter, очень толково, насколько вообще могу судить.  Но они в итоге уже к Reverbrain/Elliptics пришли к объектным хранилкам, опять же насколько помню.

PS: в смысле именно из-за латентности длинных соединений.

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

37. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +2 +/
Сообщение от пох. (?), 10-Ноя-19, 23:13 
> Я туда пытался рабочий набор статистики загрести, несколько сот тысяч файлов

хорошенький стресс-тест. вам бы с этим в тестировщики в редхат наняться до их покупки ебеме - глядишь, успели бы что починить ;-)

Я, честно говоря, удивился бы, если бы такое работало.

Но все же интересны детали - репликацией в gluster занимается исключительно _клиент_. Сломать кластер он не сможет - только записать мусор вместо данных или неправильно раскидать по нодам, но этого ж добиться надо суметь.

Так что расскажите подробностей, что и как вы ТАК ухитрились в нем поломать, что было сконфигурено, что в результате показывал gluster volume status и heal - может кому пригодиться чтоб ТАК не делать.

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

47. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от Онаним (?), 11-Ноя-19, 14:16 
Да обычная реплика + шарды. Хорошо хоть страйп не сделал, из страйпа вообще упал бы потом выковыривать.
Ответить | Правка | Наверх | Cообщить модератору

51. "Обновление кластерной файловой системы LizardFS 3.13.0-rc2"  +/
Сообщение от пох. (?), 11-Ноя-19, 15:01 
в смысле, distributed-replicated, то есть эн реплик по 2*N (не >2, надеюсь)? Убилось-то оно у вас как - клиент писал-писал, и что-то такое понаписал на этих миллионах файлов?

И на какой версии вся эта красота?

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру