The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..., opennews (??), 10-Янв-20, (0) [смотреть все] +1

Сообщения [Сортировка по времени | RSS]


93. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  –2 +/
Сообщение от pofigist (?), 10-Янв-20, 12:52 
> А физические диски будет предоставлять коммерческая хранилка за миллионы нефти.

При всей моей любви к нетаппам и прочим - они немного за...драли. И не только меня - zfs позволяла делать много интересного... да - двуголовость это до сих пор проблема. Но решаемая.

> ваша btrfs давно уже немодна. thin-lvm + xfs ваше всьо.

Вот эта идея что менеджер томов должен быть отдельно, а файловые системы на томах - отдельно, меня всегда бесила.

Ответить | Правка | Наверх | Cообщить модератору

97. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от пох. (?), 10-Янв-20, 13:01 
> При всей моей любви к нетаппам и прочим - они немного за...драли.

ну так что ты хочешь, если ты теперь их корова и они тебя - доют? И еще и продавцы san-свитчей норовят со своим ведерком пристроиться. Деваться-то все равно некуда, не кластеры же из дерьма вместо энтерпрайзной хранилки собирать.

> Вот эта идея что менеджер томов должен быть отдельно, а файловые системы на томах - отдельно,
> меня всегда бесила.

теоретически - они могли бы быть и отдельно. Если между ними сделать интерфейсы, позволяющие fs детально объяснять нижним уровням, чего она от них хочет - "вот это данные одноразового назначения, вот это метаданные, беречь особенно, а к этому мы еще будем обращаться, даже если через год - потрудитесь не выбрасывать без повода".
Но такие глобальные проекты не на деньги ibm/орацла/ктотамещеостался невозможны, а тем и так хорошо и прельстиво.

Кстати, у zfs они частично разделены - zpool и posix layer таки два разных уровня, и взаимодействие между ними изначально было очень аккуратно разделено. Потом, правда, все равно превратилось в спагетти.

Ответить | Правка | Наверх | Cообщить модератору

104. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  –1 +/
Сообщение от pofigist (?), 10-Янв-20, 13:10 
>> При всей моей любви к нетаппам и прочим - они немного за...драли.
> ну так что ты хочешь, если ты теперь их корова и они
> тебя - доют?

Ну так доили бы хотя бы по делу... Как с нестандартным размером сектора у HDD - понятно зачем это нужно было, но вот сейчас, во времена победившего SSD/NVMe - зачем опять этот убогий вендор лок применять? Да и во времена HDD - могли бы договориться об enterprise hdd с особым, но стандартным размером сектора и методами работы с оным - всем бы лучше было бы...
А поддержка крупных кластерных FS как у них реализована, а?

Про FC - давно пора на помойку, после появления 10GbE с ее фичами типа RDMA - оно не нужно.

> Кстати, у zfs они частично разделены - zpool и posix layer таки
> два разных уровня, и взаимодействие между ними изначально было очень аккуратно
> разделено. Потом, правда, все равно превратилось в спагетти.

Ну да - можно сказать разделены. Были - когда этим еще санки рулили...

Ответить | Правка | Наверх | Cообщить модератору

117. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от пох. (?), 10-Янв-20, 14:25 
> Ну так доили бы хотя бы по делу...

по делу неинтересно. Там работать пришлось бы. Поэтому доют просто потому что очень кушать хочут.

Ну и учти, что диски производят одни, а корзины для них совершенно другие, и, со времен слива ibm, эти люди вообще никак не пересекаются.

> Про FC - давно пора на помойку, после появления 10GbE с ее фичами типа RDMA - оно не нужно.

типа между появлением и пригодностью хоть как-то для san - прошло очень много лет (а как первые годы гонялись за штучными аристами, вспомнить-вздрогнуть), и по сей день есть некоторые мелкие трудности, из-за которых проще и существенно надежнее поставить fc-свитч, в котором не бывает ни потерь, ни петель, ни задержек от непонятных причин, не говоря уже об отсутствии любимого всеми oversubscribe.
А идеи перемешать сеть данных и хранилок - и с 40GE выглядит по прежнему стремной. Если их не перемешивать - и платить за отсутствие оверсабскрайба и микросекундные задержки - то уже непонятно, что выигрываешь.

Ответить | Правка | Наверх | Cообщить модератору

136. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  –1 +/
Сообщение от pofigist (?), 10-Янв-20, 15:49 
Проблемы совмещения сетей - с одной стороны очевидны, а с другой - берем любую распределенную FS (а как без нее?) хоть, гластера, хоть люстру, хоть... да любую и вот после этого какой смысл разделять эти сети?
Ответить | Правка | Наверх | Cообщить модератору

142. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  –1 +/
Сообщение от пох. (?), 10-Янв-20, 16:11 
эм... вот ты хочешь сказать, что я делаю чего-то не так, разделив у себя дома их чисто физически по разным свитчам? ;-)

Ну и эта, хоть гластер, хоть люстра не особо предназначены для generic use, там не очень страшны потери и лаги... хотя видел я умельцев, раздававших с гластера тома виртуалкам (виртуалка думает что это такой scsi диск, соответственно и всякие таймауты выставлены под локальную scsi-шину, с характерными последствиями, если вдруг чо)

Ответить | Правка | Наверх | Cообщить модератору

170. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  –1 +/
Сообщение от Pofigis (?), 10-Янв-20, 20:38 
Дома, на железках с авито, ты волен делать все что угодно. А когда у тебя на работе стоит задача сваять катастрофоустойчивый кластер, ты начинаешь задумываться... И приходится городить странные вещи, хотя казалось бы - что мешало реализовать на уровне СХД?
Ответить | Правка | Наверх | Cообщить модератору

174. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от пох. (?), 10-Янв-20, 21:20 
> Дома, на железках с авито, ты волен делать все что угодно.

дома я хочу потерять _свои_ ценные байтики, пожалуй, еще меньше, чем на работе - чужие.


Ответить | Правка | Наверх | Cообщить модератору

194. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от Pofigis (?), 10-Янв-20, 23:32 
Да-да... но RAID6 с нормальной для дома производительностью обеспечит и mdadm. Да для дома - и RAID5 хватит, ибо надежность это конечно хорошо, но стоимость 8ми дисков приличной емкости и качества - напрягает. И корзина для них - дороже, и управляющая плата - дороже, да и память тогда уже нужна ECC... Вообщем дороговато это для дома-то...
Ответить | Правка | Наверх | Cообщить модератору

241. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от пох. (?), 11-Янв-20, 10:34 
> Да-да... но RAID6 с нормальной для дома производительностью обеспечит и mdadm.

он, прежде всего, нормальной для дома надежности не обеспечит. А с его ресилвером после любого неудачного сбоя - еще и обеспечит угробленный рейд.
Те идеи, на которых он когда-то был построен, были не особо-то хороши уже в 2002м году, когда диски меряли в гигабайтах, а не терабайтах - и когда я, повозившись с тестами, отказался от его использования в пользу аппаратных рейдов, каким бы они тоже не были дерьмом. Хватило примерно на 10 лет.

> для дома - и RAID5 хватит, ибо надежность это конечно хорошо,

повторяю - это у кого смотря какая порнуха. Если такая что можно новой еще больше накачать - то хватит, а суть raid5 - чтоб хоть не при каждом мелком сбое все - в тыкву, а через раз. Или если все помещается на дискетку в 360k. Если же на порнхабе ее нет, а бэкап невозможен, потому что для него нужен второй такой же массив - простые прикидки, сколько времени восстанавливается raid5 на минимально-разумные 4T, и какова вероятность что за это время даже не насмерть отъедет, а просто сбойнет еще один (md не умеет это обрабатывать, при том что на незаполненном массиве вероятнее всего сбойнет пустой вообще ненужный сектор) - ведут к однозначному выводу, что raid0 обойдется дешевле, а надежность будет примерно той же - нулевой.

> но стоимость 8ми дисков приличной емкости и качества - напрягает. И

Стоимость 12ти дисков приличной емкости и, в общем-то, наплевать, какого качества, поскольку дохнут одинаково что "ентер-прайсные" серии, что самые дешевые wd green, разница между ними в основном в гарантии, от которой погибшим вместе с ними байтикам не жарко и не холодно - не особенно пугает на фоне примерно $1,5k, которые, не считая таможенных поборов, придется заплатить за плату с ECC памятью, саму эту память, 10Ge от платы до конечных потребителей, корпус (на 12 они на дороге не валяются) и прочую мелочевку еще до начала заполнения хранилки.
Которая, кстати, хотя уже и не фатально, но тоже может неожиданно ломаться.

Альтернатива - утки, то есть гуанокластеры. Здесь можно (придется, ибо денег не напасешься) обойтись 1G ether, может с парой 10G аплинков для прожорливых, но цена самых дешевых юнитов получится под $70. Т.е 12 штук обойдутся в ~800 если ни один не приедет битым (хаха) - rma не для нас. Итого - вдвое дешевле серверного решения.

При этом, хотя ты потеряешь в производительности на одного клиента, выход из строя любой детали кроме свитча не ведет к отказу всей системы до замены компонента, который еще и может оказаться неудободоставаемым или слишком дорогостоящим, как в централизованном решении (умер мост  материнки - ты попал на новые 800+ и месяц из штатов, при условии что она не унесла с собой ничего что в нее было воткнуто).

И наращивать мощность можно плавно - все кластерные fs способны переконфигурироваться на ходу, поскольку им не нужно уничтожать пул вместе с данными, чтобы изменить тип рейда или число дисков в нем (zfs в не-орацловом виде по сей день застряла с этим в 2006м году - надысь, правда, ее гланды научили удалять, но через опу).

> корзина для них - дороже, и управляющая плата - дороже, да
> и память тогда уже нужна ECC... Вообщем дороговато это для дома-то...

глядя на то, с какой безумной скоростью гуглоинтернет уничтожает данные и информацию - быстро приходишь к выводу, что придется, увы, платить.

Ответить | Правка | Наверх | Cообщить модератору

274. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от Pofigis (?), 11-Янв-20, 16:21 
Вот я с тобой - полностью не согласен.
Для начала - какой объем данных ты действительно боишься потерять? Скорей всего, после критичной оценки - выяснится что гигабайты, если добавить фоточки любимого кота - десятки гигабайт. Больше - единичные случаи.

Бекап - ну ты же не будешь городить дома ленточную библиотеку? Значит - в облако, это не дорого.

RAID-5 - обладает достаточной надежностью для дома. Проверенно, упирал не раз - восстановить не удалось только один раз. И тут мы плавно переходим к дискам...
RAID-6, да еще и с hot spare - более чем надежен, особенно - если речь идет о небольших хранилищах, до 100Тб или околого того. А больше - ты дома врятли соберешь ибо дорого, очень дорого.

А вот теперь диски - между бытовухой и интерпрайзом разница принципиальная. Проверенно - бытовыха в стораджах не живет, а если вдруг что - восстановить действительно может и не получиться.

Гуано кластеры это конечно хорошо, но надежность у них хуже чем у qnap его raid-5. Про производительность я и не говорю - ее даже для дома мало. А делать приличные кластеры - очень дорого.

Ответить | Правка | Наверх | Cообщить модератору

291. "Линус Торвальдс пояснил, в чём проблемы реализации ZFS для я..."  +/
Сообщение от пох. (?), 12-Янв-20, 01:14 
> Для начала - какой объем данных ты действительно боишься потерять? Скорей всего, после
> критичной оценки - выяснится что гигабайты, если добавить фоточки любимого кота - десятки
> гигабайт.

э, нет. Критичная оценка это из серии "сгорела хата - нехай горит и забор".

Я никакую не _хочу_ потерять, потому что не хочу потом придумывать, откуда ее снова добывать, даже такую, которая очень маловероятно что снова понадобится - потому что один раз уже - значит может и второй. Не говоря уже о потерях времени и денег на это добывание.
Вот например банально сдохнет диск в конкретной настольной помойке - вроде сама система ничего ценного не представляет, взял и пере...ууупс... ее так просто не переставишь - репо уже частично нет, а часть - далече, и может в любую секунду быть удалена. А более современная тут работать не будет - нет драйверов. Нет, и в интернетах нет.

А так - одна низкокачественная копия 8mm фильма 1976го года (низкокачественная, потому что отвратительная китайская поделка для сканирования, где даже на роликах сэкономили -  это лучшее, что сейчас доступно за деньги) - 1.8 гигабайт. Сама пленка, увы, уже явно теряет цвет (не говоря уже о том что еще несколько лет - и я не смогу починить проектор. Сдохнет какой-нибудь резиновый пассик - его не восстановишь. Не говоря уже о лампах.) - и эта еще в хорошем состоянии - еще orwo и проявляли в родных химикалиях. Пленки 80х были хз уже чьи и проявляли во вчерашнем супе. Я до них пока не добрался, боюсь думать, в каком они виде. Впрочем, для меня они (пока?) менее ценны.

> RAID-5 - обладает достаточной надежностью для дома. Проверенно, упирал не раз - восстановить
> не удалось только один раз.

ну а у меня они дохли пачками при ненапряжной промышленной эксплуатации в помещении с правильным климатом и электропитанием, которые мне дома не по карману.

Что-то было восстановлено, многое - нет. При том что за это мне платили, а не я это делал в свободное немногое время что осталось.

> А вот теперь диски - между бытовухой и интерпрайзом разница принципиальная. Проверенно

А лично моя статистика отказов в хайлоадных стойках десятилетней давности - говорит о том что разницы между дорогущими ентерпрайзными и ширпотребными либо не было вовсе, либо она в пользу ширпотреба. Учитывая что с этим всем произошло за десять лет - можно я не буду перепроверять?
Если что - диск в ебеме перед новогодними праздниками - возьми да и наипнись.
Нагрузка на эти диски - нулевая, там логи nginx и еще какая-то мелочь хранятся, да и тех не терабайты, это энтерпрайз а не гугель.

> Гуано кластеры это конечно хорошо, но надежность у них хуже чем у qnap его raid-5.

это вообще уже пошли влажные фантазии. Учитывая какой там трэш и п-ц внутри того qnap'а - его достаточно неудачно выключить, чтобы он весь превратился в тыкву. Что для этого надо сделать с тем же gluster, я вас внимательно слушаю? Его даже граната, брошенная в центр может не убить полностью.

> Про производительность я и не говорю - ее даже для дома мало.

производительность пока в моих тестах упиралась в сетевую часть потребителя.
Кластер мог бы отдать ему больше, но некуда. Надо где-то тырить свитчи с 10G аплинками без вентиляторов. Если их покупать, цена решения приближается к nas'овому на zfs, хотя оно все еще остается менее чувствительным к отказу компонент и более просто восстанавливаемым руками, чем внезапно-отказавшийся импортиться пул zfs, если вдруг что.

Ответить | Правка | К родителю #274 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру