> я имел в виду - на своих экспериментальных.Вот уж нет. На компах с btrfs работается работа и лежат ценные данные, потери которых могут поставить меня на деньги или сделать жизнь сложнее. Самое ценное бэкапается, но отказ может вызвать срыв обязательств. Не в моих интересах.
> А то что жалко - лежит на ext4 hw raid1, да.
А смысл? Вернет один из сторажей мусор, а его примут за чистую монету, потому что чексум данных нет. Технически фирмварь может что угодно вернуть. В проводе данные могут побиться. При тестировании мусором crc и fec - лажа может и пролезть, когда объемы терабайтами а ошибки частые. Ext4 с raid от этого не поможет. И не факт что разрушения сразу заметно будет. А потом постепенно окажется что бэкапы битые. А вечное хранение всех бэкапов - не для всех.
> (на не-экспериментальную zfs хранилку с нормальным быстрым подключением к потребителям,
> увы, не хватило денег и времени)
Оно сделано под узкие допущения. И поэтому принести счастье на, допустим, моем лаптопе - не способно. А энтерпрайзные железки - большие, тяжелые и прожорливые. Лаптоп из них фиговый.
Тем кто хранит дофига - логично использовать что-нибудь распределенное, разнесенное в множество локаций. Так даже метеорит в датацентр ок: сервис не завалится, бизнес не встрянет. Наверное, по мере понимания этого и наработки алгоритмов сани и оказались понятно где. Оно как бы круто, но как бы золотой унитаз по сути. Дорого и бестолково.
> При серьезных, и это обычно проблемы с hardware, а не просто неудачно
> выключили питание, иногда fsck помогал.
Когда разработчики ФС говорят что это чуть ли не by design - меня это несколько нервирует, чтоли.
> Если он не помогал - то надо было набрать --help и следовать
> инструкциям, куда заслать $25.
Дарю идею: монтировать ФС первых полгода, а потом резко требовать $25. Шароварщики так и делают по жизни, кстати.
> Потому что дальше уже нужно было понимание, как что работает, и какие
> последствия может иметь.
ИМХО, удачность tradeoff'а спорная. То что я себе с btrfs при нужде выну данные не сильно хуже разработчиков, кроме совсем странных случаев - пожалуй. А когда разработчику выгодно по деньгам чтобы ФС дохла... это стремно, на уровне причинно-следственных связей. Этак они еще специально баги лепить начнут, выгода же.
> (эх, sgreen, где ты? Крымнаш(или нам крыш),sun банкрот, а двадцатку я тебе
> все еще торчу)
Ну вот сан и показал насколько всем надо суперхранилки по суперцене. Оракл даже за ценный актив это не посчитал. Ни соляру, ни zfs. Просто слили обоих.
>> выну rescue'ом данные в таком случае, и черт с ним с
> если смонтируется и найдет там нужный срез ;-)
ФС не монтируется при этом, чудак. Сама утилса парсинг делает, как тирамисы и акронисы для фата и нтфс. Только платить не надо: штатная фича утилсов ФС. И вот это уже с прицелом на вытаскивание данных, может себе позволить странные вещи типа сканирования тома, и совсем иных приоритетов чем у драйвера ФС, который не может позволить себе 5 минут шариться в всех мыслимых generation'ах.
> Они реально могли за эти деньги помочь - причем ты тоже понимал,
> что не ремонт провалов оплачиваешь, а продолжение разработки.
Получается что выгодно баги лепить, чтобы ФС рассыпалась. Стремная бизнес-модель.
> Хрен теперь таких разработчиков найдешь, даже за большие деньги :-( notabug, следующий.
Да ну фигня, я для амдшников git bisect делал несколько раз. А Ульрих из Редхата - явно не вчерашний персона. Так что как повезет, люди разные бывают. По эпохам это медленно меняется.
> ну так в ноуте давно ssd, и в типовом десктопе гибридный диск
У лично меня SSD в десктопе - потому что это задумано как высокопроизводительная конфигурация. А в лаптопе винч, потому что SSD маловато. Приемлимой емкости или TLC сыпучий, или стоит как самолет, на выбор. А второй девайс в ноуте некуда. Ну и SSD надежности явно не прибавит. Особенно дешевый TLC, достаточно на досуге почитать MTDшные рассылки линуксоидов, на предмет того что это из себя представляет.
Ну и между нами, как там 9 женщин будут за месяц ребенка и что там в мифическом типовом лаптопе - в общем то не мои проблемы. Меня интересуют мои юзкейсы и чтобы с ними было оки-доки.
> правда, когда накроется - опять таки никого не жалко.
При том накроется менее предсказуемо, паттерны протирания не контролируемы, фирмварь и хардвар сложнее чем у SSD и HDD по отдельности, так что восстанавливать данные с гибрида - удачи, но это экзотика и лучше сразу искать хороших про. И готовить чемодан денег. Как-то так.
> нет, он ее тоже вполне универсальную делал, файлохранилок как класса в те
> годы вообще еще не придумали.
Я не знаю что там "делали" но получилось не особо, с своеобразными требованиями и допущениями, за пределами которых резко terra incognita и хексэдиторы, как на лисяре. С отмазками что и не обещали. В btrfs на это посмотрели и изначально постарались быть более удобными, унивресальными и гибкими. Так что ноутам DUP метаданных на 1 носитель. Можно и данных, но надежность вырастет не столь радикально, а половину места изволь отдать. Для БД и VM с cow дисками - nodatacow есть, если долговременный перфоманс важен. Так что оно не только COW, но и in-place overwrite, если надо. Сторажи можно как добавить, так и изъять. И уровни избыточности не высечены в камне, можно на ходу переиграть. Снапшоты, которые суть cow'нутая иерархия (subvolume). Оно удобное. Ну или по крайней мере пытается быть таковым. Для меня это работает.
> круто, а производительности было примерно с мой атом, да и те
> scsi диски тоже были не лучше моих)
У них допущения по обвесу, его свойствам, надежности и проч - другие. При их размере и весе там можно и пачку дисков засунуть. А вот в ноуте соображения размера и веса это исключают, например. А весь лейтмотив ZFS - факапы на блочном уровне "should never happen". А если все же ой - тогда вообще совсем ой. Без запасного парашюта на этот случай толком. И это ОЙ.
> (нет, это я не меряюсь аптаймом, это я ядро там сломал и
> перезагрузить боюсь, а времени чинить нет и не предвидится)
А вот кстати говоря, лично я к внебрачным модулям ядра отношусь крайне негативно - потому что вечный источник проблем. Для меня есть майнлайн. Их политики и разработчики мне нравятся. А вот на всякие виртуалбоксы, зфсы и прочих нвидий это не распостраняется. Хотя-бы потому что потом с таким кернелом даже баг нормально не зарепортишь. Как максимум мне может хотеться какие-то мелкие кастомные самописный модули, но там я буду сам себе саппорт и в случае факапов - понятно на кого пенять.
> swap, понятно, не в zvol. одно ядро, один гиг оперативы, один мелко-сайтик
> - который, тем не менее, не дохнет, если гугл вдруг заглядывает на огонек.
Да я не спорю, бывает и круче, типа как с опеннетом, где МегаКастомнаяКонфига, которую потом при развале не могут неделями поднять. Но со своей стороны я предпочту забыть такое администрирование как страшный сон. Потому что машины должны работать, а человек - думать (c) IBM.
> это не из-за острой любви к zfs, если что, а из-за works
> as intended в ufs. То есть там выбирать не из чего.
Наверное бсда, судя по описанию. Потому и загибаются на пару - бенефиты неубедительны.
> Но, как видим, в целом - работает.
Мне Linux и его разработчики нравятся за то что они делают меня мощнее. С ними я ощущаю себя как те парни на летучем крыле. Запустил турбины и усвистал вверх, себе по кайфу. А с всем этим ветеран-юникс-энтерпрайзом ощущаешь себя шаманом занимающимся камланием, при том уже никто и не помнит почему это хорошо, "просто тут так принято". Как в том эксперименте с обезьянами, водой и бананами.
> это пока не приходится в этом ентер-прайсе работать.
А что значит "приходится"? Я не раб, к стойке с хранилкой не прикован, так что если я не захочу этим заниматься - фиг заставишь. Мной это воспринимается как что-то типа попыток гонять на почтовом дилижансе, с аргументом что раньше работало и инфраструктура отлажена. А почтовые грузовики и тем более авиапочта - от лукавого.
> Тогда ты полюбишь хранилку, и будешь кирзовым сапогом хреначить любого,
> кто вздумает развести локальненькую помоечку (потом хомячок отрастает до размера носорога,
> становится бизнес-критикал, а потом наворачивается блок питания)
Сапоги надо направлять в правильном направлении - на источник гемора. Поэтому если кто несколько веков назад завязался на почтовые дилижансы и никак не может перейти на грузовик - вот ему и врезать, может встряска мозги вправит чутка. Ну а штуки типа гуглей, фэйсбуков и твиттеров с уберами и прочие коины с этим не так уж плохо справляются. Так что если кто хочет на своем дилижансе рассекать, постепенно заметит что клиенты и сотрудники ушли к другим. Поэтому даже просто нового конюха нанять - приключение.
> ты историю-то хорошо знаешь? Задумали ее как "мы тоже могем zfs, только
> гепеле-гепеле".
Мэйсон анализировал что есть вокруг, какие с этим есть проблемы и как бы их поизящнее обыграть. Понятно что философский камень - штука сложная. Но лично мне то что вышло пришлось по вкусу.
> Вышел пшик.
Worksforme, так что...
> Потом, внезапно, подключился сам-хозяин-zfs (новый, понятно).
Вообще-то сам-хозяин-zfs подключился еще до, и Мэйсон там и работал сначала, насколько я помню. А потом до кучи саней прибрал к рукам, в основном из-за явы и клиентуры. ZFS и соляра вышли дублирующими технологиями, которые к тому же надо целиком самому, это вам не линукс где можно у редхата все стырить и только напилить по патчикам, сделав вид что крутой работник.
> Потом (поскольку ext4 уже было мучительно больно пользоваться) взялась suse (еще
> та, настоящая). Ну и энтузиастов нашлось, внезапно. Оно даже стало работать.
Для начала основы накатал сам Мэйсон, архитект этой штуки. И оно худо-бедно работало. Но, конечно, без легиона народа все предусмотреть не удалось и оно конечно же брыкалось в разных странных юзкейсах, о которых Мэйсон даже и не задумывался. Однако в целом брыкалось оно поменее других, особенно при таком то наборе фич. Если кто думает что может сравнимый набор фич, с соотношением грабель лучше - пусть покажет мастеркласс.
> btrfs умеет рефлинки, то шта нада!
Да оно и для виртуалок неплохо. Без всяких докеров. И вообще, отлично придумали фичу. У меня нет никаких докеров, что не мешает мне рефлинки наворачивать на иерархии в контейнерах и VMные диски-в-файле.
> ну вот у zfs оказались не рядом.
Да у них вообще много чего странного и странные допущения. Реально проектировали под суровый энтерпрайз, не смея даже на секунду думать о чем-то ином. В btrfs'е вот подумали - так что DUP для метаданных на лаптопе выручил. А в ZFS так вроде нельзя, они не настолько смело мыслили на предмет гибкости аллокатора.
> они типа их даже вроде бы соорудили в самой fs, но до
> юзерлевел дотянуть не хватило - причем что у орасана, что у zol.
И это как раз очень странно - потому что онлайн дедуп с диким жором ресурсов оно даже умеет же, а hinted дедуп, когда заранее явно задекларено что ВСЕ блоки - дупы, так что ресурсы на отлов дупов тратить и не надо - почему-то нельзя?! Чудеса да и только.
> Ну а потом прибежал ошпаренный менеджер дельфикса с большой палкой
> - "что вы тут хренью маетесь, у меня тормозит!" и тему что-то забросили совсем.
Да с чего ему быть быстрым то? Как я понимаю оно даже на экстентный дизайн тянет весьма условно. Там блоки переменного размера есть, но пойнт экстентов - в том чтобы мелкий регион метаданных адресовал кучу данных. Это улучшает соотношения и разгоняет ФС. Но в ZFS видимо преследовали какие-то иные цели. Или черт их там разберет. "Я его слепила из того что было". Мэйсон лепил позже - и поэтому смог в нормальные экстенты. Не хуже чем у других вроде.
>> "У нас разбежались спецы по файлухам и мы не смогли нанять новых,
> они для этого купили цельный большой бизнес, что странно.
Чего они купили по файлухам? Явно не опенсорсное и вообще, XFS и так был, нафиг чего-то покупать? Что это дает то и кому? Ну и лично я не доверяю всяким скупкам и вываливанию в опенсорц. Это на моей памяти сработало 1 раз - в случае Google и утиной компании. Но там извините вопрос на миллиард, всех приперло, гугл умел пиариться, услышал просьбу FSF и сотоварищей и таки сделал ровно то что опенсорсники просили. Но такое сочетание факторов бывает раз на миллион. А в случае редхата ситуация немного не та чтобы все безальтернативно цеплялись за почему-то XFS с менеджментом на пыхтонрасте поверх lvm и проч.
> Купить пару индусов из проекта zol было бы куда дешевле - но, похоже, боятся.
Скорее, имеючи легион нормальных ядерных разработчиков понимают бессмысленность этого процесса. Вне ядра оно как таковое не жилец. Шапке и так думаю хватает с бэкпортами на свое чудо-ядро. Врядли они добавки хотят.
Это не изменится - оракл заклятый друг редхата, делать удобно редхату не будет. Да и за столько лет все-равно большинство спецов поразбежалось из оракла кто куда. И как с футболистами, чтобы всю команду скупить и клуб сменить не сработает, имхо. Даже если теоретически допустить что оракл и редхат забьют на разборки и смогут взаимовыгодно договориться.
