forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD, opennews (??), 07-Янв-21, (0) [смотреть все]

погодите-ка, так эта ФС используется в ядре или в пространстве пользователя , Аноним (1), 09:51 , 07-Янв-21, (1) –12 //

Это зависит только от тебя, ИмяХ (?), 10:06 , 07-Янв-21, (3) –3
OpenZFS - в ядре , anonymous (??), 10:06 , 07-Янв-21, (4) +5
В ядре модуля, Аноним (5), 10:08 , 07-Янв-21, (5) –3
В пространстве ядра пользователя модуля, Аноним (6), 10:51 , 07-Янв-21, (6) +9 //

В пространстве пользователя ядерного модуля, ты хотел сказать Не благодари , Аноним (72), 23:35 , 07-Янв-21, (72) +1 //

В ядре пространства модуля пользователя , VladSh (?), 14:39 , 11-Янв-21, (213)

Да , Аноним (7), 11:26 , 07-Янв-21, (7) +5 //

Нет , Аноним (10), 12:54 , 07-Янв-21, (10) –1 //

Отнюдь не Анонима ответ , Аноним (18), 14:34 , 07-Янв-21, (18)
Не пинди , псевдонимус (?), 17:56 , 07-Янв-21, (39)

Волновая функция схлопнется, когда откроют коробку , Ю.Т. (?), 13:02 , 07-Янв-21, (11) +3

Отличная файловая система Она как запретный плод один раз zfs - всегда zfs _, Аноним (8), 11:54 , 07-Янв-21, (8) +5 //

Да особо ничего в ней хорошего нет вот если из формата zst сделают файловую сист, 5.6_4.2 (?), 12:26 , 07-Янв-21, (9) –6
zfs лучше ext4 Чем , Аноним (15), 14:05 , 07-Янв-21, (15) –1 //

снапшоты которые не уменьшаю производительность в отличии от lvm2 и их можно п, анон (?), 14:10 , 07-Янв-21, (16) +4 //

А вот прям на домашнем компуктере обоснованно , Аноним (15), 15:10 , 07-Янв-21, (21) –2

А на домашнем компютере не хранятся налоговые отчеты, фотки и видео семьи,которы, OpenEcho (?), 16:08 , 07-Янв-21, (27) +6

Налогов, семьи, фоток нет Никого из перечисленных потерять будет не досадно , Аноним (15), 16:16 , 07-Янв-21, (29)

В таком случае проще держать bootable флешку с read-only swicth-em - и безопасно, OpenEcho (?), 17:14 , 07-Янв-21, (33) +4
Есть еще фича если при обновлении системы что-то пошло не так, есть довольно бо, Аноним (-), 18:47 , 09-Янв-21, (113)

Позавчера наткнулся опять на проблему с BTRFS Старый жесткий,валялся лет эдак 5 , maximnik0 (?), 04:50 , 10-Янв-21, (184) +3

Намекает на проблемы с железом У тебя их не было - щас создаст на пустом месте , пох. (?), 09:59 , 12-Янв-21, (224) –1

Уже обсуждал в linux org ru В приватном сообщении- человек подсказал в чем дело-, maximnik0 (?), 12:29 , 12-Янв-21, (241)

Прекрасно, дай угадаю - но места указать ее явно в куче ненужного мусора в метад, пох. (?), 20:00 , 12-Янв-21, (248)

Мозгов сделать предупреждение им не хватило,как и утилиту конвертации Мозгов За, maximnik0 (?), 22:41 , 12-Янв-21, (253)
Дай еще уточню,там именно версии контролльной суммы,не кол-во алгоритмов Они име, maximnik0 (?), 23:39 , 12-Янв-21, (254)
Чокаво В btrfs on-disk формат не меняли несовместимым образом последних лет 10 , Аноним (257), 04:43 , 13-Янв-21, (257)
Хм -насколько я знаю формат raid 4-условно 7 не стабилизирован до сих пор,только, maximnik0 (?), 09:54 , 13-Янв-21, (262)
Еще мне ткнули на такую вещь-This can catch consistency problems or bitflips-про, maximnik0 (?), 10:20 , 13-Янв-21, (263)
Это не изменило формат ФС Только внутреннее устройство модуля В ядре Linux ест, Аноним (-), 07:21 , 16-Янв-21, (284)
При условии -при переходе не запутались с ари,была проблема,пофиксили - , maximnik0 (?), 07:08 , 17-Янв-21, (292)
А он и стабилизирован Но не до состояния надгробия на кладбище, чтобы вообще ни, Аноним (-), 07:19 , 16-Янв-21, (283)
Читайте внимательно- диск лежал нетронутым 5 лет Пытался на него кое что записат, maximnik0 (?), 07:38 , 17-Янв-21, (293)
Как обычно - пох не угадал Так что там еще blake2, sha256 и xxhash сделали И д, Аноним (-), 07:24 , 16-Янв-21, (285)

Железо или выдерживает пиковые нагрузки, или изредка подсирает глюками На любой, Аноним (257), 04:42 , 13-Янв-21, (256)

1 Считали SCRUB, железо прогрелось, стало глюкать, вот тебе csum errorА данные , maximnik0 (?), 10:34 , 13-Янв-21, (265)

Вот это без гарантий Но - да, знаете, обычно SCRUB греет систему сильнее обычн, Аноним (-), 07:11 , 16-Янв-21, (282)
Уже чем можно и нельзя протестировал,ошибок нет Единственное срабатывает защита , maximnik0 (?), 07:53 , 17-Янв-21, (295)

Я бы сказал что диск посыпался, но Может у тебя RAM или CPU под нагрузкой дур, Аноним (257), 04:38 , 13-Янв-21, (255)

А данные с сжатием записались нормально-чудеса и только Вот меня ткнули носом чт, maximnik0 (?), 21:00 , 13-Янв-21, (266)

Если софт вообще совсем не пилится - он, очевидно, сдох Это иллюстрация по теме , Аноним (-), 07:07 , 16-Янв-21, (281)

Теоретически,умудряются и здесь глюки словить Не помню в каком выпуске ядра при, maximnik0 (?), 07:46 , 17-Янв-21, (294)

Человеческое сжатие, а не как в убогом нтфс лишь с кластером на 4к и убогим зипо, Ананимас008 (?), 17:51 , 09-Янв-21, (111)

Вообще-то там NTLZ, чтоли Хоть он и ни о чем, жмет даже похуже LZ4 и LZO, а рас, Аноним (-), 18:51 , 09-Янв-21, (114)

Wine же , Ананимас008 (?), 19:17 , 09-Янв-21, (122)
Сказания впопеннета, том восемьсотписятшестой Он не упирается в проц Внезапно И, пох. (?), 10:16 , 12-Янв-21, (227) –1

У top бывают другие идеи на этот счет Если на быстром диске ядро в полку - это , Аноним (-), 04:53 , 13-Янв-21, (258)

А я знай Может, к корявому софту, может к кривому железу, может к неэффективнос, пох. (?), 09:13 , 13-Янв-21, (261)

Вот буду еще железо и задачи под всякий шит из 90х подбирать Ты в своем уме По, Аноним (271), 19:37 , 15-Янв-21, (271)

у тебя его похоже нет вообще, так что даже с пониманием печатного текста проблем, пох. (?), 20:09 , 15-Янв-21, (272)

Ну, раз я еще не помер с голода, наверное какое-то все же есть Урл У тебя перекл, Аноним (279), 05:34 , 16-Янв-21, (279)
Ты не поверишь, сколько совсем не помирает с голода, не умея толком прочитать на, пох. (?), 11:05 , 16-Янв-21, (291)

Еще любителям экспериментов можно линукс, фрибсд и опенсолярисовские форки стави, Аноним (37), 17:47 , 07-Янв-21, (37) +1

И вот как Openindiana, FreeBSD, Linux на одном HDD сделать , Аноним (78), 05:31 , 08-Янв-21, (78)

Пусть уж лучше уменьшается при создании снапшота, чем будет уменьшена с самого н, Егор (??), 23:32 , 07-Янв-21, (71)

CoW сам по себе производительность не уменьшает Наоборот - он почти аналог полн, Аноним (-), 18:57 , 09-Янв-21, (115)

На ротационных носителях - уменьшает потому, что CoW - это априори безумная фраг, Онаним (?), 10:15 , 12-Янв-21, (226)

Вообще совсем ниоткуда не следует Если например прога одним куском весь файл пе, Аноним (-), 05:38 , 13-Янв-21, (259)

Вот как раз на CoW будет задница хоть с преаллокацией, хоть без На обычной FS м, Онаним (?), 10:24 , 13-Янв-21, (264)

Откуда В идеале оба оформляют 1 экстент и метаданные указывающие на него А чем , Аноним (280), 06:53 , 16-Янв-21, (280)

Вот только при рандомной записи в тот экстент CoW-based данные раскладывают, увы, Онаним (?), 09:54 , 16-Янв-21, (290)

но она хуже чем ext4 потому что zfs нельзя использовать на одном диске, если нав, анон (?), 14:14 , 07-Янв-21, (17) –5 //

Это в фантазиях, на деле с восстановлением данных уже беда Нет бекапов 8212 , thiteigh (?), 15:30 , 07-Янв-21, (23) +1

ZFS в подобных случаях упрощает полную потерю данных, факт Даже если бэкапы есть, Онаним (?), 18:46 , 07-Янв-21, (45) –4

Людей, умудряющихся угробить ZFS до состояния невосстановимости, надо выгонять и, zzz (??), 19:11 , 07-Янв-21, (51)

Fixed, Онаним (?), 19:12 , 07-Янв-21, (53)

Fixed, zzz (??), 19:23 , 07-Янв-21, (58)

Согласен c корректировкой, я просто не стал уж настолько экспрессивно , Онаним (?), 19:24 , 07-Янв-21, (59)

Ну так исправляй руки, и не будет проблем с ZFS А лучше не майся дурью и иди ме, zzz (??), 21:24 , 07-Янв-21, (69)

У меня внезапно нет проблем с ZFS Нет ZFS - нет проблем , Онаним (?), 10:47 , 08-Янв-21, (84) –1

Ну так тогда и не рассказывай сказок, о том как эти проблемы выглядят Они есть, , пох. (?), 20:12 , 15-Янв-21, (273)
Позволю себе добавить к счастью, нет И без ZFS граблей достаточно , Онаним (?), 20:37 , 15-Янв-21, (276)

Написал криворукий ламерок совместно с каким-то пидси алой Сравнивать ext4 с ZF, bOOster (ok), 20:26 , 07-Янв-21, (61) +2

Не знаю, как там по рождению, но по настоящему это - hype class файловая система, Онаним (?), 10:48 , 08-Янв-21, (85) –1

зачем же вы от нее сп-ли все, от дизайна до терминологии Только неуклюже, поэто, пох. (?), 09:56 , 12-Янв-21, (223) –2

Кто сп-л то BTRFS имеешь в виду Ну это к орацлу На деле такое же полуюзабельное , Онаним (?), 10:13 , 12-Янв-21, (225)
а, не вы, действительно куда вам То есть вместо ARC - блочный кэш без управле, пох. (?), 10:21 , 12-Янв-21, (229) –1
Угу То есть оно применимо на чём-то, кроме выделенных хранилок, потому что ARC , Онаним (?), 10:38 , 12-Янв-21, (235)
ну разумеется, разумеется, продолжай петь свои мантры , пох. (?), 20:02 , 12-Янв-21, (249)
Ага, попробуешь в ней девайсами рулить, потом дважды подумаешь кто там полуюзабе, Аноним (-), 05:41 , 13-Янв-21, (260)
киздато - когда этот рейд вдруг на ходу превращается в нечитаемую и невосстанавл, пох. (?), 20:15 , 15-Янв-21, (274)
Это не похоже на btrfs У него там block groups, он ими ворочает и конверсия одн, Аноним (-), 08:00 , 16-Янв-21, (286)

Что за бред, вас Линукс покусал Похерить зфс может всё что угодно От ошибок об, Аноньимъ (ok), 05:33 , 08-Янв-21, (79)

спасает Успехи чувака с насмерть битым блоком питания во времена когда компьюте, пох. (?), 10:23 , 12-Янв-21, (231)

ZFS решает проблему гниения битов , Аноньимъ (ok), 16:02 , 12-Янв-21, (245)

Зато заменяет на гниение мозгов Любой RAID с чётностью точно так же решает пробл, Онаним (?), 20:37 , 15-Янв-21, (277)

Каким макаром Ну вот допустим у нас 3 диска, D1, D2 и P1 Мы видим что D1 D1 , Аноним (-), 08:02 , 16-Янв-21, (287)

Ну вот допустим у нас RAID5, 3 диска, D1, D2 и P1 Мы видим что D1 D2 P1 Внима, Аноним (-), 08:05 , 16-Янв-21, (288)
Если проблема на шине - просто читаем ещё раз Прочитали второй раз - снова не с, Онаним (?), 09:49 , 16-Янв-21, (289)
1 ECC дисков может востановить неправильно А может вообще не восстановить 2 Д, Аноньимъ (ok), 13:22 , 17-Янв-21, (297)

Ну, несовсем Если востановить неудалось вы получаете либо рассыпавшейся рейд, ли, Аноньимъ (ok), 13:18 , 17-Янв-21, (296)

Я использую, что я делаю не так Нет Более того, маловероятно что навернется у в, пох. (?), 13:49 , 09-Янв-21, (97) +2

А он дублировать метаданные на 1 диске как btrfs умеет Или скопытится как ext4 , Аноним (-), 19:05 , 09-Янв-21, (116) –1

это чтоб вместо 64x write amplify получить 256 Не, не умеет тоже нет как и ex, пох. (?), 19:43 , 09-Янв-21, (133)

А вот это уже мне решать что я хочу И если что, чисто статистически протирание , Аноним (154), 20:50 , 09-Янв-21, (154) –1

Ну допиши недостающий код А, нет, только жрать с лопаты ты можешь решать Чист, пох. (?), 12:15 , 12-Янв-21, (238)

Поврежденная ЗФС может вызывать панику и ребут на фре, например При попытке импо, Аноньимъ (ok), 16:17 , 12-Янв-21, (246) +1

Это может, notabug - Полагаю, поврежденная btrfs тоже прекрасно может все то же, пох. (?), 20:11 , 12-Янв-21, (250)

Да, иэксеры нехорошие люди , Аноньимъ (ok), 21:39 , 12-Янв-21, (252)

Дописать что Куда ZFS мне например не упал в том числе потому что он не в майн, Аноним (-), 00:17 , 14-Янв-21, (267) –1

да не звизди, ты никакой не умеешь Поэтому выбираешь что пейсбук подаст жаль что, пох. (?), 02:10 , 14-Янв-21, (268)

Я честно как-то пытался научиться пользоваться бтрфсом, меня там отпугнула систе, Аноньимъ (ok), 13:28 , 17-Янв-21, (298)

и это тоже да Ручное подставление бессмысленных цифирок volid в команды монтиро, пох. (?), 13:38 , 17-Янв-21, (299)

В двух словах и не расскажешь, но если сильно постараться - буквально всем , Аноним (8), 15:00 , 07-Янв-21, (19) +1
Какого овоща ты сравниваешь древний кал экст с современной файловой системой , псевдонимус (?), 17:58 , 07-Янв-21, (40) –2 //

Сравнивать поезд с проходчиком тоннелей - так себе затея, да , Онаним (?), 18:48 , 07-Янв-21, (47)

Так ext4 еще никто не унижал Впрочем, резонно, zzz (??), 19:12 , 07-Янв-21, (52)

ext4 в этом сравнении поезд Тупой как доска, но везущий пассажиров сиречь данн, Онаним (?), 19:14 , 07-Янв-21, (54)

Что-то похожее я уже слышал от фанатов FAT32 и ext2 Завязывай с геронтофилией , zzz (??), 19:22 , 07-Янв-21, (57)

FAT32 до сих пор в каждой второй мобилке на SD Из-за простоты и поддержки виндо, Онаним (?), 19:25 , 07-Янв-21, (60) +1

Диск С-то отформатил под этот поезд , zzz (??), 21:26 , 07-Янв-21, (70) –1

У каждой FS своё применение, чудик И вот тут монстр ZFS с квадратными колёсами л, Онаним (?), 10:49 , 08-Янв-21, (86)
Прикинь, приходишь ты на станцию - а там рельсы уже положены и поезда ездят А к, Аноним (-), 19:09 , 09-Янв-21, (117)

к сожалению, только уже с китайской фабрики А не совсем 100 китайские идут теп, пох. (?), 09:53 , 12-Янв-21, (222)

Совершенно не обязательно, особенно для мелочи типа uSD Навалом более мелкихПри, Аноним (269), 20:34 , 14-Янв-21, (269)
знатока вижу я Вот все эти более мелкие - они уже совсем-пресовсем китайские-пр, пох. (?), 22:53 , 14-Янв-21, (270)

для них в отличие, кстати, от ext4 существовали еще некоторые средства ручного, пох. (?), 19:45 , 09-Янв-21, (134)

А в btrfs такое средство просто в штатную утилсу btrfs встроено Оффлайн читал, Аноним (181), 03:36 , 10-Янв-21, (181)

Нет, не такое И о его успехах нам там ниже докладывают , пох. (?), 12:23 , 12-Янв-21, (239)

Не чем , а для каких задач , iCat (ok), 06:47 , 08-Янв-21, (81)

Лучше про разницу между оригиналом и сабжем напишите , Аноним (12), 13:04 , 07-Янв-21, (12) +1 //

Ну тебе правда интересны проблемы оригинала , написанного саном в 2002м году, к, пох. (?), 13:53 , 09-Янв-21, (98) –1

Эх, жаль не на расте , Аноним (-), 13:44 , 07-Янв-21, (13) –7
Как-то пробовал ZFS на собственном NAS поставить под FreeNAS ОС который переоде, 9nko (ok), 14:05 , 07-Янв-21, (14) –2 //

Пользовал zfs на бздах fbsd9 с 2012-13 года в качестве домашней fs Сейчас дер, thiteigh (?), 15:45 , 07-Янв-21, (26) +1 //

Продакшон на лимоны IOPS Резко всё стало идеально с ZoL 0 8 3 Ubuntu_20 04 Всё, Аноним (31), 16:59 , 07-Янв-21, (31) +1 //

Блджад, кто ж это в продакшн-то на лимоны IOPS пустил, насколько нужен особый , Онаним (?), 18:59 , 08-Янв-21, (92) –1
Пох, залогинься, у тебя ус отклеился , Аноним (154), 20:55 , 09-Янв-21, (157)

Не, я бы зассал такое использовать Я ж комит-логи этой 8 видел Поставил бы фрю, пох. (?), 20:23 , 15-Янв-21, (275)

Безумству храбрых поем мы песню , псевдонимус (?), 18:02 , 07-Янв-21, (42) –3 //

Чего не так с всего лишь позапрошлогодними версиями софта , пох. (?), 13:54 , 09-Янв-21, (99) +2

Старые баги ещё не починили, а новые уже доставили Кушай не обляпайся , псевдонимус (?), 15:01 , 09-Янв-21, (106)

А можно поподробней об этом Не любопытсва ради спрашиваю и не с подколом, т к , OpenEcho (?), 17:08 , 07-Янв-21, (32) //

Да преувеличивает человек С ZFS нужно тщательно все спланировать перед тем как , Аноним (37), 17:56 , 07-Янв-21, (38) +1
Про планирование уже ответили ранее В ситуации, когда 12-и терабайтник вдруг мо, 9nko (ok), 19:26 , 08-Янв-21, (94) //

Но, так не нежноВ интернете масса примерров и обьяснений почему не надо жадничат, OpenEcho (?), 18:42 , 09-Янв-21, (112)

Хотел бы я быть таким нежадным Но, блин, чавойта не получаетцо Деньгов, что-ли, пох. (?), 19:50 , 09-Янв-21, (135)

Хренасе, инновации , Аноним (154), 20:56 , 09-Янв-21, (158)

Мы открыли физическое устройство в эксклюзивном режиме, чтобы избежать проблем , пох. (?), 14:02 , 11-Янв-21, (210)

Чё-то я не припоминаю наличия такой потребности во FreeBSD , xm (ok), 23:22 , 09-Янв-21, (176) +1

Ниасиляторы, чо с вас взять Даже грамотно запутаться в собственных лапах на ров, пох. (?), 12:26 , 12-Янв-21, (240) +1

С полулошадьюполуптицей экст4, которая почти всем хуже нтфс , псевдонимус (?), 18:00 , 07-Янв-21, (41) –5 //

Полулошадь-полуптица это пегас И хуже всем - это чем именно , 9nko (ok), 19:27 , 08-Янв-21, (95) //

Наверное, тем что 50 000 файлов в дире даже еще и читаются за обозримое время, а, Аноним (-), 19:11 , 09-Янв-21, (118) –2

Какой там геморрой с пулами Подцепил устройства, сделал zpool create pool mirro, zzz (??), 18:46 , 07-Янв-21, (44) +6 //

не лучше ли сначала сделать метки gpt и создавать на их основе, чем зависить от , Ананимас008 (?), 17:46 , 08-Янв-21, (89) //

У них там своя, особая атмосфера , Онаним (?), 19:00 , 08-Янв-21, (93)

А зачем в общем то разделы если на 1 часть резать Чтобы занять место и поместит, Аноним (-), 19:14 , 09-Янв-21, (119)

Совершенно ненужно - какой диск отвалился здесь и сейчас - zpool status тебе ска, пох. (?), 13:57 , 09-Янв-21, (100) +1

Никогда не имел проблем с gptСамое интересное начнется если пулов несколько и эт, Ананимас008 (?), 16:49 , 09-Янв-21, (110)

В btrfs такой траблы просто нет - у дисков нет какой-то специальной выделенной ф, Аноним (-), 19:15 , 09-Янв-21, (120) –1
держи в курсе Я вот развлекся, недавно Мне нимало доставил тот интересный факт, пох. (?), 20:01 , 09-Янв-21, (138) –1

Ну охренеть, спец по интерпрайзным СХД пох не знает про резервную таблицу gpt И, анонон (?), 14:32 , 11-Янв-21, (212)

ну-ка, так тоже стало нельзя А у л п4 тых нет проблемы, у них ценных данных не , пох. (?), 09:49 , 12-Янв-21, (221)

У меня рейд только на 2 хардах из 6 Остальные диски иногда меняются на большие , 9nko (ok), 19:29 , 08-Янв-21, (96)

Кривое чудо Добавил ssd в комп Угадайте как на него перенести свою хоум папку , Док (?), 15:07 , 07-Янв-21, (20) –4 //

ZFS нужна ECC память для надежной работы , Кир (?), 17:44 , 07-Янв-21, (36) –4 //

ECC память, ECC на всех внутренних шинах и т п Сферическая ситуация в вакууме, д, Онаним (?), 19:00 , 07-Янв-21, (49) //

Упреждая онашазфстакаясквозноцелостная - в 99 реальных случаев данные будут п, Онаним (?), 19:03 , 07-Янв-21, (50) +2

Эксперименты с btrfs показали что таки тот неплохо детектит идиотские взбрыки же, Аноним (-), 19:19 , 09-Янв-21, (123)

Любой файловой системе нужна ECC для надёжной работы Просто другие об этом не п, xm (ok), 02:03 , 08-Янв-21, (74) +4 //

А какой смысл им об этом писать EXT4 без полного журнала вообще плевать хотел ч, Аноним (-), 19:16 , 09-Янв-21, (121) –1

такой, что, внезапно, она не от крахов, а от штатной записи мусора вместо данных, пох. (?), 20:03 , 09-Янв-21, (139)

А смысл улучшать на полшишечки EXT4 который на integrity данных заведомо клал Б, Аноним (-), 20:22 , 09-Янв-21, (147)

а обе неправильные Потому что чексумма посчитана по уже битому блоку Или, еще , пох. (?), 09:26 , 11-Янв-21, (206) –1
RAID с чётностью внезапно тебе вообще ничего не скажет Просто пофиксит кодом кор, Онаним (?), 20:39 , 15-Янв-21, (278)

Что ты несёшь Ецц нужна чтобы мусор вместо данных не записывался , псевдонимус (?), 20:47 , 09-Янв-21, (153)

Если ФС может данные профакать без ложной скромности, поскольку EXT4 видите ли н, Аноним (181), 03:43 , 10-Янв-21, (182)

Удалить, заново начать работать с резервной копией Все равно неизвестно, что та, пох. (?), 09:43 , 11-Янв-21, (207)
В общем случае достаточно ordered при рабочем механизме write barrier Перезаписы, Онаним (?), 10:20 , 12-Янв-21, (228)

да, старые данные с CoW - возможно - найти ещё можно, но вот какой конкретно че, Онаним (?), 10:42 , 12-Янв-21, (236)

Линуксопроблемы, zzz (??), 18:47 , 07-Янв-21, (46) +1
возможно повреждён кэш-файл https pbs proxmox com docs sysadmin htmlвозможно в, none_first (ok), 00:22 , 08-Янв-21, (73) +1

Нечего особенного в ней нет, вернее уже нет , на фоне btrfs Жрёт очень много о, Аноним (22), 15:23 , 07-Янв-21, (22) –6 //

Чего-то особенного в ФС мне совсем не нужно , Аноним (12), 15:37 , 07-Янв-21, (25) –1
Ну про BTRFS Вы, очевидно, в теориях Краха BTRFS никогда не было Очень забавны, Djonson (?), 16:09 , 07-Янв-21, (28) +4 //

Когда будет - тогда и приходите , Moomintroll (ok), 14:28 , 09-Янв-21, (104) –1
Кроме теории, он довольно неплох и на практике Нет, не было Особенно надежно ко, Аноним (-), 19:22 , 09-Янв-21, (124) –1 //

На практике это локалхост или в проде , Anonim (??), 11:52 , 12-Янв-21, (237)

Типичный ответ опеннетного иксперда Файловые системы и ZFS тоже оперативку не, Аноним (34), 17:25 , 07-Янв-21, (34) +8 //

Вообще-то, жрут И btrfs тоже особенно бтрфс Да и кэши кэшам рознь Проверить, Аноним (35), 17:43 , 07-Янв-21, (35) +1 //

Ну судя твоему посту садится голой жопой на кактус это конечно забава для тебя , bOOster (ok), 20:31 , 07-Янв-21, (62)

Это ещё почему Потому, что я не склонен слепо доверять свои данные сырой косячн, Аноним (35), 20:46 , 07-Янв-21, (64) +2

Практика лучший критерий истины , Аноним (146), 20:16 , 09-Янв-21, (146)

Btrfs ничем таким не особенный, он пользует обычные ядерные кэши По поводу чего, Аноним (-), 19:24 , 09-Янв-21, (125)

Кеш ZFS, к сожалению - вещь в себе, которая именно что жрёт память , потому что, Онаним (?), 18:58 , 07-Янв-21, (48) –1 //

Линуксопроблемы, разделившие дисковый кэш и кэш ZFS , zzz (??), 19:18 , 07-Янв-21, (55) +3

Как раз таки ZFSопроблемы, кэш ZFS на системный кеш не ложится что в пингвинах, , Онаним (?), 19:19 , 07-Янв-21, (56) +1

Так вроде в соляре этот кеш интегрирован в системный или наоборот , в таком слу, Аноним (35), 21:12 , 07-Янв-21, (68)

Есть смысл труп обсуждать , Онаним (?), 18:56 , 08-Янв-21, (90) –1
Так у соляры не было своего менеджера кэша, они и накодили его прямо в файлухе , Аноним (-), 19:26 , 09-Янв-21, (126) +1

Ну так это проблема систем с неотключаемым ненужно- системнымкэшом У BSD НЕТ ни, пох. (?), 14:00 , 09-Янв-21, (101) –1

Извини, но ты гонишь DОно у них называется буфером , но суть та же FreeBSD ha, Онаним (?), 15:45 , 09-Янв-21, (109)

В бздях пох такой же эксперт как и в линуксе , Аноним (-), 19:27 , 09-Янв-21, (127)
нет, не та же а это и просто бред сивой кобылы Ну да, с тем же успехом можно ск, пох. (?), 20:12 , 09-Янв-21, (143) +1

Нет ZFS делает аллокации сам, и отдаёт когда сочтёт нужным, не сообщая ядру, чт, Онаним (?), 21:01 , 09-Янв-21, (160)

ALL AVAILABLE MEMORY поэтому и возможно, что оно не препятствует собственно алло, Онаним (?), 21:02 , 09-Янв-21, (161)
Б-ть, ничего что zfs и есть ядро, его часть мистическим таким ядром в сферическо, пох. (?), 23:08 , 10-Янв-21, (187)

В ZFS свой собственный кеш, который оторван от системного совершенно Что в бзде, Онаним (?), 23:39 , 10-Янв-21, (189)

БТЬ НЕТ никакого волшебного системного Кэш zfs - он настолько же системн, пох. (?), 23:46 , 10-Янв-21, (193)
Ты что В zfs arc c особый kmem_cache_alloc, волшебный , Аноним (215), 15:24 , 11-Янв-21, (215)
Он лежит в usr src sys cddl compat opensolaris kern opensolaris_kmem cВ bsd он , пох. (?), 20:34 , 12-Янв-21, (251)

Все, я заканчиваю дискуссию Если человек свято верит в чудеса - у нас за оскорб, пох. (?), 14:05 , 11-Янв-21, (211)

Тут ключевой вопрос - а может ли кернел это быстро забрать взад когда сие потреб, Аноним (-), 03:49 , 10-Янв-21, (183)

Быстро - не может, чудес не бывает Вот тебе старый линукс, с еще человекочитаемы, пох. (?), 10:37 , 10-Янв-21, (186)

В swap он залез, потому что алгоритмы такие Ставь vm swappiness 1 , будет мен, Онаним (?), 23:40 , 10-Янв-21, (190)

освобождать - в смысле назад в RAM затягивать, освободить-то в любой момент мож, Онаним (?), 23:41 , 10-Янв-21, (192)
вопрос не в этом, а почему у нас при этом _пропадает_ даром память, хотя она сво, пох. (?), 00:02 , 11-Янв-21, (196)
Она не пропадает Как только приложение её попросит - ОС ему даст, не ломаясь Бо, Онаним (?), 10:22 , 12-Янв-21, (230)

Head seek винча занимает больше Так что девы купили ссд А проблемы начинаются , Аноним (191), 23:40 , 10-Янв-21, (191)

Ай да молодец Установи сначала steam, игру более-менее большую, поиграй и посмо, Аноним (22), 20:43 , 07-Янв-21, (63) –3 //

Это zol такой zfs в солярисах работает как надо , Аноним (75), 03:46 , 08-Янв-21, (75)

Спору нет, более чем уверен, что в Solaris оно работает наверное идеально, или о, Аноним (22), 04:22 , 08-Янв-21, (76)
ноль остается Ну да, примерно так , пох. (?), 20:13 , 09-Янв-21, (145) +1

Потребление памяти зфс как бы настраивается Дефолты там серверные Про сырость , Аноньимъ (ok), 05:41 , 08-Янв-21, (80) +2

То что его там надо настраивать - неисправимая ошибка в ДНК тех людей, которые, пох. (?), 14:07 , 09-Янв-21, (103) –1

Нет не вся То же нужно настраивать для спецефических задачь Коими для зфс являет, Аноньимъ (ok), 14:32 , 09-Янв-21, (105)
Более того - в btrfs его тоже не надо настраивать Юзает сколько может, отдает к, Аноним (-), 19:31 , 09-Янв-21, (128)

только неэффективно - поскольку кэш этот не ее, а дядин А дядя ничего не знает , пох. (?), 20:26 , 09-Янв-21, (148)

Намного прикольнее если ФС не тормозит, зато программа огребла out of memory и в, Аноним (162), 21:08 , 09-Янв-21, (162)

Ну вот до нашествия openzfs еще были шансы это починить у меня он был именно от, пох. (?), 00:34 , 10-Янв-21, (180)

12309 - он от интеловских ICH, которые начиная с 82801 встают раком при задержка, Онаним (?), 10:24 , 12-Янв-21, (232)
и даже в винде 12309 офигительным образом есть - на интеловском железе , Онаним (?), 10:25 , 12-Янв-21, (233)

ЧИТД Уровень икспердизы зашкаливает , Аноним (34), 16:52 , 08-Янв-21, (88) +3

Бтрфс лучше совсем не показывать этого калеча и никому о нем не говорить Позо, псевдонимус (?), 18:05 , 07-Янв-21, (43) +3 //

Смех, да и только Поверьте, лучше не создано, и не будет создано ещё очень дол, Аноним (22), 20:46 , 07-Янв-21, (65) –3 //

Федорактивиста вижу в треде я , псевдонимус (?), 20:51 , 07-Янв-21, (66) +2

Таки нет, хотя в последнее время fedora очень даже ничего Вообще btrfs масштабн, Аноним (22), 04:34 , 08-Янв-21, (77)

А не могли бы они запили б такую фичу, как сохранение данных, а не превращение и, псевдонимус (?), 06:57 , 08-Янв-21, (82) –1

Ты вообще линукс судя по всему только на скриншотах видишь, а бсдшный экспериенс, Аноним (-), 19:34 , 09-Янв-21, (130)

К счастью я его в виртуалке в основном вижу , псевдонимус (?), 19:58 , 09-Янв-21, (137)

А я вот его к счастью вижу везде И на десктопе, и на лаптопе, и на сетевых штук, Аноним (146), 20:13 , 09-Янв-21, (144) +1

Согласен Руки у меня не под хрен заточены , псевдонимус (?), 20:53 , 09-Янв-21, (156)

Ну так тогда и твое мнение в др W пингвинах учитывать ни к чему А на что они за, Аноним (162), 21:09 , 09-Янв-21, (163) –1

Уж по пинетки мелкософту линуксоиды впереди планеты всей Даже на всл насоса по, псевдонимус (?), 21:16 , 09-Янв-21, (167) –1
Платиновый спонсор имхо сссыт что девелоперс, девелоперс, драп-драп, потому что , Аноним (-), 23:56 , 10-Янв-21, (194) –1
Опеннетные предания о бздах , том 118, Аноним (-), 00:48 , 11-Янв-21, (200)
Когда это в бздю успели встроить кейлогер и рекламу А вот дистрибутиве линукс--, псевдонимус (?), 04:49 , 11-Янв-21, (203)

Кстати, от этих тоже патчей подвалило Ничего сверхъестественного, но время монт, Аноним (-), 19:32 , 09-Янв-21, (129)

Петя, ты , псевдонимус (?), 21:00 , 07-Янв-21, (67)

Нет, это его жена , Аноним (-), 10:09 , 08-Янв-21, (83)

Однополая надеюсь , псевдонимус (?), 11:23 , 08-Янв-21, (87)

У вас есть двуполая жена Покажите , Онаним (?), 18:57 , 08-Янв-21, (91)

Not Petya , Аноним (-), 19:34 , 09-Янв-21, (131)

а я и не сплю В смысле, а исправлять никто и не собирался, md raid с полным к, пох. (?), 14:03 , 09-Янв-21, (102) //

Так данные от такой пользы похерится могут Иихерятся Надеюсь зфс окончательно, псевдонимус (?), 15:07 , 09-Янв-21, (107)

А вот это уже твои проблемы , Аноним (-), 20:04 , 09-Янв-21, (140) –1

Т е моя проблема будет состоять в отсутствии проблем Принято , псевдонимус (?), 20:36 , 09-Янв-21, (150) +1

Про это все метко говорится - дай дураку стеклянный х , Аноним (162), 21:10 , 09-Янв-21, (164)

дай линуксоиду докер и бтрфс ты хотел сказать , псевдонимус (?), 21:19 , 09-Янв-21, (169) +1

Скрыто модератором, Аноним (-), 23:59 , 10-Янв-21, (195)

Скрыто модератором, псевдонимус (?), 13:42 , 11-Янв-21, (208) +1

synology жрет, и добавки просит, а он, вишь, не хочет А что там внутре netapp - , пох. (?), 20:30 , 09-Янв-21, (149)

У синолоджи с нетапом в штате целый полк псевдонимусов и рота похов А у псевдон, псевдонимус (?), 20:57 , 09-Янв-21, (159)

Да какой у синоложи полк Хотя справедливости ради они даже что-то комитили в bt, Аноним (162), 21:11 , 09-Янв-21, (165)

Кроме того у бсд ов есть геом , псевдонимус (?), 15:10 , 09-Янв-21, (108)

Чего с ним делать предлагается Инновационный UFS развернуть Или таки FAT Что , Аноним (146), 20:11 , 09-Янв-21, (142) –2

Лучше btrfs изучить - и почувствовать разницу Рулится в духе zfs, только без не, Аноним (-), 19:35 , 09-Янв-21, (132) –1

И без некоторых сохранностей данных , псевдонимус (?), 19:56 , 09-Янв-21, (136)

Естественно, бсдшнику виднее что у нас там в этих наших линуксах с сохранностью , Аноним (146), 20:09 , 09-Янв-21, (141) –2

Конечно виднее К несчастью видел не на скриншоте кашицу, в которые БТР превратил, псевдонимус (?), 20:42 , 09-Янв-21, (152) +1

Верю-верю, всякому зверю Почему-то больше всего проблем - у лиц с бсдшным бэкгр, Аноним (-), 21:16 , 09-Янв-21, (166) –3

Вы там поаккуратней с разоблачениями, а то недавно выяснилось, что ваши котор, анонн. (?), 21:43 , 09-Янв-21, (170) +3

Причем, это не какой-то там очередной диванный форумчанин, а разработчик коммерч, анонн. (?), 21:53 , 09-Янв-21, (171) +1

А чего за дистр Впрочем, разработчику линукса и не обязательно быть профи в фри, Аноним (-), 22:46 , 09-Янв-21, (174)

Rosa LinuxИ знать, чем чреват запуск kvm qemu с cache writeback для гостя, тоже , анонн (ok), 23:02 , 09-Янв-21, (175) +1
А, ну эти довольно чудесатые С другой стороны попробуй стать разработчиком к, Аноним (197), 00:13 , 11-Янв-21, (197) –1
Помимо того, что выдергивать чужие цитаты из контекста хотя не, похоже беспо, анонн (ok), 16:17 , 11-Янв-21, (218)
Это 294-й скорее всего , псевдонимус (?), 19:41 , 12-Янв-21, (247)

Это не разоблачения а всего лишь здоровый дефолтный скепсис на основе смотряния , Аноним (-), 22:44 , 09-Янв-21, (173) –2

Похоже, делать на основе кратких и удивительно точно, хоть и невежливо, описыва, анонн (ok), 23:26 , 09-Янв-21, (177) +3

Хм, если нечто выглядит как глупый, агрессивный, неэффективный луддит - его очен, Аноним (-), 00:39 , 11-Янв-21, (198) –3
Это не фича, а кривой костыль Очередной Костылинукс он такой, да , псевдонимус (?), 04:57 , 11-Янв-21, (204) +1

ой, прелесть какая Не, с другой стороны - извращенцы и должны же ж страдать При, пох. (?), 00:21 , 10-Янв-21, (179)

Еще бы Так никто не делает - оно и не ломается почему-то Бзда как хост виртуал, Аноним (-), 00:42 , 11-Янв-21, (199) –1

Я делаю Виртуалке ДВЕНАДЦАТЬ лет Пережила три разные виртуализации и четыре хо, пох. (?), 12:40 , 12-Янв-21, (243) +1

А, оно из-за этого навернулось Как учуяло-то за двадцать километров , пох. (?), 20:52 , 09-Янв-21, (155) +2

Как, как, вы так мастерски мины себе на пути раскладываете и подрываетесь на них, Аноним (-), 21:17 , 09-Янв-21, (168) –2

Админ линуксоид Восстанавливал, пока диски не вылетели На райд5 , псевдонимус (?), 13:46 , 11-Янв-21, (209)

Забей Это почти-трехсотый, с ним диалог невозможен - он или снова покажет масте, Аноним (-), 15:00 , 11-Янв-21, (214)

Да пусть хоть кто-то прочтет, может не подорвет и не навредит себе и окружающим, псевдонимус (?), 15:28 , 11-Янв-21, (216)

вот, к примеру, без объявления войны не смонтировался надысь ага Вполне в дух, пох. (?), 20:36 , 09-Янв-21, (151) +1

А error message какой И какие версии кернела и проч Ну и чего с ним сделали дл, Аноним (172), 22:27 , 09-Янв-21, (172)

дык, никакого Есть типовые мусорные сообщения, которые при нормальном монтирова, пох. (?), 00:16 , 10-Янв-21, (178) +1

Райд5 в БТР работает отлично Данные полностью потеряны Но хоть холодный бэкап , псевдонимус (?), 06:33 , 10-Янв-21, (185)

https btrfs wiki kernel org index php Status - правильно, кто ж маны то читает, Аноним (-), 04:24 , 11-Янв-21, (202) –1

Да, за 7лет так и не допилии Неудивительно , псевдонимус (?), 05:10 , 11-Янв-21, (205)

Прикалываться изволите Дык, цитаты Чего-нибудь типа failed to open ctree Или т, Аноним (-), 01:45 , 11-Янв-21, (201) –2

gt оверквотинг удален Вместо документации Вика проекта Этого достаточно, чт, псевдонимус (?), 15:36 , 11-Янв-21, (217) +1

Это называется про bitmap забыли , Онаним (?), 10:27 , 12-Янв-21, (234)

это называется непонимание элементарных вещей , пох. (?), 12:34 , 12-Янв-21, (242)

Именно так это и называется Потому что bitmap в md позволяет полного рефреша изб, Онаним (?), 15:23 , 12-Янв-21, (244)

Сообщения [Сортировка по времени | RSS]

34. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +8 +/–

Сообщение от Аноним (34), 07-Янв-21, 17:25

> Жрёт очень много оперативки,
Типичный ответ опеннетного иксперда. Файловые системы (и ZFS тоже) оперативку не жрут, а используют по прямому назначению - кешируют содержимое диска.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

35. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +1 +/–

Сообщение от Аноним (35), 07-Янв-21, 17:43

Вообще-то, жрут. И btrfs тоже (особенно бтрфс). Да и кэши кэшам рознь. Проверить не сложно. Значит, создаёте каталог с парой миллиардов файлов и открываете его в какой-нибудь программе, потом смотрите куда и сколько памяти уходит. Это были только иноды по-сути. Далее, используете дедупликацию/снапшоты/сжатие/шифрование/вотевер и скармливаете ей подготовленный датасет на пару миллиардов файлов (дубликаты, рандомные данные, текст, частичные дубликаты - будет идеально), протоколируете наблюдения. Удаляете данные, опять отмечаете результаты. Каждый шаг тестирования должен быть воспроизводимым, повторять 3-5 раз с перезагрузкой и всем остальным. Желательно поочерёдно перебирать все варианты. Взять среднее значение, если они не расходятся совсем уж очевидно, если расходятся - проанализировать по какой причине и отбросить некорректные данные. Естественно использоваться должна консистентная система, т.е. можно взять либо снапшоты поверх bare-metal гипервизора, либо необходимо убедиться в отсутствии вмешательства внешних факторов в процесс тестирования, а тестирование проводить на отдельном (исправном) диске.

Ответить | Правка | Наверх | Cообщить модератору

62. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от bOOster (ok), 07-Янв-21, 20:31

Ну судя твоему посту садится голой жопой на кактус это конечно забава для тебя.

Ответить | Правка | Наверх | Cообщить модератору

64. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +2 +/–

Сообщение от Аноним (35), 07-Янв-21, 20:46

Это ещё почему? Потому, что я не склонен слепо доверять свои данные сырой косячной технологии и сперва проведу тестирование и проанализирую результаты? И, по возможности, сымитирую ускоренную деградацию, чтобы внезапно не столкнуться с ней, когда будет уже поздно? Или это зависть? Мне вот hammer очень нравится, но это не значит, что я ей что-нибудь доверю. Так там хотя бы разработчик у неё есть. В данном же случае оракл не особо заинтересован в развитии форка своего старого кода.

Ответить | Правка | Наверх | Cообщить модератору

146. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (146), 09-Янв-21, 20:16

Практика лучший критерий истины.

Ответить | Правка | Наверх | Cообщить модератору

125. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (-), 09-Янв-21, 19:24

> Вообще-то, жрут. И btrfs тоже (особенно бтрфс).
Btrfs ничем таким не особенный, он пользует обычные ядерные кэши. По поводу чего живет даже на роутере с 64 мегами оперативы. И даже не сильно тормознее EXT4, но намного надежнее и диагностируемее. Удачи в такой конфиге с ZFS'ом...

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

48. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" –1 +/–

Сообщение от Онаним (?), 07-Янв-21, 18:58

Кеш ZFS, к сожалению - вещь в себе, которая именно что "жрёт память", потому что отдача памяти назад ОС при необходимости затруднена.

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

55. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +3 +/–

Сообщение от zzz (??), 07-Янв-21, 19:18

Линуксопроблемы, разделившие дисковый кэш и кэш ZFS.

Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +1 +/–

Сообщение от Онаним (?), 07-Янв-21, 19:19

Как раз таки ZFSопроблемы, кэш ZFS на системный кеш не ложится что в пингвинах, что в бзде.

Ответить | Правка | Наверх | Cообщить модератору

68. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (35), 07-Янв-21, 21:12

Так вроде в соляре этот кеш интегрирован в системный (или наоборот), в таком случае, у ZFS нет проблем с этим. Она просто инородная и все остальные ядра не разработаны под неё.

Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" –1 +/–

Сообщение от Онаним (?), 08-Янв-21, 18:56

Есть смысл труп обсуждать? :)

Ответить | Правка | Наверх | Cообщить модератору

126. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +1 +/–

Сообщение от Аноним (-), 09-Янв-21, 19:26

> Так вроде в соляре этот кеш интегрирован в системный (или наоборот)
Так у соляры не было своего менеджера кэша, они и накодили его прямо в файлухе. Но у остальных он таки есть и смысл в дубле оного в ФС почти как в стопсигнале для зайца - только мешает менеджменту памяти кернела, конкурируя с ним за ресурс довольно дурным образом.

Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

101. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" –1 +/–

Сообщение от пох. (?), 09-Янв-21, 14:00

Ну так это проблема систем с неотключаемым ненужно-"системнымкэшом".
У BSD НЕТ никакого "системного кэша", если ты до сих пор не в курсе. Что вызывает нешуточный батхерт у любителей портировать туда линуксный мусор, кстати. Поскольку тот вообще не в курсах, что так бывает.

Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

109. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 09-Янв-21, 15:45

Извини, но ты гонишь :D
Оно у них называется "буфером", но суть та же.
"FreeBSD has a unified buffer cache. This means that ALL AVAILABLE MEMORY IS A BUFFER CACHE for all device IO."

Ответить | Правка | Наверх | Cообщить модератору

127. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (-), 09-Янв-21, 19:27

В бздях пох такой же эксперт как и в линуксе :)

Ответить | Правка | Наверх | Cообщить модератору

143. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +1 +/–

Сообщение от пох. (?), 09-Янв-21, 20:12

> Извини, но ты гонишь :D
> Оно у них называется "буфером", но суть та же.
нет, не та же.
> "FreeBSD has a unified buffer cache. This means that ALL AVAILABLE MEMORY
> IS A BUFFER CACHE for all device IO."
а это и просто бред сивой кобылы.
Ну да, с тем же успехом можно сказать что all available memory is arc в случае zfs. К счастью, можно все же сделать, чтоб не all. А то какой-нибудь просто шелл внезапно уезжает из под тебя по sigbus.
Чтобы полностью осознать отличия - можешь попробовать запустить пресловутый ntfs3g. Только не забудь отключить зависимости при сборке, а то там-то, из-за древности технологии, вручную подложен костылик.

Ответить | Правка | К родителю #109 | Наверх | Cообщить модератору

160. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 09-Янв-21, 21:01

Нет. ZFS делает аллокации сам, и отдаёт когда сочтёт нужным, не сообщая ядру, что и как может отдать. А страницы буферов/кеша дропаются/отписываются ядром и отдаются при запросе на аллокацию. В этом и вся разница.

Ответить | Правка | Наверх | Cообщить модератору

161. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 09-Янв-21, 21:02

ALL AVAILABLE MEMORY поэтому и возможно, что оно не препятствует собственно аллокациям. Системный кеш может хоть на всю память распухнуть - но если в ней будет потребность, ядро его освобождает.

Ответить | Правка | Наверх | Cообщить модератору

187. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 10-Янв-21, 23:08

Б-ть, ничего что zfs и есть ядро, его часть?
> А страницы буферов/кеша дропаются/отписываются ядром
мистическим таким ядром в сферическом вакууме, конечно же. Волшебным прямо. А как функцию из чуждой лицензии вызовет - сразу все волшебство пропадает.
А не где попало натыканным как попало кодом. Причем mpu-safe, и при этом старающимся избегать global lock где только можно - поэтому зохавать обычно в десять раз быстрее и проще, чем что-то отдать.
> В этом и вся разница.
В этом разница в пользу zfs, где этот код весьма внятно локализован и человекопонимаем за конечное время (не считая пингвинятины, в которой понятно что ее надо было выбросить сразу же, не изучая, но это ж был кого надо комит). В смысле - у нее отобрать проще, там кода было - пару страничек (правда, и еще было, куда копать, но некому). Отобрать у сетевухи, где в этот же самый момент лежат никак не используемые гигабайты - существенно более интересное и менее практичное занятие, потому что каждый драйвер сам по себе.
А у драйвера любой другой fs ты вообще ничего не отберешь (а там есть metadata и тоже иногда  кэшируется отдельно - ведь буферному кэшу все равно, он ее дропнет на равных правах с уже ненужными данными).
Но оно тебе показывается как used, без деталей, кем, поэтому ты спишь спокойно.
А у поганой freebsd нет команды free, нишва6одные оне.
А vmstat всех палит, и никакого спокойного сна :-(

Ответить | Правка | К родителю #160 | Наверх | Cообщить модератору

189. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 10-Янв-21, 23:39

В ZFS свой собственный кеш, который оторван от системного совершенно.
Что в бзде, что в ZoL.

Ответить | Правка | Наверх | Cообщить модератору

193. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 10-Янв-21, 23:46

БТЬ.... НЕТ никакого волшебного "системного". Кэш zfs - он настолько же "системный", как и любой другой.
Отдельный вопрос, что линyпси с их странностями пытаются кэшировать внутри драйвера блочного устройства, и, похоже, даже O_DIRECT не помогает от этого избавиться. Но это их проблемы.

Ответить | Правка | Наверх | Cообщить модератору

215. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (215), 11-Янв-21, 15:24

Ты что! В zfs/arc.c особый kmem_cache_alloc, волшебный.

Ответить | Правка | Наверх | Cообщить модератору

251. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 12-Янв-21, 20:34

> Ты что! В zfs/arc.c особый kmem_cache_alloc, волшебный.
Он лежит в /usr/src/sys/cddl/compat/opensolaris/kern/opensolaris_kmem.c
В bsd он просто однострочник-преобразователь аргументов, вызывает uma_zalloc. Точно так же как любой другой код в ядре, которому нужна zone memory. Никакого "волшебного" в нее не завезли:
% find /usr/src/sys/ -type f -print0 | xargs -0 grep -l uma_zalloc
/usr/src/sys/kern/sys_generic.c
/usr/src/sys/kern/kern_time.c
/usr/src/sys/kern/kern_rangelock.c
/usr/src/sys/kern/kern_cpuset.c
/usr/src/sys/kern/uipc_mqueue.c
[skip, оставлю избранные фрагменты]
/usr/src/sys/kern/kern_mbuf.c
/usr/src/sys/kern/vfs_cache.c
/usr/src/sys/kern/vfs_aio.c
/usr/src/sys/kern/tty_outq.c
/usr/src/sys/kern/kern_thread.c
/usr/src/sys/kern/tty_inq.c
/usr/src/sys/kern/vfs_lookup.c
/usr/src/sys/ofed/drivers/infiniband/ulp/sdp/sdp_main.c
/usr/src/sys/x86/iommu/intel_gas.c
/usr/src/sys/dev/iser/icl_iser.c
"Волшебство" самого чорного характера ты найдешь не там, а в abd.c
Этого вот не было до 11 версии. Подарочек от пингвиноидов, и хрен теперь выпилишь.
Я ж показывал недавно - там лежит половина размера ARC. Порезанная по 4k.
А что там у ла..запрещенноенавпопеннетеслово - у них спрашивай, мне совершенно неинтересно.
Очевидно, совсем г-но, иначе бы iX не дали пропасть прекрасному.
P.S. пока этот find работал, стало еще веселее - arc радостно отрос до 473M (то есть честно отрабатывает свой хлеб). abd тоже не лох - он теперь 310
Напоминаю - всей памяти у виртуалки - гигабайт.

Ответить | Правка | К родителю #215 | Наверх | Cообщить модератору

211. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 11-Янв-21, 14:05

Все, я заканчиваю дискуссию. Если человек свято верит в чудеса - у нас за оскорбление чуйств сажают.
Конечно же, есть еще какое-то "более ядро" чем то ядро, в котором у нас и работает zfs.

Ответить | Правка | К родителю #160 | Наверх | Cообщить модератору

183. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (-), 10-Янв-21, 03:49

> Ну да, с тем же успехом можно сказать что all available memory
> is arc в случае zfs.
Тут ключевой вопрос - а может ли кернел это быстро забрать взад когда сие потребуется программам? А то иначе может получиться довольно дурацки - в системе вагон свободной памяти, его заняли под буферизацию, а тут кто-то из прог попросил память которой якобы дофига. А ей в ответ - а вот тебе?! Что за бред? Не говоря о том что нынче прогеры размякли и к mem alloc failure часто не готовы морально, так что дальше идет фееричнейший UB.

Ответить | Правка | К родителю #143 | Наверх | Cообщить модератору

186. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 10-Янв-21, 10:37

> Тут ключевой вопрос - а может ли кернел это быстро забрать взад когда сие потребуется программам?
Быстро - не может, чудес не бывает.
Вот тебе старый линукс, с еще человекочитаемым free:
             total       used       free     shared    buffers     cached
Mem:       3085136    2863632     221504          0     415804    1005072
-/+ buffers/cache:    1442756    1642380
Swap:      4194300      52244    4142056
Чего бы он в swap залез, когда оно "free"? И зачем-то держит зазор, пусть и 5%, хотя весь тот своп бы поместился и еще осталось.
Причина вполне банальная - быстро отдать это cached не получится. Чтобы оттуда отдать - надо перебрать табличку структурок, состоящую, на минутку, у нас 4k pages, из 251268 (блжад!) айтимов - желательно не первые попавшиеся оттуда выбрасывать, а хотя бы те к которым долго не было обращений (лучшее, что умеет линукс).
Кстати, для этого потребуется память, нужна ж нам табличка кандидатов из той таблички на вынос ;-) Добавь сюда что системы у нас дохреллион-процессорные и все это через локи.
Поэтому, если ты полезешь рыться в исходниках - почти наверняка найдешь ровно то же самое, что и в исходниках zfs - асинхронный механизм, возможно и не один, пытающийся предугадать, сколько памяти может потребоваться в ближайшее время - на основании того, сколько ее уже попросили недавно.
И вот эти механизмы - они сложные, не всегда быстрые и завязаны на кучу внутренних систем ядра. Неаккуратное вмешательство в них ведет к 12309 в лучшем случае (в худшем - к lockup, когда негде взять память, чтобы поискать свободную память, потому что мы уже ищем свободную память и память для этого кончилась).
Кстати, никто не обещал тебе, что это единственное место в системе, где есть динамически расходуемая память, и что ее вообще надо сейчас трогать (представь систему с основными дисками на nfs, или, того хуже, ceph). К сожалению, в линуксе нет никакого общедоступного способа ее посмотреть, и даже понять, относится ли она к "buffers" или показывается просто как занятая ядром.
> Не говоря о том что нынче прогеры размякли и к mem alloc failure часто не готовы морально
они часто еще более неготовы к подождать, пока освободится (ты в линку в бравзере ткнул - и у тебя повисло все вообще - потому что понадобилась память отобразить инвалидо-френдли индикатор бурной деятельности, и система пошла поискать - пупсики ж не поймут такого)

Ответить | Правка | Наверх | Cообщить модератору

190. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 10-Янв-21, 23:40

В swap он залез, потому что алгоритмы такие. Ставь vm.swappiness = 1 , будет меньше залезать. Но не в ноль.
Плюс мог залезть когда был реальный оверкоммит, а освобождать не торопится - пока обращений не будет.

Ответить | Правка | Наверх | Cообщить модератору

192. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 10-Янв-21, 23:41

(освобождать - в смысле назад в RAM затягивать, освободить-то в любой момент может, если аппликуха отдаст)

Ответить | Правка | Наверх | Cообщить модератору

196. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 11-Янв-21, 00:02

> В swap он залез, потому что алгоритмы такие.
вопрос не в этом, а почему у нас при этом _пропадает_ даром память, хотя она свободная.
Правильный ответ - что если ее занять, то новой будет взять негде - в том числе даже на процесс освобождения памяти. Поэтому, вопреки легендам, он ни разу не бесплатный и в "волшебном" линуксе.

Ответить | Правка | К родителю #190 | Наверх | Cообщить модератору

230. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 12-Янв-21, 10:22

Она не пропадает. Как только приложение её попросит - ОС ему даст, не ломаясь.
Более того, даст и из cache/buffers при необходимости, не дожидаясь, как с ZFS, освобождения из ARC.
Сама всё снимет и даст.

Ответить | Правка | Наверх | Cообщить модератору

191. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (191), 10-Янв-21, 23:40

> отдать - надо перебрать табличку структурок, состоящую, на минутку, у нас
> 4k pages, из 251268 (блжад!) айтимов - желательно не первые попавшиеся
> оттуда выбрасывать, а хотя бы те к которым долго не было
> обращений (лучшее, что умеет линукс).
Head seek винча занимает больше. Так что девы купили ссд. А проблемы начинаются тогда, когда какая-то часть системных дел оказывается залоченой на такие скорости железа. Туда же и флешки с скоростью мег в секунду. 256 pps, можешь посчитать сколько времени оно гиг будет отбирать. Сейчас доформатирую дискетку^W отберу память и покажу тебе интерактивность.
> Кстати, для этого потребуется память, нужна ж нам табличка кандидатов из той
> таблички на вынос ;-)
А список кандидатов на вынос не держится постоянно? Или в чем смысл его постоянно аллоцировать, если он часто нужен? А те циферки не мировая константа и зависят от настроек swappiness и вокруг. Дистры могли за это время дефолты поменять, например. Решив что RAM прибавилось и теперь не обязательно хрустеть диском до тех пор пока реально не прижмет, например.
> Добавь сюда что системы у нас дохреллион-процессорные и все это через локи.
Локам давно дали бой, твое 2.6.чтототам для которого это релевантно и 5.10 скорее всего 2 большие разницы. В btrfs на эту тему патчи активно прут, они там локи перетряхнули, роботы репортят приколы с стрельбой палок раз в год, естественно в RC и до юзеров не долетит.
> Поэтому, если ты полезешь рыться в исходниках - почти наверняка найдешь ровно
> то же самое, что и в исходниках zfs - асинхронный механизм,
> возможно и не один, пытающийся предугадать, сколько памяти может потребоваться в
> ближайшее время - на основании того, сколько ее уже попросили недавно.
Может и найду. Но mm/ нынче довольно большой и сложный, копаться в нем должна быть хорошая причина. Кстати, если ты думал что знания о всем этом мировая константа, как тебе c843966c556d7370bb32e7319a6d164cb8c70ae2 допустим? Да, ему меньше года, так что в 2.6.чотам оно не так.
> И вот эти механизмы - они сложные, не всегда быстрые и завязаны
> на кучу внутренних систем ядра.
Они сложные. А что до не всегда быстрые, большие головы все же воротят core techs дабы "не всегда быстрые" случалось поменьше, им за это денег даже платят. При том железо тоже эволюционирует, пример чему и даден выше (изначально найдено как git log mm/vmscan.c вокруг других любопытных изменений).
> Неаккуратное вмешательство в них ведет к 12309 в лучшем случае (в худшем - к lockup,
> когда негде взять память, чтобы поискать свободную память, потому что мы уже ищем
> свободную память и память для этого кончилась).
Я делаю с Linux много странного г-на в разных конфигах. Но именно это я видел только в 1 случае: в роутерах где контрек настраивают неверно, так что он сжирает RAM, а когда она кончается под тяжелым флудом, отобрать неоткуда т.к. контрек тоже ядро, трололо. Но это вообще ошибка конфигурации. Систембилдер лох.
> К сожалению, в линуксе нет никакого общедоступного способа ее посмотреть, и
> даже понять, относится ли она к "buffers" или показывается просто как
> занятая ядром.
Кто бы сомневался что в большой и сложной системе найдется причуд, особенно если конфиг чудесатый взять. И да, тут такой оборот что я даже и не знаю куда корректнее такие аллокации было бы отнести. То-есть, буфер для внутренних нужд ФС можно обозвать и так и сяк в принципе и это технически корректно.
> они часто еще более неготовы к подождать, пока освободится
Их вообще никто не спрашивает. И таки спорный вопрос что хуже: подвисшая на эн прога или прога которая толи сразу вылетит совсем, толи поработает 5 минут и сдохнет в диких глюках, да таких что ты в жизни не отдебажишь - откуда ж ты знал что там память не выделилась просто? Ты ж не трейсил все аллокации от сотворения мира небось?
> (ты в линку в бравзере ткнул - и у тебя повисло все вообще -
При 12309 таки повиснет сперва браузер. А остальное - только если ты будешь дергаться как муха в паутине провоцируя новые аллокации другими прогами.
Один програмер как-то сказал: если система тупит, хучшее что можно сделать это начать дергаться. Это все только усугубит. Это, кстати, вообще видовый програмер, но идея достаточно универсальна.
> потому что понадобилась память отобразить инвалидо-френдли индикатор бурной деятельности,
> и система пошла поискать - пупсики ж не поймут такого)
У лично меня в моих конфигах это все вообще проблемой не является. Но я все же умею пингвинов готовить и разбираться с поведением которое мне не симпатично. И вместо воплей как все плохо у меня обычно находится твик настроек, а то и радикальный пересмотр подходов. У меня нет свопа, кроме zram. И для него более релевантно то что написано в c843966c556d7370bb32e7319a6d164cb8c70ae2 - но боже упаси это механическому винчу вкрутить.

Ответить | Правка | К родителю #186 | Наверх | Cообщить модератору

63. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" –3 +/–

Сообщение от Аноним (22), 07-Янв-21, 20:43

Ай да молодец. Установи сначала steam, игру более-менее большую, поиграй и посмотри, прежде чем писать "типичную" писанину но и чём.
При использовании ext4, btrfs и xfs ничего подобного не происходит, а с zfs - даже после выхода со всех программ из 8 гб доступными остаются только 1-2 гб. Побегал по форумам и да, действительно, zfs при определенных обстоятельствах жрёт очень много оперативки. Она вообще очень сырая, и на текущий момент её уровень соответствует уровню btrfs 5-летней давности.

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

75. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (75), 08-Янв-21, 03:46

Это zol такой. zfs в солярисах работает как надо.

Ответить | Правка | Наверх | Cообщить модератору

76. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (22), 08-Янв-21, 04:22

Спору нет, более чем уверен, что в Solaris оно работает наверное идеально, или около того.

Ответить | Правка | Наверх | Cообщить модератору

145. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +1 +/–

Сообщение от пох. (?), 09-Янв-21, 20:13

> Это zol такой. zfs в солярисах работает как надо.
ноль остается?
Ну да, примерно так.

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

80. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +2 +/–

Сообщение от Аноньимъ (ok), 08-Янв-21, 05:41

Потребление памяти зфс как бы настраивается. Дефолты там серверные.
Про сырость это вы так толстите или туту?

Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

103. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" –1 +/–

Сообщение от пох. (?), 09-Янв-21, 14:07

То что его там надо "настраивать" - неисправимая ошибка в ДНК тех людей, которые, к сожалению, захватили контроль над проектом. Почему потребление памяти ext4 НЕ НАДО настраивать, это всегда вся свободная память системы (даром что используется неэффективно в виду родовых травм)?
В солярисе ничего настраивать было не надо. Создать аналогичные фичи в любой другой системе (кроме линyпса, где не пустят) можно и небезумно сложно, просто некому - iX и дельфиксам платят не за это.
slw@ свалил пилить ceph.

Ответить | Правка | Наверх | Cообщить модератору

105. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноньимъ (ok), 09-Янв-21, 14:32

Нет не вся.
То же нужно настраивать для спецефических задачь.
Коими для зфс является персональный компьютинг с низким объёмом ОЗУ.
А в екс4 в принципе нет тех механизмов кеширования что в зфс.
На счёт Соляриса незнаю, вы пользовались солярисом на десктопе?
Попробуйте сравнить челе на одном и том же железе.

Ответить | Правка | Наверх | Cообщить модератору

128. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (-), 09-Янв-21, 19:31

> ext4 НЕ НАДО настраивать, это всегда вся свободная память системы (даром
> что используется неэффективно в виду родовых травм)?
Более того - в btrfs его тоже не надо настраивать. Юзает сколько может, отдает когда надо другим, без дурацких драк за ресурс. Ну и вот так по приколу взлетает на мипсе с 64 мегами и особо не тормозит. Ext4 пошустрей конечно, но чексумы и дублирование метаданных все же не умеет.
> В солярисе ничего настраивать было не надо.
Так там это не было дублирующейся фичой, за ресурс драться было не с кем, ну и проблемам на стыке этого было неоткуда взяться. Но из линухов и бздей никто в здравом уме их кэши не выкинет, там другие users этого есть.

Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

148. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 09-Янв-21, 20:26

>> ext4 НЕ НАДО настраивать, это всегда вся свободная память системы (даром
>> что используется неэффективно в виду родовых травм)?
> Более того - в btrfs его тоже не надо настраивать. Юзает сколько
> может, отдает когда надо другим, без дурацких драк за ресурс. Ну
только неэффективно - поскольку кэш этот не ее, а дядин. А дядя ничего не знает о том, что можно отдавать, а что попридержать. Баг 12309 - он именно оттуда, на вымывании кэша.
> Так там это не было дублирующейся фичой, за ресурс драться было не
Было, у нее тоже была ffs с afair уже даже buffer cache в последних версиях. Как не с кем? Память для программ откуда по твоему взяться должна?
Просто ее инженеры проектировали, и как один общий проект, а не как лебедьщукураком и "мы вам запретим пользоваться avx-фичами процессора чтоб у вас все плохо работало, патамушта могем".
Взяли и запилили апи специально для избегания global lock и быстрого отъема лишнего - просто потому что он коллегам был нужен именно такой.
> Но из линухов и бздей никто в здравом уме их кэши
> не выкинет, там другие users этого есть.
Внезапно, vm_obj shadowing с (uncompressed) arc - работает. А никакой другой кэш поверх arc - не нужен (и особенно ненужен ZoL'овый abd с его локапами. Кстати, эта память жрется как не в себя, и ее нигде не видно).

Ответить | Правка | Наверх | Cообщить модератору

162. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Аноним (162), 09-Янв-21, 21:08

> только неэффективно - поскольку кэш этот не ее, а дядин. А дядя
> ничего не знает о том, что можно отдавать, а что попридержать.
Намного прикольнее если ФС не тормозит, зато программа огребла out of memory и вообще навернулась, потому что отнять память под ее запрос здесь и сейчас сдув дисковый кэш ядро не смогло. А это точно фича на системах которые не файлопомойки?
> Баг 12309 - он именно оттуда, на вымывании кэша.
Он не оттуда, он из-за thrashing с отбрасыванием страниц из файлов а потом метаниями по всему диску с бинарями чтобы подчитать все это взад, потому что программы, падлы, работают и страницы потребовались взад. Своп тасующий данные усугубляет картину. Дисковый кэш тут довольно сбоку, ты же не предлагаешь кэшировать, ..., своп, всамделе?!
> Было, у нее тоже была ffs с afair уже даже buffer cache
> в последних версиях. Как не с кем? Память для программ откуда по твоему взяться должна?
Откуда может память взяться вариантов много. А может и ниоткуда. Вернуть гаду NULL, и пусть что хочет то и делает.
> Просто ее инженеры проектировали, и как один общий проект, а не как
> лебедьщукураком и "мы вам запретим пользоваться avx-фичами процессора чтоб у вас
> все плохо работало, патамушта могем".
Им очень популярно объяснили что удобно и хорошо - тем кто помогает друг другу, а не тем кто думает что паразитировать на чужом труде ничего не отдавая взамен - валидная идея.
> Взяли и запилили апи специально для избегания global lock и быстрого отъема
> лишнего - просто потому что он коллегам был нужен именно такой.
И получили в результате нечто пригодное только для файлопомоек, по большому счету. Там это похрен, а вот в остальных случаях программы очень нервно реагируют на NULL при аллокации памяти. Половина вообще не реагирует - прет как танк, полагая что память закончится не может. Потом оно конечно где-то упадет, но ты даже с поллитрой не угадаешь почему.
> Кстати, эта память жрется как не в себя, и ее нигде не видно).
Прикольно, чо.

Ответить | Правка | Наверх | Cообщить модератору

180. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от пох. (?), 10-Янв-21, 00:34

> Намного прикольнее если ФС не тормозит, зато программа огребла out of memory
Ну вот до нашествия openzfs еще были шансы это починить.
>> Баг 12309 - он именно оттуда, на вымывании кэша.
> Он не оттуда, он из-за thrashing с отбрасыванием страниц из файлов а
у меня он был именно оттуда - свопа при этом по факту не было. (понятно, discard активных процессов это тоже такой своп, только всем хуже - а с чего оно, по-твоему, подискардилось и кому память-то понадобилась, причем совершенно бестолку?)
>> Взяли и запилили апи специально для избегания global lock и быстрого отъема
>> лишнего - просто потому что он коллегам был нужен именно такой.
> И получили в результате нечто пригодное только для файлопомоек, по большому счету.
в каком месте sun'ы у тебя работали файлопомойками?
Причем у них, в результате, в отличие от всех остальных, не возникал deadlock в случае, когда для освобождения памяти надо бы сперва потратить память, и они могли себе позволить держать swap в zfs.
>> Кстати, эта память жрется как не в себя, и ее нигде не видно).
> Прикольно, чо.
ЛинOOPSь, сэр... Они ТАК управляют большими блоками памяти. Опять же до поры, до времени, это вредительство можно было слегка поубавить, а теперь уже вряд ли.

Ответить | Правка | Наверх | Cообщить модератору

232. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 12-Янв-21, 10:24

12309 - он от интеловских ICH, которые начиная с 82801 встают раком при задержках от диска.
И до сих пор встают раком, что-то там с обработкой оных награблили.

Ответить | Правка | К родителю #148 | Наверх | Cообщить модератору

233. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +/–

Сообщение от Онаним (?), 12-Янв-21, 10:25

(и даже в винде "12309" офигительным образом есть - на интеловском железе)

Ответить | Правка | К родителю #148 | Наверх | Cообщить модератору

88. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD" +3 +/–

Сообщение от Аноним (34), 08-Янв-21, 16:52

> Она вообще очень сырая, и на текущий момент её уровень соответствует уровню btrfs 5-летней давности.
ЧИТД. Уровень икспердизы зашкаливает.

Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру


	34. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+8 +/–
	Сообщение от Аноним (34), 07-Янв-21, 17:25
	> Жрёт очень много оперативки, Типичный ответ опеннетного иксперда. Файловые системы (и ZFS тоже) оперативку не жрут, а используют по прямому назначению - кешируют содержимое диска.
	Ответить \| Правка \| К родителю #22 \| Наверх \| Cообщить модератору


	35. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+1 +/–
	Сообщение от Аноним (35), 07-Янв-21, 17:43
	Вообще-то, жрут. И btrfs тоже (особенно бтрфс). Да и кэши кэшам рознь. Проверить не сложно. Значит, создаёте каталог с парой миллиардов файлов и открываете его в какой-нибудь программе, потом смотрите куда и сколько памяти уходит. Это были только иноды по-сути. Далее, используете дедупликацию/снапшоты/сжатие/шифрование/вотевер и скармливаете ей подготовленный датасет на пару миллиардов файлов (дубликаты, рандомные данные, текст, частичные дубликаты - будет идеально), протоколируете наблюдения. Удаляете данные, опять отмечаете результаты. Каждый шаг тестирования должен быть воспроизводимым, повторять 3-5 раз с перезагрузкой и всем остальным. Желательно поочерёдно перебирать все варианты. Взять среднее значение, если они не расходятся совсем уж очевидно, если расходятся - проанализировать по какой причине и отбросить некорректные данные. Естественно использоваться должна консистентная система, т.е. можно взять либо снапшоты поверх bare-metal гипервизора, либо необходимо убедиться в отсутствии вмешательства внешних факторов в процесс тестирования, а тестирование проводить на отдельном (исправном) диске.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	62. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от bOOster (ok), 07-Янв-21, 20:31
	Ну судя твоему посту садится голой жопой на кактус это конечно забава для тебя.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	64. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+2 +/–
	Сообщение от Аноним (35), 07-Янв-21, 20:46
	Это ещё почему? Потому, что я не склонен слепо доверять свои данные сырой косячной технологии и сперва проведу тестирование и проанализирую результаты? И, по возможности, сымитирую ускоренную деградацию, чтобы внезапно не столкнуться с ней, когда будет уже поздно? Или это зависть? Мне вот hammer очень нравится, но это не значит, что я ей что-нибудь доверю. Так там хотя бы разработчик у неё есть. В данном же случае оракл не особо заинтересован в развитии форка своего старого кода.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	146. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (146), 09-Янв-21, 20:16
	Практика лучший критерий истины.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	125. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (-), 09-Янв-21, 19:24
	> Вообще-то, жрут. И btrfs тоже (особенно бтрфс). Btrfs ничем таким не особенный, он пользует обычные ядерные кэши. По поводу чего живет даже на роутере с 64 мегами оперативы. И даже не сильно тормознее EXT4, но намного надежнее и диагностируемее. Удачи в такой конфиге с ZFS'ом...
	Ответить \| Правка \| К родителю #35 \| Наверх \| Cообщить модератору


	48. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	–1 +/–
	Сообщение от Онаним (?), 07-Янв-21, 18:58
	Кеш ZFS, к сожалению - вещь в себе, которая именно что "жрёт память", потому что отдача памяти назад ОС при необходимости затруднена.
	Ответить \| Правка \| К родителю #34 \| Наверх \| Cообщить модератору


	55. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+3 +/–
	Сообщение от zzz (??), 07-Янв-21, 19:18
	Линуксопроблемы, разделившие дисковый кэш и кэш ZFS.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+1 +/–
	Сообщение от Онаним (?), 07-Янв-21, 19:19
	Как раз таки ZFSопроблемы, кэш ZFS на системный кеш не ложится что в пингвинах, что в бзде.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	68. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (35), 07-Янв-21, 21:12
	Так вроде в соляре этот кеш интегрирован в системный (или наоборот), в таком случае, у ZFS нет проблем с этим. Она просто инородная и все остальные ядра не разработаны под неё.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	90. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	–1 +/–
	Сообщение от Онаним (?), 08-Янв-21, 18:56
	Есть смысл труп обсуждать? :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	126. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+1 +/–
	Сообщение от Аноним (-), 09-Янв-21, 19:26
	> Так вроде в соляре этот кеш интегрирован в системный (или наоборот) Так у соляры не было своего менеджера кэша, они и накодили его прямо в файлухе. Но у остальных он таки есть и смысл в дубле оного в ФС почти как в стопсигнале для зайца - только мешает менеджменту памяти кернела, конкурируя с ним за ресурс довольно дурным образом.
	Ответить \| Правка \| К родителю #68 \| Наверх \| Cообщить модератору


	101. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	–1 +/–
	Сообщение от пох. (?), 09-Янв-21, 14:00
	Ну так это проблема систем с неотключаемым ненужно-"системнымкэшом". У BSD НЕТ никакого "системного кэша", если ты до сих пор не в курсе. Что вызывает нешуточный батхерт у любителей портировать туда линуксный мусор, кстати. Поскольку тот вообще не в курсах, что так бывает.
	Ответить \| Правка \| К родителю #56 \| Наверх \| Cообщить модератору


	109. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 09-Янв-21, 15:45
	Извини, но ты гонишь :D Оно у них называется "буфером", но суть та же. "FreeBSD has a unified buffer cache. This means that ALL AVAILABLE MEMORY IS A BUFFER CACHE for all device IO."
	Ответить \| Правка \| Наверх \| Cообщить модератору


	127. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (-), 09-Янв-21, 19:27
	В бздях пох такой же эксперт как и в линуксе :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	143. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+1 +/–
	Сообщение от пох. (?), 09-Янв-21, 20:12
	> Извини, но ты гонишь :D > Оно у них называется "буфером", но суть та же. нет, не та же. > "FreeBSD has a unified buffer cache. This means that ALL AVAILABLE MEMORY > IS A BUFFER CACHE for all device IO." а это и просто бред сивой кобылы. Ну да, с тем же успехом можно сказать что all available memory is arc в случае zfs. К счастью, можно все же сделать, чтоб не all. А то какой-нибудь просто шелл внезапно уезжает из под тебя по sigbus. Чтобы полностью осознать отличия - можешь попробовать запустить пресловутый ntfs3g. Только не забудь отключить зависимости при сборке, а то там-то, из-за древности технологии, вручную подложен костылик.
	Ответить \| Правка \| К родителю #109 \| Наверх \| Cообщить модератору


	160. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 09-Янв-21, 21:01
	Нет. ZFS делает аллокации сам, и отдаёт когда сочтёт нужным, не сообщая ядру, что и как может отдать. А страницы буферов/кеша дропаются/отписываются ядром и отдаются при запросе на аллокацию. В этом и вся разница.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	161. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 09-Янв-21, 21:02
	ALL AVAILABLE MEMORY поэтому и возможно, что оно не препятствует собственно аллокациям. Системный кеш может хоть на всю память распухнуть - но если в ней будет потребность, ядро его освобождает.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	187. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 10-Янв-21, 23:08
	Б-ть, ничего что zfs и есть ядро, его часть? > А страницы буферов/кеша дропаются/отписываются ядром мистическим таким ядром в сферическом вакууме, конечно же. Волшебным прямо. А как функцию из чуждой лицензии вызовет - сразу все волшебство пропадает. А не где попало натыканным как попало кодом. Причем mpu-safe, и при этом старающимся избегать global lock где только можно - поэтому зохавать обычно в десять раз быстрее и проще, чем что-то отдать. > В этом и вся разница. В этом разница в пользу zfs, где этот код весьма внятно локализован и человекопонимаем за конечное время (не считая пингвинятины, в которой понятно что ее надо было выбросить сразу же, не изучая, но это ж был кого надо комит). В смысле - у нее отобрать проще, там кода было - пару страничек (правда, и еще было, куда копать, но некому). Отобрать у сетевухи, где в этот же самый момент лежат никак не используемые гигабайты - существенно более интересное и менее практичное занятие, потому что каждый драйвер сам по себе. А у драйвера любой другой fs ты вообще ничего не отберешь (а там есть metadata и тоже иногда кэшируется отдельно - ведь буферному кэшу все равно, он ее дропнет на равных правах с уже ненужными данными). Но оно тебе показывается как used, без деталей, кем, поэтому ты спишь спокойно. А у поганой freebsd нет команды free, нишва6одные оне. А vmstat всех палит, и никакого спокойного сна :-(
	Ответить \| Правка \| К родителю #160 \| Наверх \| Cообщить модератору


	189. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 10-Янв-21, 23:39
	В ZFS свой собственный кеш, который оторван от системного совершенно. Что в бзде, что в ZoL.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	193. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 10-Янв-21, 23:46
	БТЬ.... НЕТ никакого волшебного "системного". Кэш zfs - он настолько же "системный", как и любой другой. Отдельный вопрос, что линyпси с их странностями пытаются кэшировать внутри драйвера блочного устройства, и, похоже, даже O_DIRECT не помогает от этого избавиться. Но это их проблемы.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	215. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (215), 11-Янв-21, 15:24
	Ты что! В zfs/arc.c особый kmem_cache_alloc, волшебный.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	251. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 12-Янв-21, 20:34
	> Ты что! В zfs/arc.c особый kmem_cache_alloc, волшебный. Он лежит в /usr/src/sys/cddl/compat/opensolaris/kern/opensolaris_kmem.c В bsd он просто однострочник-преобразователь аргументов, вызывает uma_zalloc. Точно так же как любой другой код в ядре, которому нужна zone memory. Никакого "волшебного" в нее не завезли: % find /usr/src/sys/ -type f -print0 \| xargs -0 grep -l uma_zalloc /usr/src/sys/kern/sys_generic.c /usr/src/sys/kern/kern_time.c /usr/src/sys/kern/kern_rangelock.c /usr/src/sys/kern/kern_cpuset.c /usr/src/sys/kern/uipc_mqueue.c [skip, оставлю избранные фрагменты] /usr/src/sys/kern/kern_mbuf.c /usr/src/sys/kern/vfs_cache.c /usr/src/sys/kern/vfs_aio.c /usr/src/sys/kern/tty_outq.c /usr/src/sys/kern/kern_thread.c /usr/src/sys/kern/tty_inq.c /usr/src/sys/kern/vfs_lookup.c /usr/src/sys/ofed/drivers/infiniband/ulp/sdp/sdp_main.c /usr/src/sys/x86/iommu/intel_gas.c /usr/src/sys/dev/iser/icl_iser.c "Волшебство" самого чорного характера ты найдешь не там, а в abd.c Этого вот не было до 11 версии. Подарочек от пингвиноидов, и хрен теперь выпилишь. Я ж показывал недавно - там лежит половина размера ARC. Порезанная по 4k. А что там у ла..запрещенноенавпопеннетеслово - у них спрашивай, мне совершенно неинтересно. Очевидно, совсем г-но, иначе бы iX не дали пропасть прекрасному. P.S. пока этот find работал, стало еще веселее - arc радостно отрос до 473M (то есть честно отрабатывает свой хлеб). abd тоже не лох - он теперь 310 Напоминаю - всей памяти у виртуалки - гигабайт.
	Ответить \| Правка \| К родителю #215 \| Наверх \| Cообщить модератору


	211. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 11-Янв-21, 14:05
	Все, я заканчиваю дискуссию. Если человек свято верит в чудеса - у нас за оскорбление чуйств сажают. Конечно же, есть еще какое-то "более ядро" чем то ядро, в котором у нас и работает zfs.
	Ответить \| Правка \| К родителю #160 \| Наверх \| Cообщить модератору


	183. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Аноним (-), 10-Янв-21, 03:49
	> Ну да, с тем же успехом можно сказать что all available memory > is arc в случае zfs. Тут ключевой вопрос - а может ли кернел это быстро забрать взад когда сие потребуется программам? А то иначе может получиться довольно дурацки - в системе вагон свободной памяти, его заняли под буферизацию, а тут кто-то из прог попросил память которой якобы дофига. А ей в ответ - а вот тебе?! Что за бред? Не говоря о том что нынче прогеры размякли и к mem alloc failure часто не готовы морально, так что дальше идет фееричнейший UB.
	Ответить \| Правка \| К родителю #143 \| Наверх \| Cообщить модератору


	186. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 10-Янв-21, 10:37
	> Тут ключевой вопрос - а может ли кернел это быстро забрать взад когда сие потребуется программам? Быстро - не может, чудес не бывает. Вот тебе старый линукс, с еще человекочитаемым free: total used free shared buffers cached Mem: 3085136 2863632 221504 0 415804 1005072 -/+ buffers/cache: 1442756 1642380 Swap: 4194300 52244 4142056 Чего бы он в swap залез, когда оно "free"? И зачем-то держит зазор, пусть и 5%, хотя весь тот своп бы поместился и еще осталось. Причина вполне банальная - быстро отдать это cached не получится. Чтобы оттуда отдать - надо перебрать табличку структурок, состоящую, на минутку, у нас 4k pages, из 251268 (блжад!) айтимов - желательно не первые попавшиеся оттуда выбрасывать, а хотя бы те к которым долго не было обращений (лучшее, что умеет линукс). Кстати, для этого потребуется память, нужна ж нам табличка кандидатов из той таблички на вынос ;-) Добавь сюда что системы у нас дохреллион-процессорные и все это через локи. Поэтому, если ты полезешь рыться в исходниках - почти наверняка найдешь ровно то же самое, что и в исходниках zfs - асинхронный механизм, возможно и не один, пытающийся предугадать, сколько памяти может потребоваться в ближайшее время - на основании того, сколько ее уже попросили недавно. И вот эти механизмы - они сложные, не всегда быстрые и завязаны на кучу внутренних систем ядра. Неаккуратное вмешательство в них ведет к 12309 в лучшем случае (в худшем - к lockup, когда негде взять память, чтобы поискать свободную память, потому что мы уже ищем свободную память и память для этого кончилась). Кстати, никто не обещал тебе, что это единственное место в системе, где есть динамически расходуемая память, и что ее вообще надо сейчас трогать (представь систему с основными дисками на nfs, или, того хуже, ceph). К сожалению, в линуксе нет никакого общедоступного способа ее посмотреть, и даже понять, относится ли она к "buffers" или показывается просто как занятая ядром. > Не говоря о том что нынче прогеры размякли и к mem alloc failure часто не готовы морально они часто еще более неготовы к подождать, пока освободится (ты в линку в бравзере ткнул - и у тебя повисло все вообще - потому что понадобилась память отобразить инвалидо-френдли индикатор бурной деятельности, и система пошла поискать - пупсики ж не поймут такого)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	190. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 10-Янв-21, 23:40
	В swap он залез, потому что алгоритмы такие. Ставь vm.swappiness = 1 , будет меньше залезать. Но не в ноль. Плюс мог залезть когда был реальный оверкоммит, а освобождать не торопится - пока обращений не будет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	192. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 10-Янв-21, 23:41
	(освобождать - в смысле назад в RAM затягивать, освободить-то в любой момент может, если аппликуха отдаст)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	196. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от пох. (?), 11-Янв-21, 00:02
	> В swap он залез, потому что алгоритмы такие. вопрос не в этом, а почему у нас при этом _пропадает_ даром память, хотя она свободная. Правильный ответ - что если ее занять, то новой будет взять негде - в том числе даже на процесс освобождения памяти. Поэтому, вопреки легендам, он ни разу не бесплатный и в "волшебном" линуксе.
	Ответить \| Правка \| К родителю #190 \| Наверх \| Cообщить модератору


	230. "Выпуск OpenZFS 2.0.1, реализации ZFS для Linux и FreeBSD"	+/–
	Сообщение от Онаним (?), 12-Янв-21, 10:22
	Она не пропадает. Как только приложение её попросит - ОС ему даст, не ломаясь. Более того, даст и из cache/buffers при необходимости, не дожидаясь, как с ZFS, освобождения из ARC. Сама всё снимет и даст.
	Ответить \| Правка \| Наверх \| Cообщить модератору