Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

В ZFS появилась поддержка исключения дубликатов, opennews (?), 03-Ноя-09, (0) [смотреть все] круть, файлопомойки на freenas и freebsd зарулят теперь окончательно , white_raven (?), 10:27 , 03-Ноя-09, (1) –1 // Осталось самая малось, сделать нормальную поддержку SAN , Anatoliy (??), 13:07 , 03-Ноя-09, (37) +1 // ага, подружить фрю с iSCSI так и не удалось, oops (?), 14:27 , 03-Ноя-09, (47) // А FreeNAS это разве не FreeBSD с поддержкой iSCSI , QuAzI (ok), 14:53 , 03-Ноя-09, (49) Ну зачем же на всю страну кричать что руки мол растут из альтернативного мес, Warhead Wardick (?), 19:09 , 03-Ноя-09, (98) –2 Где именно у вас подружить не получилось У меня фряха раздаёт по iscsi zvol-ы, , Aleksey Salow (ok), 20:22 , 03-Ноя-09, (106) –1 Раздовать, может она и научилась, если установить из usr ports net iscsi-target, Ant (??), 23:02 , 03-Ноя-09, (112) +1 Кто ж с CX серией юзает iSCSI для это FC есть , pavlinux (ok), 01:10 , 04-Ноя-09, (115) –1 Вот и стоит Solaris 10, пока нормальной поддержки SAN не будет - , Ant (??), 12:36 , 04-Ноя-09, (134) 8-CURRENT какой-то древний и 8-BETA1 полёт нормальный Возможно в семёрке и были, Aleksey Salow (ok), 02:07 , 04-Ноя-09, (119) –1 Спасибо, попробую , Ant (??), 12:36 , 04-Ноя-09, (135) Меня удивляет, как такое простое и казалось бы очевидное решение раньше не приду, uldus (ok), 10:36 , 03-Ноя-09, (2) +1 // Дело не в идее Дело в реализации Понаписать это все так чтобы оно надежно рабо, al (??), 11:31 , 03-Ноя-09, (16) +1 Если мне не изменяет память, нечто подобное, как и многое другое типа мнгновенны, xxx (??), 12:56 , 03-Ноя-09, (34) +1 // не изменяет http en wikipedia org wiki Venti, Planner (?), 18:56 , 26-Ноя-09, (166) Хардилинки 8212 только для файлов А здесь работа идёт на уровне блоков данны, iZEN (ok), 18:54 , 03-Ноя-09, (96) // Не, яйцы это ещё не круть, круть это определений дуплей на уровне магнитных доме, pavlinux (ok), 01:17 , 04-Ноя-09, (116) Интересно насколько упадёт скорость записи в таком режиме Интересно как система, letsmac (?), 10:39 , 03-Ноя-09, (3) // Забудьте это слово применительно к ZFS , Mikula (?), 11:42 , 03-Ноя-09, (20) –1 // А мозк включить От фрагментации данных на диске ZFS не спасет, а эта недоидея е, аноним (?), 15:09 , 03-Ноя-09, (51) // Включайте ZFS не подвержена фрагментации Правда анонимам это неведомо , Mikula (?), 15:11 , 03-Ноя-09, (53) –1 Вы неуч ZFS подвержена фрагментации также как и любая другая ФС Пусть есть два , аноним (?), 17:07 , 03-Ноя-09, (78) +4 Это не актуально SSD и им подобные на дворе , ДяДя (?), 18:19 , 03-Ноя-09, (93) –3 Лол SSD пока в десять раз дороже и меньше по объему Не актуален ваш максимализ, аноним (?), 18:50 , 03-Ноя-09, (95) +1 Тем неменее Sun массивы во всю продаются с SSD дисками , pavlinux (ok), 01:27 , 04-Ноя-09, (117) Знаешь, Павлин, а порш кайен тоже вроде бы продается Только почему-то не каждый, User294 (ok), 05:01 , 04-Ноя-09, (125) Дяденька, подарите мне SSD на 4 Тб, я с удовольствием отправлю жесткие диски в о, User294 (ok), 04:57 , 04-Ноя-09, (124) Судя по этому высказыванию Вы не знаете матчасти Так что анон вперёд в гугл И , Mikula (?), 10:03 , 05-Ноя-09, (151) Камон, расскажите же нам наконец - как это CoW да вдруг делается совсем без фраг, User294 (ok), 06:25 , 06-Ноя-09, (161) Не совсем , а не критичны , не надо перегибать, QuAzI (ok), 11:26 , 06-Ноя-09, (163) CoW не подверженный фрагментации Сойдет за анекдот сезона А не расскажете, User294 (ok), 04:33 , 04-Ноя-09, (120) Жидкие от слова Жидкость домены, вместо магнитной пыли, - удалил и дыра за со, pavlinux (ok), 05:14 , 04-Ноя-09, (126) http www sun com emrkt campaign_docs expertexchange knowledge solaris_zfs_perf, Mikula (?), 10:20 , 05-Ноя-09, (152) не верю Где бенчмарки У мну на ноуте тормозит ужасно, если сильно фрагментиров, Planner (?), 19:06 , 26-Ноя-09, (168) реализовано 8 лет назад в Bell Labs Гуглить Venti , Planner (?), 19:04 , 26-Ноя-09, (167) Да, именно забудьте Дефрагментировать zfs невозможно А вот фрагментацию ее меха, Аноним (-), 19:34 , 03-Ноя-09, (101) // возможно, но только методом копирования данных на новый носитель и копирования и, Planner (?), 19:09 , 26-Ноя-09, (169) Дефрагментация А она еще кому-то нужна , zzz (??), 12:39 , 03-Ноя-09, (33) –2 // кагбе да, если есть желание добиться максимальной скорости работы с устройством , аноним (?), 15:10 , 03-Ноя-09, (52) // Эта проблема где нибудь существует кроме как на виндавозных FS ЕМНИП Ext4 UFS2, Mikula (?), 15:17 , 03-Ноя-09, (55) –1 безусловно, даже если один кластер с краю блина, а другой в самой жопе, то фрагм, аноним (?), 15:24 , 03-Ноя-09, (57) а если он еще и на другом диске, вообще лучше сразу застрелиться, иначе как же м, 222 (?), 15:29 , 03-Ноя-09, (61) казалось бы, при чем здесь zfs с дедупликацией, аноним (?), 16:11 , 03-Ноя-09, (68) keywordszpool types , raidz , raidz2, 222 (?), 16:18 , 03-Ноя-09, (70) Нет не поэтому, но Ваш красноглазый задор меня развесилил Вы уж хотя бы матчаст, Mikula (?), 16:16 , 03-Ноя-09, (69) Везде существует Просто нормальные ФС не склонны создавать ее на пустом месте, , аноним (?), 17:07 , 03-Ноя-09, (80) Почти нет - да, но всегда может найтись какойнить граничный случай я вот напр, User294 (ok), 04:38 , 04-Ноя-09, (121) Насрать, извините, можно везде, но когда при записи 1000 1Гб файлов фрагментация, Mikula (?), 10:25 , 05-Ноя-09, (153) Откуда виндовозный подход и кто вам таки сказал, что фрагментация повышает скоро, Анон (?), 16:28 , 03-Ноя-09, (71) старайтесь реже посещать лор логика и здравый смысл , аноним (?), 16:40 , 03-Ноя-09, (75) –1 Все ФС основанные на деревьях Бэйэра от фрагментации сильно не страдают Если то, letsmac (?), 17:07 , 03-Ноя-09, (79) Что за деревья такие Где можно почитать , sceptic (?), 17:38 , 03-Ноя-09, (88) b-дерево учебник по программированию для первого-второго курса, аноним (?), 18:06 , 03-Ноя-09, (92) Поясните, как Б-деревья помогают избежать фрагментации , Аноним (-), 19:35 , 03-Ноя-09, (102) А никак сами по себе не помогают, ха-ха-ха Чуваки козыряют терминами без в, User294 (ok), 04:45 , 04-Ноя-09, (122) Позорище космофлота А вы сможете рассказать почтенной публике как вы представля, User294 (ok), 04:51 , 04-Ноя-09, (123) Мне страшно от слов менее надежный Как можно обойтись без точной проверки бло, Nexor (?), 10:54 , 03-Ноя-09, (4) +1 // А сч его у вас они одинаковые будут , sauron (ok), 10:59 , 03-Ноя-09, (7) // Ну вот если размер блока 4кбайта, а хэш 256 байт Сколько блоков удастся однозна, Nexor (?), 11:26 , 03-Ноя-09, (13) +1 // Ну возьмите все свои разделы, сбейте хеши и размер всех файлов в БД, поищите сов, QuAzI (ok), 11:35 , 03-Ноя-09, (17) для ценнейших данных там кстати еще и режим verify есть, 222 (?), 12:33 , 03-Ноя-09, (32) просто данные для вас не ценны md5 от IP сильно ускоряет работу многих прил, nikos (??), 14:37 , 03-Ноя-09, (48) ну так хочешь проверять содержимое, проверяй, есть же эта опция, 222 (?), 15:26 , 03-Ноя-09, (60) 64 Эксабайт , pavlinux (ok), 05:46 , 04-Ноя-09, (127) Там процент вероятности коллизии имеет значение с 256 нулями, т е пока солнце н, Аноним (-), 11:02 , 03-Ноя-09, (9) +1 Тоесть появится некоторый файл такой же длинны, с таким же хешем К тому же вопр, QuAzI (ok), 11:07 , 03-Ноя-09, (10) // Почему файл Блок А блоки все одинаковой длины, не , zazik (ok), 11:48 , 03-Ноя-09, (24) +1 // Если включено сжатие - разной , QuAzI (ok), 13:06 , 03-Ноя-09, (35) дефрагме что простите А почему скорость должна упасть Там хеши вычисляются, , QuAzI (ok), 10:55 , 03-Ноя-09, (5) // Ну это один обход А тут при каждой записи вычисление хэша каждого блока поиск, letsmac (?), 10:59 , 03-Ноя-09, (8) // Нет, ну как бы ZFS поддерживает архивацию, но речь не о том Допустим поиск дубл, QuAzI (ok), 11:10 , 03-Ноя-09, (11)   // во первых не файл, а блокво вторых в блоге явно сказано дедупликация происходит , 222 (?), 11:40 , 03-Ноя-09, (19)   Перечитал Это я затупил, там просто обзор есть, мол Data can be deduplicated a, QuAzI (ok), 13:14 , 03-Ноя-09, (38)   видел, когда ZFS ооочень тормозила, когда системе памяти не хватало но это исклю, B.O.B.A.H. (??), 13:23 , 03-Ноя-09, (40)   Можете описать, как вы добились такой нагрузки , QuAzI (ok), 13:26 , 03-Ноя-09, (41)   вкратце - когда кол-во файлов приближалось к 100 000 000 сто млн - ZFS начинал, B.O.B.A.H. (??), 00:52 , 04-Ноя-09, (114)   Врете ARC работает независимо от остального VM, поэтому скорее будет паника kme, аноним (?), 18:56 , 03-Ноя-09, (97)   думаю, что памяти хватало - никакой паники только не вся служебная информация , B.O.B.A.H. (??), 15:46 , 05-Ноя-09, (156)   Тогда смысл несколько теряется При удалении изменении захэшированного файла, вс, letsmac (?), 12:30 , 03-Ноя-09, (31)   ИМХО это новшество чем-то напоминает файловую систему venti в Plan 9 , zerg324 (?), 10:58 , 03-Ноя-09, (6) Вставка хардлинка на блок другого файла это фактически фрагментация При хорошей, Knuckles (ok), 11:26 , 03-Ноя-09, (12) // А 33 копии одного и того же файла в разных частях жёсткого диска, это лучше смот, QuAzI (ok), 11:30 , 03-Ноя-09, (14) +1 // Им необязательно быть фрагментированными Все 33 вполне могут быть записаны на п, Knuckles (ok), 11:38 , 03-Ноя-09, (18) +1 // уважаемый, при чем здесь помойка пример - на сервере несколько десятков человек, gyouja (?), 12:21 , 03-Ноя-09, (30) +1 Если бы у тебя было хоть какое образование то ты бы знал о третьем начале Кла, Warhead Wardick (?), 19:21 , 03-Ноя-09, (99) –1 Ох вау Это что-то из твоей религии , Knuckles (ok), 20:50 , 03-Ноя-09, (108) Сомнительная полезность В плане производительности, проблемы калькуляции свобод, ameoba32 (?), 11:30 , 03-Ноя-09, (15) +1 // А что не так со свободным местом на диске и его калькуляцией Производительность, QuAzI (ok), 11:42 , 03-Ноя-09, (21) однако это не только место, это и плюс в производительности записи, за счет мень, 222 (?), 11:42 , 03-Ноя-09, (22) // Неверно Операций будет больше Потому что COW Неверно Никак не повлияет Для о, Knuckles (ok), 11:50 , 03-Ноя-09, (27) // я рад что есть люди знающие системы лучше разработчиков It all depends on your, 222 (?), 11:55 , 03-Ноя-09, (29) Ага А когда у одного файла та повторяющаяся часть поменялась, нужно это отследи, Knuckles (ok), 16:33 , 03-Ноя-09, (72) если поменялась, запись нового блока идет на общих условиях, что меняем мы этот , 222 (?), 16:43 , 03-Ноя-09, (76) Да нет, на уровне блоков наверняка дубликатов достаточно Такие вещи как заголов, Knuckles (ok), 11:47 , 03-Ноя-09, (23) +1 // а сильно от самих данных будет зависеть, на некоторых одни минусы получаем, 222 (?), 11:49 , 03-Ноя-09, (26) Как-то действительно странно Если дуБликатов мало, нафига оно надо, если дублик, zazik (ok), 11:51 , 03-Ноя-09, (28) // почитайте про свойства крипто-хеш-функций , max (??), 13:07 , 03-Ноя-09, (36) А на SAS, SAN или даже когда место на RAID заканчивается, и его надо расширять н, Daltinn (ok), 15:40 , 03-Ноя-09, (63) Круто, то есть, по сути, будут две контрольные суммы два хэша - SHA256 и ещё о, webbeans (?), 11:49 , 03-Ноя-09, (25) // Ну да, и дополнительная проверка блока на совпадение Всё опционально, как и с, QuAzI (ok), 13:17 , 03-Ноя-09, (39) // Охренеть Скоро контрольные суммы будут занимать столько же, сколько и сами данн, аноним (?), 17:11 , 03-Ноя-09, (81) +1 // Будут Прийдёт злобный аноним, скажет что копия неверная, потому что ему это мар, QuAzI (ok), 19:25 , 03-Ноя-09, (100) http en wikipedia org wiki SHA256Algorithm andvariant Output size bits Int, barmaglot (??), 13:27 , 03-Ноя-09, (42) Похоже уже все лоровцы сюда перебрались Фключить моск никому идея не приходит, barmaglot (??), 13:44 , 03-Ноя-09, (43) // Когда-то Intel в Пентиумах допустила ошибку в делении и посчитала её маловероятн, Дмитрий Ю. Карпов (?), 11:05 , 05-Ноя-09, (154) Хм Вероятность коллизии, получается, стремится к нулю Ну тогда алгоритм восс, Spase (?), 00:14 , 06-Ноя-09, (157) вот весело будет если блок сдохнет при такой системе я потеряю все 33 файла а по, Аноним (-), 13:47 , 03-Ноя-09, (44) +1 // При активной записи на жёсткий диск однотипных данных вы потеряете жёсткий диск , QuAzI (ok), 13:52 , 03-Ноя-09, (45) –1 В ZFS поддерживаются RAID5 6 конфигурации, при последнем теряйте хоть 2 блока ,, barmaglot (??), 15:16 , 03-Ноя-09, (54) // Угу, тока называются они RAID-Z1, RAID-Z2 Да, еще и RAID-Z3 есть - , Anon Y Mous (?), 16:37 , 03-Ноя-09, (74) Пример реального применения 1 вы занимаетесь монтажом видео Периодически дела, Aleksey (??), 14:07 , 03-Ноя-09, (46) // 1 лучше решать с помощью snapshot s, уже существующих в zfs , Юра (??), 14:58 , 03-Ноя-09, (50) // Не факт В каталогах структурировать информацию намного легче Для пользователя , Aleksey (??), 15:23 , 03-Ноя-09, (56) // ln -s zfs snapshot XXX MyCoolDir, не , аноним (?), 17:12 , 03-Ноя-09, (83) Чушь, это совершенно разные фичи Вообще вероятность совпадения информации на бло, barmaglot (??), 15:26 , 03-Ноя-09, (59) Обработка таких случаев присутствовала в UFS изначально , Дмитрий Ю. Карпов (?), 11:07 , 05-Ноя-09, (155) Эм, а что, если по умолчанию используется чексуммы fletcher4, а в dedup sha256, , аноним (?), 15:25 , 03-Ноя-09, (58) // хм, хороший вопрос, похоже даразве что и для дедупликации включен режим fletcher, 222 (?), 15:35 , 03-Ноя-09, (62) Красиво, конечно, расписано для сферических данных с дубликатами в вакууме, но х, Аноним (-), 15:50 , 03-Ноя-09, (64) +1 Чего-то я не совсем понял, видать и в самом деле просто туплю В новости Наиб, аноним (?), 15:51 , 03-Ноя-09, (65) +1 // особенно если есть множество одинаковых блоков - заполненных нулями и т п Тогда, аноним (?), 15:53 , 03-Ноя-09, (66) // Ну как бы, вы ежедневно боитесь того что ваш винт помрёт, а из сервера пойдёт ды, QuAzI (ok), 16:04 , 03-Ноя-09, (67) –1 // молодец, профессионализм не скроешь , Гений (ok), 23:01 , 03-Ноя-09, (111) +1 google dedupditto, Anon Y Mous (?), 16:36 , 03-Ноя-09, (73) Меня вот что интересует Вот ZFS обеспечивает дедупликацию на уровне ФС, Оракл на, jSnake (??), 16:51 , 03-Ноя-09, (77) // Нормальные БД типа SyBase и Oracle позволяют хранить базу на RAW разделе Что в , letsmac (?), 17:11 , 03-Ноя-09, (82) // Не, я не про то быстродействие баз на raw - отдельная оччччень спорная тема Я , jSnake (??), 17:24 , 03-Ноя-09, (85) // Ну если у вас все это железо, поддерживающее сжатие есть, то конечно надо где-, Aleksey (??), 18:27 , 03-Ноя-09, (94) Что-то мне подсказывает, что очень-очень скоро сюрпризом станет наличие проблем , jSnake (??), 19:59 , 03-Ноя-09, (104) Это проблемы оракла, что оно бесплатно и замечательно Пусть сделает лучше и нар, QuAzI (ok), 20:49 , 03-Ноя-09, (107) А вот в том-то и проблема, что оракл УЖЕ продаёт СВОИ опции БД, сравнимые с возм, jSnake (??), 22:18 , 03-Ноя-09, (110) Замечательно Мало того, что ZFS даже не пытается выделять непрерывные куски мес, аноним (?), 17:16 , 03-Ноя-09, (84) +1 // Фигассе, вы каждый фильм которые в последнее время делают с таким сюжетом, что , QuAzI (ok), 17:26 , 03-Ноя-09, (86) // Нет, это делает торрент клиент Фракментированный кусок дерьма, разумеется, удал, аноним (?), 17:40 , 03-Ноя-09, (90) откуда дровишки и какой толк в sparse файлах, если место под них выделяется от, Аноним (-), 17:37 , 03-Ноя-09, (87) –1 // Место можно выделять, а занимать только если писать больше некуда, знаете ли Ис, аноним (?), 17:49 , 03-Ноя-09, (91) // с dedup on блоки с нулями не будут кушать места как раньше поэтому sparse-файл, Аноним (-), 23:54 , 03-Ноя-09, (113) Остается только крайне забавный вопрос в насколько же большую задницу попадет о, User294 (ok), 08:13 , 04-Ноя-09, (128) Для начала будет дописываться текущий блок, а потом уже, по мере необходимости, , QuAzI (ok), 08:49 , 04-Ноя-09, (131) Меньше Даже в самом хорошем случае т е все содержимое файла лежит более-менее, User294 (ok), 09:21 , 04-Ноя-09, (132) gt оверквотинг удален вот что странно, вначале человек плачет что плахой zfs н, 222 (?), 10:32 , 04-Ноя-09, (133) Боже мой, вас почитать, DOS ещё жив Про упреждающее чтение ни слова, про буфера, QuAzI (ok), 13:07 , 04-Ноя-09, (136) ну это же очевидно, у них регулярно по расписанию стартует дефраг на их терабайт, 222 (?), 13:24 , 04-Ноя-09, (137) Эм никакой надёжности Это не параноя, это идиотизм вроде как У меня всё цен, Aleksey Salow (ok), 15:46 , 04-Ноя-09, (140) 171 Automatic Acoustic Management 187 AAM - оперативная регулировка уровня, QuAzI (ok), 16:01 , 04-Ноя-09, (141) Разве это не функция самого винчестера Для IDE по крайней мере так А действи, Spase (?), 00:26 , 06-Ноя-09, (158) а без дедупликации каким местом self-healing работает окромя copies , QuAzI (ok), 14:05 , 04-Ноя-09, (138) Вот блин почему так трудно узнать ответ на те вопросы, которые действительно инт, QuAzI (ok), 15:08 , 04-Ноя-09, (139) Sha256 in ZFS IS used for self healing if you set it as checksum algorithm It , QuAzI (ok), 21:03 , 04-Ноя-09, (142) +1 ЕМНИП, не делает Но на основе dedup кода, думаю, будет сделать не трудно Что-т, Аноним (-), 23:39 , 04-Ноя-09, (143) Какой dedup Какое copies Фиг с ними, это мне уже не интересно Хеши совпадают т, QuAzI (ok), 00:48 , 05-Ноя-09, (145) до dedup а кода для поиска случайно совпавших hash ей в ZFS не было refcount ы , Аноним (-), 03:11 , 05-Ноя-09, (147) Неа _если_ данные не совпадают, _то_ хеши не совпадают Обратное неверно, т к , Spase (?), 00:29 , 06-Ноя-09, (159) я бы сказал что если хеши совпадают то данные могут не совпадать если данные не, JL2001 (ok), 00:41 , 06-Ноя-09, (160) Вы ветку внимательно читали Про то что коллизий нет читали Про то что в Sun не, QuAzI (ok), 11:23 , 06-Ноя-09, (162) извините, но вы - лох, если считаете что в продакшен будет стоять сервер у котор, JL2001 (ok), 11:48 , 06-Ноя-09, (164) Тоесть вы однозначно утверждаете что вы умнее ребят из Sun которые разрабатывают, QuAzI (ok), 12:21 , 06-Ноя-09, (165) Ага Терь для торрентов нельзя будет использовать ZFS вообще, гыгы Ну страйп, ка, аноним (?), 06:36 , 05-Ноя-09, (148) Иди учи матчасть, а потом перечитай свое сообщение и отредактируюй как следует , DrNo (??), 19:42 , 03-Ноя-09, (103) // Сначала напиши в поле сообщение , что хотел сказать, потом жми Отправить , поз, аноним (?), 06:37 , 05-Ноя-09, (149) значит ли это, что я могу перемещать копировать файлы между ZFS-датасетами почти, Аноним (-), 17:39 , 03-Ноя-09, (89) +1 // Нет, это значит, что cat dev dull FILE теперь совсем не ограничен по объём, Andrey Mitrofanov (?), 20:09 , 03-Ноя-09, (105) +1 // dev zero хотели сказать , аноним (?), 22:16 , 03-Ноя-09, (109) // Гы, ес-тестно Оговорочки по англо-русскому словарю, наверное dull d 652 l, Andrey Mitrofanov (?), 09:24 , 05-Ноя-09, (150) Что за девайс у вас такой хитрый Он показывает при этой операции дулю Или что , User294 (ok), 08:14 , 04-Ноя-09, (129) не очень понятно можно ли использовать по дефолту быстрый fletcher4, и, если так, Аноним (-), 23:43 , 04-Ноя-09, (144) // Если я правильно понял, то как раз и имелось ввиду что можно использовать fletch, QuAzI (ok), 00:50 , 05-Ноя-09, (146) 1,2,3,4,5,6,12,15,25,42,43,44,46,58,64,65,77,84,89,144

Сообщения

[Сортировка по времени | RSS]

	11. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от QuAzI (ok), 03-Ноя-09, 11:10
	>Ну это один обход. А тут при каждой записи вычисление хэша каждого >блока + поиск + и тд. При перезаписи блока так ещё >и ссылки отчищать. Архивная така ФС выходит. Нет, ну как бы ZFS поддерживает архивацию, но речь не о том. Допустим поиск дубликатов будет делать scrub или другая сервисная фича, это ещё предстоит устаканить. Тоесть создав файл предполагается же, что он ещё 33 раза поменяется. Другой вопрос это "упаковать", в порядке сервисного обслуживания.
	Ответить | Правка | Наверх | Cообщить модератору

	19. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от 222 (?), 03-Ноя-09, 11:40
	>Нет, ну как бы ZFS поддерживает архивацию, но речь не о том. Допустим поиск дубликатов будет делать scrub или другая сервисная фича, это ещё предстоит устаканить. Тоесть создав файл предполагается же, что он ещё 33 раза поменяется. Другой вопрос это "упаковать", в порядке сервисного обслуживания. во первых не файл, а блок во вторых в блоге явно сказано дедупликация происходит сразу же в третьих чексум блока вычисляется всегда, даже без дедупликации, с ней дополнительно появится только операция поиска в существующих хэшах что в свою очередь ест память для них, но пока таблица влезает в память практически не сказывается на производительности и дает небольшое замедление при невлезающей в память таблице читайте первоисточники
	Ответить | Правка | Наверх | Cообщить модератору

	38. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от QuAzI (ok), 03-Ноя-09, 13:14
	>во первых не файл, а блок >во вторых в блоге явно сказано дедупликация происходит сразу же >в третьих чексум блока вычисляется всегда, даже без дедупликации, с ней дополнительно >появится только операция поиска в существующих хэшах >что в свою очередь ест память для них, но пока таблица влезает >в память практически не сказывается на производительности и дает небольшое замедление >при невлезающей в память таблице > >читайте первоисточники Перечитал. Это я затупил, там просто обзор есть, мол "Data can be deduplicated at the level of files, blocks, or bytes". Что в принципе не так и важно, размер блока вроде как превышает среднестатистический файл (документ, конфиг, исходник, многие утилиты и т.п.) Интереснее было бы посмотреть на цифры, сколько памяти съест под себя хеш 100 000 блоков к примеру, сколько они при этом "накроют" места. Это позволит более чётко представить, надо оно или нет.
	Ответить | Правка | Наверх | Cообщить модератору

	40. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от B.O.B.A.H. (??), 03-Ноя-09, 13:23
	>в память практически не сказывается на производительности и дает небольшое замедление >при невлезающей в память таблице > видел, когда ZFS ооочень тормозила, когда системе памяти не хватало. но это исключительная ситуация - файлов на ФС было создано чрезвычайно много и они постоянно создавались/модифицировались.
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

	41. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от QuAzI (ok), 03-Ноя-09, 13:26
	> >>в память практически не сказывается на производительности и дает небольшое замедление >>при невлезающей в память таблице >> > >видел, когда ZFS ооочень тормозила, когда системе памяти не хватало. >но это исключительная ситуация - файлов на ФС было создано чрезвычайно много >и они постоянно создавались/модифицировались. Можете описать, как вы добились такой нагрузки?
	Ответить | Правка | Наверх | Cообщить модератору

	114. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от B.O.B.A.H. (??), 04-Ноя-09, 00:52
	вкратце - когда кол-во файлов приближалось к 100 000 000 (сто млн) - ZFS начинал заметно (даже глазу) тормозить, к примеру, на команде   ls -l решило проблему простое увеличение памяти на сервере - с 8 Г до 16. всё это дело наблюдалось прошлым летом. сейчас, возможно, ситуация изменилась.
	Ответить | Правка | Наверх | Cообщить модератору

	97. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от аноним (?), 03-Ноя-09, 18:56
	>видел, когда ZFS ооочень тормозила, когда системе памяти не хватало. Врете. ARC работает независимо от остального VM, поэтому скорее будет паника kmem_too_small, чем zfs будет не хватать памяти. Сейчас сделали backpressure vm на arc, так что arc будет ужиматься если памяти будет не хватать, но все равно даже при arc_max=30M ZFS работает с замечательной скоростью.
	Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

	156. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от B.O.B.A.H. (??), 05-Ноя-09, 15:46
	> чем zfs будет не хватать памяти. думаю, что "памяти" хватало - никакой паники. только не вся служебная информация о ФС не могла поместиться в ОП в один момент времени
	Ответить | Правка | Наверх | Cообщить модератору

	31. "В ZFS появилась поддержка исключения дубликатов"	+/–
	Сообщение от letsmac (?), 03-Ноя-09, 12:30
	>>Допустим поиск дубликатов будет делать scrub или другая сервисная фича, это ещё предстоит устаканить Тогда смысл несколько теряется. При удалении/изменении захэшированного файла, всё равно что произойдёт?  Делать ремап блоков файла придется. Т.Е получается то-же разархивирование. Каждый раз прогонять распакованный файл и переколбашивать изменнёные блоки - не очень правильное решение. >>Другой вопрос это "упаковать", в порядке сервисного обслуживания. Вот и я говорю для архивов - неплохая фишка. Особенно для документных. Или выставлять атрибуты для файла отдельные - "сжимаемый" или фасовать по изменению. Получается "псевдоархив" с большой скоростью доступа.
	Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема