The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Western Digital опубликовал специализированную ФС Zonefs для зонированных накопителей

26.12.2019 08:54

Директор по программным разработкам компании Western Digital предложил в списке рассылки разработчиков ядра Linux новую файловую систему Zonefs, нацеленную на упрощение низкоуровневой работы с зонированными устройствами хранения. Zonefs связывает каждую зону в накопителе с отдельным файлом, который можно использовать для хранения данных в raw-режиме без манипуляции на уровне секторов и блоков.

Zonefs не является POSIX-совместимой ФС и ограничена достаточно узкой областью применения, позволяющей приложениям использовать файловый API вместо прямого обращения к блочному устройству при помощи ioctl. Связанные с зонами файлы требуют выполнения операций последовательной записи, начиная с конца файла (запись в режиме дополнения).

Предоставляемые в Zonefs файлы могут применяться для размещения поверх зонированных накопителей БД, использующие структуры хранения в форме лога LSM (log-structured merge), отталкиваясь от концепции один файл - одна зона хранения. Например, подобные структуры применяются в БД RocksDB и LevelDB. Предложенный подход даёт возможность сократить затраты на портирование кода, изначально рассчитанного на манипуляцию с файлами, а не блочными устройствами, а также организовать низкоуровневую работу с зонированными накопителями из приложений на языках программирования отличных от Си.

Под зонированными накопителями подразумеваются устройства на жёстких магнитных дисках или NVMe SSD, пространство для хранения в которых разбито на зоны, составляющие группы блоков или секторов, в которые допускается лишь последовательное добавление данных с обновлением целиком всей группы блоков.

Например, зонирование записи применяется в устройствах c черепичной магнитной записью (Shingled Magnetic Recording, SMR), в которых ширина дорожки меньше ширины магнитной головки, и запись производится с частичным перекрытием соседней дорожки, т.е. любая перезапись приводит к необходимости перезаписи всей группы дорожек. Что касается SSD-накопителей, то в них изначально имеется привязка к последовательным операциям записи с предварительной очисткой данных, но данные операции скрываются на уровне контроллера и прослойки FTL (Flash Translation Layer). Для повышения эффективности при некоторых видах нагрузки организация NVMe стандартизировала интерфейс ZNS (Zoned Namespaces), позволяющий напрямую обращаться к зонам в обход прослойки FTL.

В Linux для зонированных жёстких дисков начиная с ядра 4.10 предлагаются блочные устройства ZBC (SCSI) и ZAC (ATA), а начиная с выпуска 4.13 добавлен модуль dm-zoned, представляющий зонированный накопитель как обычное блочное устройство, скрывая применяемые в процессе работы ограничения записи. На уровне файловых систем поддержка зонирования уже интегрирована в ФС F2FS, а в разработке находится набор патчей для ФС Btrfs, адаптацию которой для зонированных накопителей упрощает работа в режиме CoW (copy-on-write). Работу Ext4 и XFS поверх зонированных накопителей можно организовать при помощи dm-zoned. Для упрощения перевода файловых систем предложен интерфейс ZBD, транслирующий операции случайной записи в файлы в потоки последовательных операций записи.



 
  1. Главная ссылка к новости (https://lkml.org/lkml/2019/12/...)
  2. OpenNews: Samsung открыл код F2FS, новой файловой системы для Flash-накопителей
  3. OpenNews: WD открыл наработки, связанные с процессором WD SweRV, и портировал Plasma Mobile для RISC-V
  4. OpenNews: В состав ядра Linux принят dm-clone, модуль для эффективной репликации внешних устройств
  5. OpenNews: Google работает над использованием обычного ядра Linux в Android
  6. OpenNews: VPN WireGuard принят в ветку net-next и намечен для включения в ядро Linux 5.6
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52092-zonefs
Ключевые слова: zonefs, wd, disk
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (162) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Грусть (?), 09:21, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +3 +/
    Всякую дрянь в ядро тащат.
     
     
  • 2.34, Аноним (34), 12:23, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +4 +/
    По-вашему в Linux не нужна поддержка работы с NVMe? А если крепко подумать?
     
     
  • 3.40, пох. (?), 13:32, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • –6 +/
    скорее ненужны ТАКИЕ nvme и такие жесткие диски, которые надо ТАК геморройно поддерживать, ибо сами не стоят.

     
     
  • 4.65, Аноним (65), 15:05, 26/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +2 +/
    чего не придумают что бы увеличить емкость и плотность записи.
    Сегейт был первым в этом.
     
     
  • 5.70, пох. (?), 15:54, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    а с увеличением емкости что-то как-то пошло не так - 14T WD RED как раз те самые, про которые ответили что они не SMR

    SMRы появляются только в нижних малообъемных линейках

     
     
  • 6.74, Андрей (??), 16:13, 26/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Только на днях была новость, что WD отгружает первые 18 TB и 20 TB enterprise диски избранным клиентам. Угадайте с первого раза, каким образом им удалось одновременно с 18 TB выпустить 20.
     
     
  • 7.99, анон (?), 20:11, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    kak?
     
     
  • 8.101, Андрей (??), 20:38, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    20 TB с SMR ... текст свёрнут, показать
     
  • 6.75, Андрей (??), 16:21, 26/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    И первый 14-TB enterprise жёсткий диск в мире был от WD и использует SMR. Аналогично, с 15-TB.
    Потом: 16 TB CMR в паре с 18 TB SMR.
     
  • 6.142, Аноним (142), 01:12, 29/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    > а с увеличением емкости что-то как-то пошло не так

    С флешом "не так" аж с 70-х годов прошлого века, когда придумали геморрой с стиранием блоками чтобы упростить топологию ячеек микросхемы. Есть EEPROM стираемый и записываемый побайтово, но вот цена за мегабайт у него...

     
  • 4.141, Аноним (141), 01:07, 29/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    > которые надо ТАК геморройно поддерживать, ибо сами не стоят.

    Флеш всегда был крупноблочным устройством, которое записывается именно так. А то что там FTL делает вид что он может якобы записать якобы 512-байтный сектор - еще не означает что это хорошо, быстро и эффективно.

     

  • 1.2, Иваня (?), 09:24, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +7 +/
    Ух, сложная тема, спасибо :(
     
  • 1.4, Аноним (4), 09:46, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • –27 +/
    >Western Digital

    вообще надо похоронить линейку под брендом WD, чтобы не вводить потребителя в заблуждение (бренд WD имеет очень плохую репутацию в плане надёжности, но после покупки HGST начали появляться устройства с префиксом WD, остальная часть имени модели которых закодирована в формате HGST (назовём их "WD@HGST"), можно предположить, что это диски HGST под брендом WD, непонятен только смысл так делать: hgst раскрученный бренд, известный своей надёжностью, wd же печально известен. Непонятно, значит ли это, что WD@HGST имеют что-нибудь (компоненты, методка сборки, страна и уровень квалификации рабочих) от обычных WD и хорошо это или плохо).

     

     ....большая нить свёрнута, показать (70)

  • 1.7, анонимчик (?), 10:15, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +2 +/
    помню трешку собирал покупал диск WD в формозе
     
     
  • 2.14, Аноним (14), 10:41, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    А ещё они делали видеокарты 0_o
     
     
  • 3.42, Аноним (9), 13:39, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    И материнские платы
     
     
  • 4.150, Аноним (-), 06:09, 29/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    > И материнские платы

    И процессоры, что уж там.

     
     
  • 5.164, Lemko (?), 16:38, 05/01/2020 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    И космические кораблики.
     

  • 1.11, nobody (??), 10:23, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +3 +/
    Имхо, зонированные nvme это просто разбитые на немспейсы. Выгода в последовательном хранении временнЫх логов для разных приложений в разных местах. С такой же скоростью пишутся, с оптимальной читаются.

    А сабж это имплементация неймспейсов для SMR дисков.
    Ну надо же их хоть куда-то приткнуть: прогрыш в производительности по сравнению с CMR дисками слишком велик (до нескольких раз) перед выигрышем в дисковом пространстве (порядка 10%).

    WD хотя бы начали честно писать: этот диск SMR.
    Seagate, судя по всему, специально запутывает потенциальных покупателей.

     

     ....большая нить свёрнута, показать (52)

  • 1.37, borbacuca (ok), 12:50, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    в НР Nimble такой принцип используют


     
  • 1.68, Аноним (68), 15:29, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    SNR еще один шаг к упрощению /удешевлению железа и перекладывание головняка с обновлениями прошивок на ОС ??
     
     
  • 2.69, Аноним (68), 15:33, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    имел в виду  ZNS
     
  • 2.79, пох. (?), 16:53, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    > SNR еще один шаг к упрощению /удешевлению железа и перекладывание головняка с
    > обновлениями прошивок на ОС ??

    zns - да. А snr еще один шаг к цивилизации дерьма.

     
     
  • 3.162, Аноним (-), 21:08, 31/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    > А snr еще один шаг к цивилизации дерьма.

    SNR - это шаг к коммуникациям. Не стоит его путать с SMR.

     

  • 1.97, Аноним (-), 20:01, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Объясните вкратце что это дает конечному пользователю?
     
     
  • 2.98, Аноним (-), 20:02, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Всмысле не то что это заопенсорсилось, а в чем фишка технологии.
     
  • 2.102, Ordu (ok), 20:49, 26/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    Ничего.
     
     
  • 3.111, Аноним (-), 22:34, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Технология, которая не дает ничего?
     
     
  • 4.115, Ordu (ok), 23:48, 26/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    > Технология, которая не дает ничего?

    Да, конечному пользователю.

     
  • 2.152, Аноним (-), 06:17, 29/12/2019 [^] [^^] [^^^] [ответить]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    > Объясните вкратце что это дает конечному пользователю?

    Больше данных на диск влазит при прочих равных. Ценой довольно извратных способов записи.

     

  • 1.114, illkman (?), 23:40, 26/12/2019 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –1 +/
     

  • 1.117, Аноним (-), 00:09, 27/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +2 +/
    Поставил WD Caviar Black в домашний NAS. 8 лет полет нормальный. Рядом второй NAS с такими же дисками и объемом для бэкапов и автоматической синхронизацией. Все под FreeNAS последней версии и соединяется с домашним кинотеатром. ^_^
     
  • 1.133, InuYasha (?), 13:43, 27/12/2019 [ответить] [﹢﹢﹢] [ · · · ]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +1 +/
    Раз уж все начали тут делиться статистикой, я тоже внесу:
    WD BLACK WD2502ABYS SATA, HGST HUA72202 SATA, SEAGATE ST3000NM0023 SAS, ST1500DL003 SATA - все (от двух штук каждой модели) в рэйдах, нормально, один HGST уже больше года мигает жёлтым, но пока не вылетел.
    Toshiba 2.5 SAS - нормально
    т.е. ни одного фактического вылета, статистика примерно за 5-7 лет при низкой-средней нагрузке 24/7, с ИБП.
     
  • 1.139, Аноним (139), 00:09, 28/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • –1 +/
    Не хилый холивар, но мало кто из вас помнит , Conner , maxtor , quantum, ibm, fujitsu,
     
     
  • 2.140, Michael Shigorin (ok), 01:22, 28/12/2019 [^] [^^] [^^^] [ответить]      [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Да ладно, мы и болгарские помним.
     

  • 1.163, Michael Shigorin (ok), 16:14, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  []     [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]
  • +/
    Читал, задумался -- а ведь это "софт-винчестеры" уже:

    ---
    Отметим, что этими линейками ассортимент моделей HGST Ultrastar, превратившихся в Western Digital Ultrastar DC, не исчерпывается. Как уже было сказано, процесс затронул также твердотельные накопители с NVMe- или SAS-интерфейсами, а также винчестеры семейства Hs14 на 14 и 15 ТБ (теперь это HC620). Но они представляют собой уже специализированные решения — в частности, HC620 это т. н. «Host-Managed SMR», т. е. для их работоспособности требуется соответствующая поддержка со стороны компьютера/сервера.
    --- https://www.ixbt.com/data/western-digital-ultrastar-series.html

    Ещё наткнулся на такую табличку SMR/PMR (квадратики уметь читать необязательно): https://www.mobibrw.com/2020/22727 -> https://www.mobibrw.com/wp-content/uploads/2020/01/3.5SATAHDDDatabase2018-10-2

    Краткий мой из неё вывод -- всё так же игнорируем сюгейты (SMR уже от _двух_ терабайт на одном блине!), а у hgst избегаем серии Ultrastar Archive Ha10 на десятку и высокоёмкие HC620 (14+).

    Это пошёл выяснять перед заменой дисков, а не вляпался ли часом в подобное с hus728t8tale6l4...

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру