The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Готовы ли файловые системы Linux к появлению многотерабайтных дисков

11.06.2008 13:43

В статье "The future is bright for Linux filesystems" представлены результаты анализа, насколько файловые системы Linux готовы к работе с многотерабайтными массивами данных.

В настоящее время XFS, поддерживая 64-битную адресацию, может работать с разделами размером 9 эксабайт (9216 петабайт или 9437184 терабайт).

Находящаяся на стадии тестирования файловая система ext4 поддерживает адресацию до 1 эксабайта данных (ext3 поддерживает разделы размером 16 терабайт), файл в ext4 может иметь размер до 16 терабайт (в ext3 - 2 терабайта).

Теоретический предел дискового раздела файловой системы BTRFS (на стадии альфа тестирования) равен 18 эксабайтам.

Файловая система HAMMER, разрабатываемая в рамках проекта DragonFly BSD, поддерживает до 512 петабайт.

Ограничение размера файловой системы ZFS, разработанной для Solaris и портированной во FreeBSD, - 16 эксабайт, плюс 16 эксабайт файловых систем можно объединить в единый пул хранения. Интересно, что минимальная масса, необходимая для хранения адресуемых 128-битным указателем данных, равна 136 млрд кг.

  1. Главная ссылка к новости (http://lxer.com/module/newswir...)
  2. OpenNews: Преимущества Ext4 по сравнению с ext3
  3. OpenNews: Новый тестовый релиз Btrfs v0.14, сверхнадежной ФС для Linux
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/16427-disk
Ключевые слова: disk, linux, fs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (53) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, alex (??), 13:59, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Увы не оченбто готовы. Одна проверка файловой системы на таких обьем чего будет стоить.
     
     
  • 2.11, Onotoley (?), 14:54, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    к десктопным\ноутбучным дискам - да, ext3 ещё надолго хватит.
     
     
  • 3.45, User294 (ok), 23:26, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >к десктопным\ноутбучным дискам - да, ext3 ещё надолго хватит.

    А вот выпендрятся и сделают скажем голографические носители.С емкостью на пару порядков больше... представляете себе fsck на диске в 500Тб?Ну, через недельку отстреляется.Хотя если его квантовым процессором снабдить - за пару часов уложится :)

     
     
  • 4.53, Andrew Kolchoogin (?), 09:55, 17/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > А вот выпендрятся и сделают скажем голографические носители.

        На стадии лабораторных экспериментов. Лет через тридцать они будут так же привычны, как сейчас CD и DVD. :)

     
  • 2.44, User294 (ok), 23:24, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Увы не оченбто готовы. Одна проверка файловой системы на таких обьем чего
    >будет стоить.

    Юзаю XFS немного.Ну, нормальная ФС вполне.Остался вопрос: что надо сделать чтобы получить файл такого размера с осмысленными данными?Сложить в БД все существующие в мире фильмы с HD качеством?9 с хреном миллионов Тб - это весьма много данных.

     

  • 1.2, alex (??), 14:01, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Но справедлво отметили пока еще альфу btrfs. А ext4, увы, костыль.
     
     
  • 2.3, vitek (??), 14:23, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    а что, кто-то серьезно хочет на много-терабайтных разделах использовать ext*?
     
     
  • 3.7, Avatar (??), 14:40, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это чуть ли не единственная ФС, которая официально поддерживается вендорами.
     
     
  • 4.13, Sergey (??), 15:45, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А скажите пожалуйста для чего нужны такие ФС одному серваку? потому как для кластера толкового все равно мало чего предлагают. Ни семейство ext, ни XFS ни ReiserFS не умеют работать в мультихостовом окружении. Из бесплатных сразу вспомню только Oracle CFS, или RedHat GFS, но насколько они применимы в нагруженном окружении?
     
     
  • 5.27, fi (ok), 20:52, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    "ни XFS" ??? Зайдите на сайт sgi - они продают шкафы !!!
     
     
  • 6.34, vitek (??), 04:14, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    вот прелесть open source!
    конторы уже нет, а fs осталась
    ..
    кстати, хорошая fs, развивается сообществом.
    и жён не убивает
     
     
  • 7.38, test (??), 15:24, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Только вот не надо про жён.
     
  • 7.54, Andrew Kolchoogin (?), 09:58, 17/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > вот прелесть open source!
    > конторы уже нет, а fs осталась

    www.sgi.com -- это про кого тогда???

     
  • 3.15, odmin (ok), 15:49, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А что надо использовать на многотерабайтных разделах?

     
  • 3.43, Алекс (??), 22:33, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    CFS (теперь уже Sun) в люстре использует ;)
    Размеры до 10P - полет нормальный ;)
     
     
  • 4.46, User294 (ok), 23:34, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Размеры до 10P - полет нормальный ;)

    А у вас есть разделы на 10 петабайт?

     
  • 4.55, Andrew Kolchoogin (?), 10:00, 17/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > CFS (теперь уже Sun) в люстре использует ;)

        Я тут беседовал на Sun Tech Days с одним из разработчиков ZFS. Он сказал, что они портируют Lustre на ZFS (чтобы обойти ZFS POSIX Layer, через него-то Lustre и сейчас с ZFS'ом работает, но это неинтересно... :)

     

  • 1.5, Аноним (5), 14:38, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ...на домашнем шеститеррабайтовом жосском (через 2 года)
    chunkfs поможет проверке файловой системе
     
  • 1.6, ZANSWER (??), 14:40, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    alex, для ZFS проверок не каких нет, ибо они там просто не нужны, а вот в других FS, как получиться вестимо...*ZFS*
     
     
  • 2.14, alex (??), 15:45, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >alex, для ZFS проверок не каких нет, ибо они там просто не
    >нужны, а вот в других FS, как получиться вестимо...*ZFS*

    btrfs тоже такой фичастостью будет обладать. Если проект доделают, конечно :-)

     
  • 2.31, vitek (??), 02:25, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    у ZFS был шанс набрать комьюнити
    ...
    но больше он уже здесь не нужен
    к чему стремиться - есть
    дальше решаем только технические вопросы.

     
     
  • 3.39, Аноним (5), 17:16, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >у ZFS был шанс набрать комьюнити
    >...
    >но больше он уже здесь не нужен

    Не надо говорить за всех, тем более - говорить глупости.
    1) Кто как не комьюнити портануло еЯ на FreeBSD?
    2) ZFS - проект Sun, оно будет жить и без коммьюнити.
    ну и 0) Оно нужно.

     
     
  • 4.40, vitek (??), 19:15, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    ну-ну.


     
  • 4.51, User294 (ok), 01:56, 14/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Не надо говорить за всех, тем более - говорить глупости.
    >1) Кто как не комьюнити портануло еЯ на FreeBSD?

    А оно простите релизного качества достигло и работает без проблем и граблей?Хотя те кто юзает BSD привыкли спать в обнимку с любимым напильником и если что-то не так, у них инструмент наготове...

    >2) ZFS - проект Sun, оно будет жить и без коммьюнити.

    Ага... особенно по судорожным опенсорц потугам санок заметно что комьюнити им совсем не нужно, ага.В современном мире выжить можно двумя путями:
    1) Быть M$ и иметь миллиарды бабла, юзать монополию и нечестную конкуренцию.
    2) Набрать большую базу юзеров и слегка подвинуть контору 1) с какого-то кусочка рынка.

    Ни файловая система, ни OS, ни программа у которой не набралось в итоге user base особых шансов не имеет.Кроме разве что случаев когда вы - M$ Corp.

     
  • 2.47, User294 (ok), 23:40, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >alex, для ZFS проверок не каких нет, ибо они там просто не
    >нужны,

    JFS (а вроде и XFS) аналогично - после краша просто реплеит логи за несколько секунд.Все.По техническим причинам том с JSF пережил несколько дюжин некорректных перезагрузок без слива кеша на диск.Как показала практика, этого реплея логов за секунды достаточно.В смысле при желании там можно пнуть и полную проверку всего тома насильно - ну вот она ничего в итоге не нашла.Вывод: весьма приятная в плане отношения к крашам файловая система.Быстро оживает и не разрушается.Походу IBM знает толк в файловых системах.

     

  • 1.8, Sol (?), 14:44, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Догадываясь где будут храниться данные в необозримом будущем))))

    Ядро́ Земли́ — центральная часть планеты Земля, геосфера, находящаяся под мантией Земли) и, предположительно, состоящая из железо-никелевого сплава с примесью других сидерофильных элементов. Глубина залегания — 2900 км. Разделяется на твердое внутреннее ядро диаметром около 1300 км и жидкое внешнее ядро диаметром около 2200 км, между которыми иногда выделяется переходная зона. Масса ядра — 1,932*10*24 кг. )))))))))))

     
     
  • 2.12, Аноним (-), 15:23, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Угу, это ещё у Лема было, что у планеты стало не Ядро, а Мудро.
     

  • 1.9, Аноним (5), 14:51, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А какой предел у моей любимой ext2?
     
     
  • 2.10, Andrey Mitrofanov (?), 14:54, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    http://en.wikipedia.org/wiki/Ext2
     
     
  • 3.16, Аноним (5), 15:53, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Хороший вопрос - хороший ответ :)
     

  • 1.17, Andy Lemz (?), 16:11, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Скорее, готово ли появление многотерабайтных дисков к файловым системам Linux?
     
  • 1.18, exn (??), 16:57, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ага, точно, дисков еще нету и неизвесно будут ли таковые, а уже проверяют сможет ли ext3 на них работать :) как только так сразу.
     
     
  • 2.20, Guest (??), 19:04, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > дисков еще нету и неизвесно будут ли таковые

    Ты с какого века? Несколько десятков террабайт уже норма.

     
     
  • 3.37, exn (??), 12:38, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    на одном разделе? точнее на одном винте ? вы правы, я не встречал с несколькими десятками терабайт.
     
     
  • 4.49, Guest (??), 01:44, 14/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Если слово RAID вам неизвестно, то извините, не буду отвлекать от приятного проведения летних каникул.
     
  • 3.42, ezhik (?), 22:00, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    ага, еще норма на вертолете на работу,
    а вечерком на самолете в сочи в море искупаться.
     
     
  • 4.50, Guest (??), 01:45, 14/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Ну если несколько террабайт для вас сравнимы с вертолетом... Даже на знаю что сказать.

    Надо же, остались таки мамонты, один про RAID не знает, у другого вообще вертолеты...

     

  • 1.19, metallic (?), 17:47, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Недавно массив на 20ТБ настраивал, максимум что удалось на ext3 - это создать раздел 8ТБ с разделом кластера 4кб, хотя вроде бы должен быть максимум 16ТБ, может я что-то не так делал?
    Система убунту сервер 8.04
     
     
  • 2.23, Осторожный (?), 19:31, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Недавно массив на 20ТБ настраивал, максимум что удалось на ext3 - это
    >создать раздел 8ТБ с разделом кластера 4кб, хотя вроде бы должен
    >быть максимум 16ТБ, может я что-то не так делал?
    >Система убунту сервер 8.04

    http://batleth.sapienti-sat.org/projects/FAQs/ext3-faq.html
    Q: What is the largest possible size of an ext3 filesystem and of files on ext3?
    Ext3 can support files up to 1TB. With a 2.4 kernel the filesystem size is limited by the maximal block device size, which is 2TB. In 2.6 the maximum (32-bit CPU) limit is of block devices is 16TB, but ext3 supports only up to 4TB.

    Это похоже какой-то патченный ext3, потому что тут написано 4TB :)


    И так что в итоге ? Нарезал 20TB на несколько разделов по 8TB ?
    Или сделал один раздел в xfs/reizerfs ?

     
     
  • 3.28, metallic (?), 21:39, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    нарезал 8ТБ, 8ТБ, 6ТБ (в сумме 22ТБ, но реальных 20.1ТБ, т.е. 7.3ТБ, 7.3ТБ, 5.4ТБ)
    А что можно было одним разделом сделать? а то очень надо было одним и с поддержкой ACL
     
     
  • 4.29, szh (ok), 00:20, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    сделай www.google.com своей стартовой страницей.

    Linux kernel >2.6.18 fixed ext3 kernel bugs so ext3 can support >8TB
    filesystem. The filesystem size is still limited up to 16TB due to 32
    bit block numbers (based on 4k default block size). It needs
    e2fsprogs-1.39 to able to create a fs >8TB.
    http://www.redhat.com/archives/ext3-users/2007-May/msg00013.html

     
  • 4.30, Michael Shigorin (ok), 00:41, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А что можно было одним разделом сделать? а то очень надо было
    >одним и с поддержкой ACL

    Не в обиду будь сказано, но почему-то от убунтушного сообщества совершенно естественным образом не ожидаешь подсказки из трёх букв -- xfs...

    Захотите не смотреть на стораджи с таким растерянным видом -- рекомендую присмотреться к нормальным сообществам и нормальным операционкам.  Где такие проблемы принято решать нормально.

     
     
  • 5.33, vitek (??), 02:37, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    ну не гони!
    ...
    все-равно здесь уже нужен volume manager.
    иначе - свалка. а какая разница, какая в ней fs?
    ...
    хорошо бы btrfs (если правда, что о ней пишут), но так пока надежней
     
  • 5.48, sash (??), 14:21, 13/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Захотите не смотреть на стораджи с таким растерянным видом -- рекомендую присмотреться
    >к нормальным сообществам и нормальным операционкам.  Где такие проблемы принято
    >решать нормально.

    Будьте добры - подскажите, пожалуйста, нормальное сообщество, нормальное операционку где решают нормально проблемы? если не секрет.

     
     
  • 6.52, Michael Shigorin (ok), 12:12, 15/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Будьте добры - подскажите, пожалуйста, нормальное сообщество, нормальное операционку
    >где решают нормально проблемы? если не секрет.

    Например, в https://lists.altlinux.org/mailman/listinfo/sysadmins точно предложили бы сразу XFS, да и про GPT б рассказали :-)

    Посмотреть на скору руку или зацепить в RSS можно здесь: http://dir.gmane.org/gmane.linux.altlinux.sysadmins

    Писать через gmane тоже пишут, но тут не знаю -- почтой подписывался.

     

  • 1.21, Аноним (21), 19:17, 11/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из десятка 1ТБ винтов пришлось заводить под zfs так что и тут не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару лет.
     
     
  • 2.22, cvsup (ok), 19:29, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FreeBSD ufs позволяет работать максимум с 0,8TB разделами

    мягко говоря это не так :-/

     
  • 2.24, Aleksey (??), 19:38, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
    >десятка 1ТБ винтов пришлось заводить под zfs так что и тут
    >не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
    >лет.

    UFS2 позволяет хранить до 2^73 байт на один том. Видимо либо ограничение ОС либо вы что-то не так делалали.

    Инфа: http://en.wikipedia.org/wiki/Unix_File_System

     
     
  • 3.25, Aleksey (??), 19:39, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
    >>десятка 1ТБ винтов пришлось заводить под zfs так что и тут
    >>не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
    >>лет.
    >
    >UFS2 позволяет хранить до 2^73 байт на один том. Видимо либо ограничение
    >ОС либо вы что-то не так делалали.
    >
    >Инфа: http://en.wikipedia.org/wiki/Unix_File_System

    Ссылка не та. Правильная http://en.wikipedia.org/wiki/Comparison_of_file_systems

     
  • 2.26, Осторожный (?), 19:57, 11/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
    >десятка 1ТБ винтов пришлось заводить под zfs так что и тут
    >не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
    >лет.

    С какого перепугу взята цифра 0.8TB ?

    odip@elf$ uname -r
    7.0-RELEASE-p1
    odip@elf$ df -h | grep home
    /dev/da0c      1.1T     16G    1.0T     2%    /home
    odip@elf$ mount | grep home
    /dev/da0c on /home (ufs, NFS exported, local, with quotas)


    Есть предел в 2TB, который обусловлен:

    1) MBR не позволяет разбить устройство размером более 2Tb
    Соответственно никакой раздел не может быть выше 2Tb

    2) bsdlabel(disklabel) использует 32-битные счетчики
    Соответственно тоже имеем предел 2TB.
    ( В OpenBSD bsdlabel не ограничен 2TB )

    Соответственно на >2TB дисках мы не можем использовать MBR.
    И не можем разбить сырой /dev/da0 с помощью bsdlabel в dedicated (без MBR) режиме.
    Но мы вполне можем использовать GPT - создать GPT-раздел и его отформатировать.

    Или же можем отформатировать все устройство как один том ZFS
    Соответственно никаких MBR, bsdlabel не будет - будет сразу том ZFS.

     
  • 2.32, kran (??), 02:32, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
    >десятка 1ТБ винтов пришлось заводить под zfs так что и тут
    >не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
    >лет.

    #uname -rs
    FreeBSD 6.3-RELEASE
    #df -h
    /dev/da0p1     2.7T    2.4T    316G    89%    /backup
    на ufs+gpt

     
  • 2.36, cadmi (?), 09:47, 12/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FreeBSD ufs позволяет работать максимум с 0,8TB разделами, так что раид10 из
    >десятка 1ТБ винтов пришлось заводить под zfs так что и тут
    >не все в поряде. Надеюсь zfs окончательно вытеснит ufs через пару
    >лет.

    у меня четыре года отмолотил сервер с двумя ufs2 (поверх gpt) по 2.5 терабайта каждая.
    вы что-то путаете.

     

  • 1.41, soko1 (??), 21:09, 12/06/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нифига себе Dragonfly'щики дали жару...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру