The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Сравнение производительности файловый систем на программном RAID1 в Linux

21.04.2008 08:59

Sander Marechal неудовлетворенный производительностью аппаратного RAID контроллера 3ware 9550XSU (не fake-raid, нормальный SATA RAID ценовой категории около 300$) провел серию измерений производительности файловых систем XFS, Ext3, ReiserFS и JFS.

Изначально была поставлена задача сравнения производительности программного и аппаратного RAID, но в процессе работы с 3ware 9550XSU обнаружились крайне низкая производительность на операциях записи данных при отключенном режиме "write cache" (на карте не был установлен BBU), что в конце-концов привело к переходу на программный RAID (mdadm), который к тому же лишен необходимости использования при замене сбойных дисков только накопителей идентичного объема.

Вместо использования тестовых комплектов Bonnie++ и IOzone, было решено создать свой набор тестов, основанных на эмуляции выполнения таких задач, как выполнение резервного копирования, поддержания большой коллекции музыкальных файлов и изображений.

Результаты тестирования:

  • Скорость чтение 10928 файлов размером несколько Кб: все ФС примерно на одном уровне;
  • Скорость записи 10928 файлов размером несколько Кб, тесты по удалению файлов и одновременному чтению и записи: с небольшим отрывом лидируют ext3 и reiserfs, на последнем месте - jfs, с отставанием в 3- 10 раз;
  • Скорость чтение 1744 файлов размером несколько 4Мб, тесты по записи данных и одновременного чтения и записи:: лидируют xfs и jfs;
  • Операции с файлами размером несколько Гб: c несущественным отрывом лидируют xfs и ext3.

В итоге выбор был сделан в пользу XFS, как наиболее сбалансированной по своим характеристикам.

  1. Главная ссылка к новости (http://www.jejik.com/articles/...)
  2. OpenNews: Оценка производительности файловых систем
  3. OpenNews: Результат тестирования файловых систем Linux
  4. OpenNews: Оценка производительности программного RAID в Linux
  5. OpenNews: Измерение производительности SATA и PATA под Linux
  6. OpenNews: Сравнение производительности SCSI и SATA под Linux
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/15425-fs
Ключевые слова: fs, linux, raid, benchmark
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (14) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, shadowcaster (?), 09:58, 21/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Автор статьи абсолютно некорректно понял рекомендации 3ware. Платы 3ware, как асболютно адекватные raidы, отключают встроенный кэш дисков, которые к ним подключены. Это обеспечивает сохранность данных и снижает скорость при отключении write cache. При наличие BBU (battery backup unit) это _гарантирует_ сохранность данных. Но, если BBU нет, можно включать write  cache. Сохранность данных будет не хуже, чем на обычных отдельностоящих дисках - они все с кешем 8-16мб, и, как все догадались, этот кеш не скидывается на винт при потере питания :)
     
     
  • 2.2, Антон (??), 10:09, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А разве Linux периодчески не дергает диски на предмет принудительного сброса кэша ? По идее целостность с обычным диском должна быть выше, так как опреционка знает когда лучше сбросить кэш на диск, чтобы минимизировать возможные повреждения или хотябы узнать потом об их наличии, иначе после каждого отрубания питания всречались бы целостные с точки зрения ОС файлы с недописанными данными.
     
     
  • 3.3, Sabitov (?), 10:23, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, во-первых ОСь озадачена производительностью, а не целостностью. Иначе бы она писала на диск без всяких буферов байт за байтом. И была бы супер надежность :) А во-вторых, на своем нотере (gentoo+xfs) я получал несколько раз ситуацию, когда с точки зрения XFS все нормально, а emerge отказывается работать, т.к. его служебные файлы покорёжены. А получается это в ходе апдейта на одной батарее. Батарея кончается, нотер умирает, и происходит это, как правило, когда система диску крутит...

     
     
  • 4.4, Serge Matveev (?), 10:48, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А потому что "всё нормально" с точки зрения XFS может означать "последние открытые на запись файлы забиты нулями". И мало того, это фича, которую собирались сделать отключаемой.

    Так что люди, использующие XFS без UPS не должны волноваться за сохранность своих данных ;-)

     
     
  • 5.7, ледо (?), 14:19, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Очнись. Эту проблему уже пофиксили года 2 назад.
     
     
  • 6.8, Serge Matveev (?), 14:30, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Очнись. Эту проблему уже пофиксили года 2 назад.

    Версию ядра можно услышать?


     
  • 6.13, Evgeniy (??), 11:54, 22/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    В какой версии ядра ?
     
  • 4.6, Michael Shigorin (ok), 13:07, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Ринат(?), ну так ноутбук, xfs, генту, сборка и конец заряда -- в сумме называется "ССЗБ".

    Не делайте emerge на батарейке.  Или хоть собирайте на reiserfs, её и mkfs'нуть недолго при развале дерева.  Если уж так хочется грызть именно эту морковку.

    XFS == UPS.  И _прекрасно_ работает при выполнении этого условия. (конец батарейки != UPS ;)

     
  • 3.5, Michael Shigorin (ok), 13:02, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это про write barriers и вроде как ещё не шибко расползлось по разным fs.  В частности, когда народ радостно ринулся заюзать фичу в xfs -- полетели репорты о диких тормозах.  Деталей не помню, но на практике PC+SATA+Linux+XFS работало не совсем так, как SGI+SCSI+IRIX+XFS. :)

    Дровишки наверняка устарели, но "jfyi".

    На месте неудовлетворённого автора озадачился бы экспериментом в 3ware+writeback и при желании -- сопоставлением разваливабельности рейда при тестовых нештатных выключениях такого варианта и md raid1.

     
  • 3.9, shadowcaster (?), 16:02, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    "Переодичски дергает" и "минимизировать" != "отключает cache" и "гарантирует". Поверьте, контроллер 3ware тоже данные в кеше не хранит 2 дня.  :) BBU нужен исключительно для аварийных ситуаций (потеря питания) для _гарантированной_ сохранности целостности данных.
     
  • 2.11, szh (ok), 16:38, 21/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    grep -A1  -i barr /usr/src/linux/Documentation/filesystems/ext3.txt

    grep -A3 "enable barriers by default" /usr/src/linux/fs/ext3/super.c

     

  • 1.10, Аноним (10), 16:36, 21/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    XFS с UPS рулит, что и требовалось доказать. Жаль только, что автор noatime не включил, дурень.
     
  • 1.12, Аноним (12), 17:56, 21/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не верю!(С)
    У автора классический ФГ^W "Горе от ума". Зачем отключать wb-cache на __контроллере__? Тогда уж и для софт рэйда sync-режим! Но в чём глубокий смысл ???
    И JFS слишком уж подозрительно сливает. У меня на всех нагрузках, какие только нашёл - если не лучшая, то вполне перпимая - а туууууут ....
     
     
  • 2.14, fresco (??), 13:02, 23/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Зря не верите. JFS у мну тоже сливала, причем как-то не логично -- т.е. именно там, где должна была, судя по дизайну, вести.
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру