> Вы сейчас чушь написали про скорость одного НЖМД Возможно, про "одного" несколько перегнул. См. ниже.
Но касаемо приведённых замеров, хотелось бы увидеть методику тестирования.
Что здесь вижу я (по шагам):
> 1x 4TB, single drive, 3.7 TB, w=108MB/s , rw=50MB/s , r=204MB/s
> 2x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=50MB/s , r=488MB/s
1. Умеем читать оба диска в зеркале по очереди?
2. Тестировали примерно на 50% объёма одного НЖМД. Отсюда подскок выше 100% на зеркале.
> 3x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=49MB/s , r=589MB/s
3. Чтение таки не совсем линейное. На 3-х шпинделях попадает хуже. (Или ошибка в реализации ФС)
> 3x 4TB, stripe (raid0), 11.3 TB, w=392MB/s , rw=86MB/s , r=474MB/s
4. Маленькие данные? "Пнём об сову" читается существенно хуже.
> 3x 4TB, raidz1 (raid5), 7.5 TB, w=225MB/s , rw=56MB/s , r=619MB/s
5. Гоп,стоп. Это что же, 200М/с = скорость *одного* диска? А что тогда надо сделать, чтобы в *два* раза просадить запись?
6. Но даже так не сходится. Ладно, "raid5", 3 диска. *Два* читаем, один→КС. А показанная скорость чтения выше чуть ли не в 1.5 раза.
7. Всё, модель развалилась. Прошу объяснить методику измерений.
** raidz2 (4+2 шпинделя) в raidz2. HGST HUS722T2TALA604. Линейная запись на внешних дорожках у них в районе 160…180 МБ/с afair. L3 кэш записи на Samsung SSD 850 PRO 128GB, зеркало на 4 ГБ.
# bonnie++ ZFS 6x 2TB HDD
mkdir /home/test
chown nobody:nobody /home/test
bonnie++ -u nobody -d /home/test/ -s 51200 -r 8000 -n 0 -b
Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
x1.xx-xx.lan 50G 146 99 492821 86 154981 44 357 98 389092 45 212.3 21
Latency 82613us 14348us 1055ms 88732us 507ms 166ms
1.97,1.97,x1.vo-ix.lan,1,1491898455,50G,,146,99,492821,86,154981,44,357,98,389092,45,212.3,21,,,,,,,,,,,,,,,,,,82613us,14348us,1055ms,88732us,507ms,166ms,,,,,,
** ±сравнимая конфигурация на (немолодом) аппаратном raid с 512МБ кэша в DDR.
Внизу — raid6 (5+2).
# bonnie++ ZFS @ LSI MegaRAID SAS 2108 7x 3TB HDD
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
st1 50G 74 99 324079 73 148538 48 154 99 468356 60 234.2 6
Latency 141ms 1527ms 529ms 88479us 383ms 127ms
1.96,1.96,st1,1,1491914042,50G,,74,99,324079,73,148538,48,154,99,468356,60,234.2,6,,,,,,,,,,,,,,,,,,141ms,1527ms,529ms,88479us,383ms,127ms,,,,,,
** А вот так этот же raid работает под "расчётной" нагрузкой:
# bonnie++ ext4 @ LSI MegaRAID SAS 2108 7x 3TB HDD
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
bcp1 50G 313 99 799005 94 225400 33 843 99 757494 58 537.1 18
Latency 31092us 149ms 199ms 16939us 50420us 97653us
1.96,1.96,bcp1,1,1491907084,50G,,313,99,799005,94,225400,33,843,99,757494,58,537.1,18,,,,,,,,,,,,,,,,,,31092us,149ms,199ms,16939us,50420us,97653us,,,,,,
Последние 2 замера позволяют примерно оценить вклад zfs в "порчу характеристик".
