> эм, секунду. для ввода спара в рейд5 вам придется для каждого записываемого на спар страйпа
> прочитать все диски.

да, а теперь вопрос - сколько этих страйпов в процентах от существующих придется прочитать, для замены одного диска в 16x raid5 - и сравните это с mirror, где придется прочитать ровно ВСЕ данные. Тоже со "всех" дисков - их всего один.

> я пытаюсь понять, где здесь распределение нагрузки в рейд5 и где ускорение времени работы
> для 8 против 16 дисков

в raidz1 (это не совсем 5, но в данном случае неважно) блоки раскидываются равномерно на всю группу. Вот есть у тебя файлик, предположим он большой - он лег по одному блоку на каждый из твоих 16 (один из них лишний, но нам это неважно). Один диск сдох - ради этого файлика надо перезаписать ровно один блок.
В группе из 8 - ради этого же точно файлика надо перезаписать уже ДВА блока - потому что он теперь занимает вдвое больше места на каждом из оставшихся дисков. Так доходит?
Причем первый раз мы читали с 15 дисков одновременно - а во втором читаем с семи, вдвое больший объем с каждого. Какая операция быстрее?

> NETAPP: Hold my beer

никого еще не уволили за то, что в конторе использовали netapp. Нехай его инженеры и расхлебывают (но вообще-то там местный аналог raidz2)

В случае же zfs, за который могут и уволить - я придерживаюсь старинного правила "число дисков в raidN группе не стоит делать заметно больше чем N+2", и еще более старинного "старайся же, чтобы число их было - нечетно"
При этом число vdev в пуле - всегда можно нарастить.