> прикол именно в этом. У меня, к примеру, запасная схд физически отдельная - поэтому даже если целиком отъедет при неудачном эксперименте, будет небольшой такой п-ц, а не полный.

ты хорошо представляешь "запасную" СХД на 20-50 P?... я вот с трудом :)
Даже учитывая что на дисковой полке сейчас можно собрать 1P (с 14Т дисками).

Раньше на 2Т дисках было еще веселее.

> А у тебя кластер всегда в работающем состоянии - то есть вряд ли хоть чем он отличается от дисковых кластеров, с которыми я уже изрядно подзатрахался, пытаясь выбрать ну хоть сколько нибудь рабочее при конечных затратах решение.

в рабочем. В люстре используется механизм похожий на journal=data из ext4.
В 95-99% случаев это гарантирует что данные будут валидны после сбоя.

Ну а что-то бы глюков на update не было - можно сходить и взять достаточно тестированую люстру - https://github.com/Cray/lustre, не идеал - но такие ошибки проверяются и перероверяются.