ну и смысл такого "нормального" поведения в многозадачной среде, где malloc() делают разом десятки, если не сотни процессов, память один хрен виртуальная и выделяется на pagefault'е, который может произойти через час, когда другие ее уже освободили, или вообще не произойти?

Процесс ни разу не случайный - он либо попытался сделать fork, имея dataset больше чем _теоретически_ доступная в данный момент память (вся свободная+весь свободный своп), либо попытался записать в отожратый но не локнутый кусок, а памяти в системе (она поищет, но недолго и недалеко - чтобы не вызвать deadlock, когда процессу освобождения памяти не хватило памяти), внезапно, не нашлось. В обоих случаях NULL вернуть некуда. В линуксе примерно похоже при overcommit=2 (нестандартном), но размер "теоретически доступной" памяти считается по-другому, с большим припуском - так что sigsegv, причем - массовый, вполне возможен и тут.

А oom убивает именно случайный - пытаясь по косвенным признакам угадать. Видно ему из kernel space хреново, поэтому угадывает он крайне неудачно.
При этом NULL вернуться на *alloc - может и в линуксе с дефолтными настройками, но там тоже автоугадав, который может ошибаться.