> Даже L1? Там килобайты же...

Килобайты - но таки сверхскоростного SRAM с обвесом, способного работать на полной частоте проца. Это критичный и жручий кусок. И это, осевшее в L2 или где там, тоже по таймингам весьма измеирмо отличается от DRAM. У DRAM как такового латенси зверская по меркам проца. Настоящие про скоростных алгоритмов делают удобно всей этой механике, если кто не понял, а не просто "пишут программу".

Кэши по возможности максимизируют покуда это не нагибает какие-то другие параметры типа площади и потребления. Shadowing делаеть это непрактичным, половина бюджета просто идет псу под хвост. Вы получаете заметно более хреновый чип при прочих равных. И если это ок, может, проще было накопипастить кучку in-order ядер, просто не имеющих такой проблемы как категории? Это чего доброго оптимальнее окажется чем половину кешей жирноядра подарить под костыль.