> В CPU такие же алу, а GPU часто на том же самом кристалле с тем же самым техпроцессом.

Не понятно зачем тогда вообще GPU производят :). В серверных CPU видите ли это жирнючие OoO ядра со всякой спекулятивщиной и массой наворотов, оптимизирующих процессорное ядро для перфоманса на единичном потоке инструкций. По этой причине оно быстро вертится - в том числе и потому что например спекулятивно считало оба варианта бранча, просто отбросив неправильный потом. Это однако делает ядро сложным и крупным по площади. Много такого на кристалл не набьешь. Максимум несколько десятков. Зато не ударяет в грязь лицом и на единичном треде.

С другой стороны у GPU их compute units это целые группы ALUшек, где просто некоторые блоки есть по 1 штуке на группу, чтобы уменьшить оверхед: если большой сложный блок пихать каждой ALUшке, все придет к вышеупомянутому, и зачем тогда GPU вообще покупать?! Поэтому пойнт дизайна в том что более простые ALUшки гораздо более многочисленны и при правильном подходе крушат за такт неимоверное количество математических операций. Это однако имеет свою цену в виде слабого управления потоком, никакого вам OoO и проч. Так что если распараллелить не удалось, результат будет довольно жалок. Поэтому как системный проц оно такое не очень то и хотелось.

NPU это еще более жесткий вариант оптимизации где ALU еще более примитивны, иногда для минимального размера они только операции над int8 умеют. Зато их там ДОФИГА. Поэтому они за 1 присест апдейтят целый легион нейронов, показывая менее специализированным мастеркласс. В принципе на таком можно попытаться крутить крипто всякое и проч бонусом, но вот как системный процессор ЭТО будет вообще совсем ни о чем.