В какой-то момент fixed function hardware наворачивать всех задолбало и они вместо этого поставили массив SIMD-образных ALUшек который может что угодно считать, включая и все функции предшественников. Сначала делили шейдеры по типам, потом плюнули и сделали унифицированый массив который динамически делится по мере надобности. ALU не очень высокочастотные и не особо быстро разворачиваются в другую сторону, но их много, поэтому суммарная вычислительная мощь, если удалось распараллелить - огого.

Вон те акселераторы не так уж принципиально отличаются, просто NPU оптимизированы на другие типы данных. Им и int8 хватает, иногда еще float16 какой. Совсем базово, зато площадь ALU мизерная и их можно в чип набить, для трекинга состояния нейрона хватает. И получается ускоритель обсчета нейронов, который сразу толпу нейронов за раз ворочает. Сильно эффективнее GPU.

Типовая железка таковой врядли будет: дофига дохленьких ядер являются полным позором на не особо параллелящихся задачах и всем что "не массовые вычисления". Даже более продвинутые ALU из GPU совсем не интересны как generic процессоры. Очень медленно разворачивается в другую сторону и малоинтересен для ветвящихся/непараллелящихся/управляющих/etc задач. Это к тому что запустить 100500 процессов в параллель как бы можно но скорость их выполнения и общая эффективность будет ни о чем.