> с pgo (т.е. дважды)

Не дважды, а добавляется еще один этап сборки, которых при бутстрапе 3 (вроде).
3+1 раз пересобирается?

На счет pgo. Но своем конфиге ядра ускоряет примерно 10-15%. Для меня показалось несущественным, поэтому отключил, так как время сборки gcc увеличивается почти в 2 раза.