> Я правильно понимаю, что если я пишу программу *только* лишь под виндовс, кроссплатформенность мне не нужна абсолютно,

Неправильно. Она полезна, даже при неиспользвоании в релизе, для отладки. В т.ч.и межкомпилируемость.
К тому же разные версии ОС - уже как разные ОС, например та же линейка w9x - там очень хорошо падает ОС с любой ошибкой, лучше только в DOS, NT-based в этом плане какие то более т.ск.толерантные к багам, часто скрывая - что для програмирования наоборот недостаток.

> CMake мне в принципе не нужен?

Зачем нужен CMAKE - без понятия, когда у каждого компилятора есть свой make или файл проекта, как и просто батники никто не отменял чтобы избавиться от доп.уровня make-прослойки и в т.ч.связанного с этим багов, её и пользователя что то забывшего в её синтаксисе.

Скорей всего CMAKE очередной высер какой то компании, сделавшей его для себя по распилу бюджета - для унификации; и затем типично выложившей в opensource чтобы фактически за неё баготестировали. Наверняка и заодно что бы в неё вирус впихнть в компилируемое, как в GCC. А, иначе не однозначно само существование проекта и т.б.затраты на раздачу с сервера годами-десятилетиями и его обслуживание, что как бы ни было мало - тоже всё доп.расходы же.