>Оно даже не способно просто отрисовать 10 000 вот таких серых квадратиков (элементов / виджетов)

Пихать 10000 полноценных виджетов на одну форму? Мне кажется, это крайне сомнительный подход. Подозреваю, что проблемы тут будут не только и даже не столько в UI-библиотеке, сколько в оконной системе. Не знаю насчет иксов, а на винде есть действующий даже на уровне голого WinAPI лимит всех USER-объектов, включая окна, меню, элементы управления (виджеты), хоткеи и т.п., и по умолчанию он равен 10000 штук на процесс. И 65536 на сессию.

Вероятнее всего, именно по этой причине разработчики GTK не очень-то беспокоятся по поводу работоспособности приложений с 10000 виджетов на форме. Кроссплатформенным такой подход точно не будет.

Здесь надо либо уходить на библиотеки, которые используют windowless виджеты (т.е. грубо говоря, сами занимаются их рендерингом и обработкой событий - насколько я понимаю, это WPF на .net, QML на Qt, либо электрон), либо конкретно для этого окна отрисовывать и обрабатывать события самому.