И на кой это нужно? Серьезно, помимо задачи нарисовать Х есть соседняя задача сделать с этим Х что-то У причем на CPU. Пример - игры.

Будь все так просто, то где сетевухи с пропускной способностьюю шин уровня PCI-Ex16? Поэтому нет смысла держать логику на клиенте, а сервер использовать только ради видяхи.

Это кажется что скорость PCI-E избыточна, но это не так, т.к. кроме GPU всегда участвует CPU. Ок, давайте гнать команды по сети прямо в CPU сервера и что получим? Херню получим.

Даже если сделать так, что хватит команд графического сервера для отрисовки всех базовых вещей, то каковы будут возможности? Как вы собрались раскодировать видео? Да-да, это по вашей логике сервер должен передать клиенту стрим файла, а клиент должен решить как его рисовать на сервере. Или логика у вас вот для видео мы сделаем исключение? Что за х? Кроме нарисовки видео есть задачи конвертирования из формата А в формат Б и снова это будет исключение, так? Ок, хочу использовать удаленно Blender и снова исключение?

А знаете почему выходит так много исключений? Потому что идея г. И главная проблема в том, что никто ради этой идем не станет переписывать тот же Blender. И еще тонна софта, который вы просто не осилите за все свою жизнь.

Хотите сделать иначе - вперед и удачи.