> Поясните ка мне....эти сервера работаю по сети и представляют общий выч.центр? А
> вот скажем хочу факториал вычислить. так какое ПО там будет разбивать
> эту задачу по компам и там уже по потокам?

Напишешь прогу вычисления факториала на API одного из стандартов параллельных
вычислений, или, может быть, и скорее всего, собственном, закрытом в пределах конкретного
кластера-вычислителя, API. Которое и будет определять логику распараллеливания задачи
на несколько нод. И которое, в своей реализации в виде библиотек, может использовать
самые разные уровни, ничиная от сетевого взаимодействия между нодами, и включая загрузку
GPU и извлечении результатов через соответствующие юзерспайсовые библиотеки, дёргающие драйверы.
Один и тот же бинарь, в исходнике которого расписана логика запуска частей общей задачи
на разных нодах и сбора результата на дной из них, будет  запускаться на каждой ноде,
определять где находится, и выбирать соотствующий вариант действий.