> Мы как раз думаем - купить ли кучу 1U серверов

У меня в одном боксе мускул (2Тб локальноно трафа в сутки), перловый бэкенд и кеширующий на диски фронт.
Кеш динамический, какая-то часть данных обновляется непрерывно, с немедленным удалением из кеша устаревших станиц, какая-то часть может лежать неделями, до полной чистки кеша, которая производится
"Теплый" кэш занимает на диске где-то 100Гб.
Спасибо Гуглу, он сотней запросов в сек разогревает пустой кеш :)
Когда сервер начал "сдыхать" под нагрузкой, встал вопрос о разнесении картинок, статики, мускула в отдельные боксы. Но боевые эксперименты показали, что если десятерых клиентов, запросивших одну и ту же страницу, раздать через балансер на 10 отдельных "лезвий" (на каждом из которых, понятно, полная копия сервиса), то ждут клиенты страницу ДОЛЬШЕ, чем если бы вдесятером одновременно стукнулись в один большой сервак. Т.е. один большой сервак, даже если заставляет клиента ждать в ПОЛНОЙ очереди, т.е. принципиально ничего ему не отдает, поскольку перегружен, дает результат задержка в очереди+плюс время исполнения запроса меньше, чем "лезвие", которое обслуживает одного клиента.

Но, вообще, КАЖДЫЙ РАЗ надо смотреть, ЧТО ИМЕННО вы хотите поставить под нагрузку.

Если не нужно, типа, опрашивать большую базу с первой до последней записи то суперсервак не нужен. Т.е. скажем если у вас контент напоминает народ.ру, типа, 100% статики и лом посещений - то балансировка нагрузки как раз даст вам КОЛОССАЛЬНЫЙ прирост производительности! Выше линейного.

Я вам советую все, же провести эксперименты.
Например под вмварью вы можете поднять и 10 и 50 серваков и сделать виртуальную "стойку".
Начать с классики; мускул, почта, картинки, статика на выделенных серверах, пучок веб-серверов через балансер и нагрузить это тестовым сценарием.

Если есть свободные железяки соберите зверинец на "соплях" локально и тоже тестовым сценарием, вам все станет ясно.

То есть все - от задачи.

Статика и несерьезно нагружающие проц скрипты очень много выгоды могут принести как раз при разнесении нагрузки на "лезвия".

В моем случае: огромные базы с кучей JOINов в запросах и длинной обработкой выдачи перлом в HTML - оставляют возможность "умножать" за балансером только сервера, которые уже достигли физического предела - нету на рынке более навороченных :) А до того - только единый бокс.