>>
>>>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру?
>>
>>стоит
>
>А по поводу остальных вопросов могли бы проконсультировать?)

не совсем мой профиль, к сожалению.
по поводу 64-бит стоит переходить хотябы потому, что там управления памятью лучше работает. смотрите в сторону vm.kmem_size и vm.kmem_size_max, увеличивайте размеры буферов и  mbuf clusters
как выше уже сказали, шейпер не мастрабируется по кол-ву ядер (если только не использовать яндексовские драйвера для сетевых карточек). поэтому лучше взять сервер с меньшим кол-вом более мощных ядер.
памяти 4 гигов должно быть достаточно.