Первая висит на eth0 (ip eth0 172.16.8.3, шлюз 172.16.8.1)
Вторая висит на eth1 (ip eth1 172.17.25.151, шлюз 172.17.25.1)

Допустим, перенести из первой подсети ftp, расположенный на 172.16.0.2 и http 172.16.0.3 мне на порты, допустим, 2020-2021 для ftp и 2080 http

это правило для файл сервера:
т.е все обращения на /твой IP/ на порт 2020 будут переадрисовываться на 172.16.0.2
iptables -A PREROUTING -d /ТВОЙ IP/ --dport 2020 -j DNAT --to-distination 172.16.0.2
ну а далее фильтрация как обычно