>таблица трассировок забита записями
>tcp      6 157 ESTABLISHED src=[реальный IP клиента]
>dst=[разные IP] sport=61015 dport=80 src=64.40.146.234 dst=194.88.205.186 sport=80 dport=61015 [ASSURED] use=1
>
>ip_conntrack_max = 16000
>15000 записей в таблице от одного клиента
>
>в логах только сообщение ip_conntrack: table full, dropping packet.
>
>tcpdump от клиента показывает довольно таки большой поток исходящих пакетов на 80
>порт
>которые и зависают не понятно почему в таблице трассировок
>
>arp тут как-бы ни причем, его не смотрел
>
>вчера подазрения пали на клиентский антивирус NOD32, когда его отключили активность пропала,
>слабо верится что это само приложение такими вещами занимается, может его
>какой-нибудь вирус "пропатчил"

вы так и не предоставили и половины данных.

ip_conntrack_max по умолчанию 32760. для высоконагруженного роутера увеличивают в 2\4 раза. зачем у вас стоит так мало непонятно. когда увеличивается ip_conntrack_max необходимо также увеличить физическую память, если её мало (я тупо ставлю на каждые 32k в таблице 16Mb памяти) и увеличить kernel/shmmax (167772160 будет достаточно для 128k в ip_conntrack_max).

провести тюнинг сетевой части в контексте "высокая нагрузка - вменяемая скорость обслуживания". Разобраться в каждом параметре из /proc/sys/net/ipv4
например можно снизить нагрузки начав с таких параметров
net/ipv4/tcp_fin_timeout=30                                                                                            
net/ipv4/tcp_keepalive_intvl=120                                                                                        
net/ipv4/tcp_keepalive_probes=4                                                                                        
net/ipv4/tcp_keepalive_time=3600
net/ipv4/tcp_max_syn_backlog=1280                                                                                      
net/ipv4/tcp_orphan_retries=1                                                                                          
net/ipv4/tcp_sack=0                                                                                                    
net/ipv4/tcp_timestamps=0                                                                                              
net/ipv4/tcp_window_scaling=0