Я успешно решил эту проблему следующими настройками:

vm.swappiness=1
vm.vfs_cache_pressure=50
vm.min_free_kbytes=1048576

Плюс к этому имеется своп на ssd, куда деваются излишки. Оперативки 16 Гб.

В результате не тормозит и не подвисает никогда, хотя часто использую значительно больше памяти (виртуалки, разработка, все дела).

С параметром vm.min_free_kbytes можно поиграться: целиться нужно на размер памяти, который вряд ли кто-то захочет единовременно в условиях нехватки памяти. На другом компе у меня всего 8 Гб памяти (а задачи те же), и min_free_kbytes я поставил чуть побольше - иначе периодически сталкивался с мелкими подтормаживаниями при старте чего-то большого (но всё равно, это небо и земля по сравнению с дефолтными настройками).