Он мутный какой-то. По идее, задача ограничения должна решаться написанием хорошей конфигурации cgroups. (Я даже делал прототип.)

Проблема в том, что cgroups-v1 заброшены и нужного функционала там нет. А cgroups-v2 не поддерживаются libcgroup, а поддерживаются только systemd, а системдшники плевали на юзеров.

(На самом деле это не совсем правда, поддержка v2 потихоньку пилится, но медленно.)

На самом деле, задача, которая возникает -- она же эвристическая. Как вы определите, кого можно эвиктить, а кого нет? Как отделить программу, которая жрёт память потому что в ней утечка от той, которая жрёт потому что ей нужно?

Потому должна создаваться cgroup, которую, типа, никогда не эвиктить, и в неё кидается баш, иксы, что-то такое.