В /etc/ssh/sshd_config:
 AllowUsers user1 user2 user3@host.ru
 ChallengeResponseAuthentication no
 PermitEmptyPasswords no
 PermitRootLogin no
 Protocol 2
 UseLogin no
 X11Forwarding no
 UsePrivilegeSeparation yes
# убрать все Subsystem
Ограничить вход только с определенных IP через /etc/hosts.allow