Есть много способов как можно закрыть удаленный доступ к системе, это и PAM и IPtables. Но тем ни менее наиболее простым способом ограничить доступ будет через настройки. Для этого отредактируйте файл /etc/ssh/sshd_config. Список пользователей который разрешен доступ —
AllowUsers
Список пользователей для которых закрыт доступ
DenyUsers
Вы так же можете ограничить адреса на которых демон SSHD будет «слушать» —
ListenAddress
для каждого адреса используйте отдельную запись.
Вы так же можете ограничить количество попыток залогиниться за подключение
MaxAuthTries