3 раза ввел не правильный пароль при ssh подключении scp. Теперь не пускает на сервер

Я пытался передать файл на сервер с помощью scp

scp dump.tar.gz [email protected]:/

и не правильно ввел пароль 3 раза. Теперь при попытке передать файл через scp вижу сообщение

ssh: connect to host mysite.ru port 22: 

Connection refused
lost connection

При этом обычное подключение по ssh все еще доступно. Пробовал на сервере куда пытаюсь закинуть файл, очистить содержимое /root/.ssh/known_hosts - не помогло. Пробовал разные настройки ufw на сервере, включать/отключать - так же не помогло.

Как исправить ситуацию?

P.S. Важное замечание, я пытаюсь передать с локальной машины на сервер