Снижается ли скорость загрузки сайта, если изображения будут открываться при помощи клика?

Да. Но вам нужно реализовать именно загрузку изображения по клику. То есть браузер не должен видеть URL изображения заранее и соответственно не должен его загружать раньше.

Вот примерно как то так https://habr.com/ru/post/189764/

Но я думаю может быть странный экспирианс у пользователя от ожидания загрузки картинки после клика) Возможно реализовать что то типа кэширования еще до клика на картинку как с статье выше.