Когда работает скрипт, подвисает игра (отвечает на действия с задержкой)

Нужна ваша помощь. В общем, сделал простенький скрипт (автокликер) для игры, чтобы подбирать быстрее лут, но, когда он запущен, игра работает не очень хорошо. Чувствуются небольшие подвисания, персонаж отвечает на команды через несколько секунд.

Сам код:

lut = os.listdir('LOOT')

while True:
 if keyboard.is_pressed('Caps Lock'):
      for f in lut:
          picture = "LOOT/" + f
          button = pyautogui.locateOnScreen(picture, confidence = 0.7, region=(609,919, 1341,1076))
          if button:
               pyautogui.click(button)
               pyautogui.sleep(0.05)
          break     

Подскажите, пожалуйста, что тут не так? Все ли у меня правильно? И подскажите еще, пожалуйста, есть другой способ, чтобы скрипт начинал воспроизводить код после нажатия клавиши, а если ничего не нажимаю, то он бездействовал?