Как можно программно идентифицировать элементы интерфейса ОС и программ - ярлыки, кнопки и т.п.?

Подумываю замахнуться на масштабный проектик - программу для автоматизации приложений и ОС (масштабный для моего уровня - всего два месяца с момента начала обучения).

В принципе, большую часть нужной инфы уже нашел, загвоздка только с одним моментом. Софта для автоматизации существует целая гора, и в некоторых программах, которые довелось попробовать (например, Power Automate Desktop) есть функция считывания и записи в виде команд действий пользователя, при этом при наведении курсора мыши на объекты на экране (ярлыки, кнопки, поля для ввода текста и т.п.) эти объекты выделяются рамкой по периметру, т.е. идентифицируются не просто как изображение на экране, а именно как элементы.

Прошу подсказать, как это осуществляется, и можно ли встроить такой же функционал в программу на c#. Может есть какая-то библиотека, в которой содержатся нужные методы?

Также буду признателен за любые советы, которые могут пригодиться в реализации подобного проекта.

Всем заранее спасибо!


Ответы (0 шт):