Как получить текст под курсором

Технология Microsoft Active Accessibility предназначена для взаимодействия различных устройств типа экранных читалок с объектами на экране, чтобы облегчить работу с компьютером людям с ограниченными физическими возможностями. При помощи Microsoft Active Accessibility, например, можно узнать, над каким элементом экрана находится курсор мыши, а также получить тип и содержимое этого элемента. Этим мы и воспользуемся, чтобы получить текст под курсором.

С технологией MSAA мы уже познакомились в статье про перехват Alt+Tab, только не заостряли внимание, что это именно она. Зато не придется дублировать структуры и интерфейсы, они уже описаны в статье по ссылке. Поэтому сразу переходим к программированию.По таймеру или по какому-то другому событию получаем текущие координаты курсора, затем при помощи функции AccessibleObjectFromPoint получаем объект, который находится на экране по этим координатам. В случае удачного вызова, она возвращает указатель на интерфейс IAccessible объекта. Теперь можно попробовать получить текст под курсором, но сперва небольшое отступление.Роль зависит от типа элемента интерфейса. Это может быть текст, заголовок окна, пункт меню, полоса прокрутки, кнопка, чекбокс, клиентская область окна и так далее. На основании этих данных вспомогательное устройство принимает решение, каким образом можно взаимодействовать с объектом под курсором и какие данные от него можно ожидать.

Возвращаемся к основной задаче - получение текста под курсором. Делается это через методы get_accName и get_accValue, причем одновременно. Для максимального эффекта можно также добавить метод get_accDescription. Ниже я поясню, почему так.Термины "имя" и "значение" тут весьма условны. Так, для большинства объектов интерфейса в качестве имени будет их текстовое содержимое, а в качестве значения - пустая строка. В браузере Firefox для ссылок имя - название ссылки, а значение - адрес ссылки, для полей ввода имя пустое, а значение - содержимое поля ввода. В "описании" может быть системная или пользовательская подсказка элемента, а может и ничего не быть. Вариантов очень много, поэтому надо проверять наличие текста из всех источников.

Важно отметить, что получение текста под курсором будет работать не во всех программах. Поддержка Microsoft Active Accessibility в большинстве случаев возлагается на разработчиков приложений. Насколько хорошо она была реализована в программе, настолько хорошо и удобно можно будет получать текст из ее элементов. Например, в браузере Chrome "из коробки" поддержка MSAA вообще отключена из-за ресурсоемкости, включить ее можно по специальной ссылке chrome://accessibility.

Где это можно использовать? Например, для захвата статического текста из окон приложений, для получения данных из списков без необходимости выделения памяти в чужих процессах, для автоматического извлечения текстов с веб-страниц и их элементов, для обхода всяких защит от копирования. Это только первое, что приходит мне на ум, а возможностей у Microsoft Active Accessibility гораздо больше.

В приложении пример программы с исходным текстом, которая получает содержимое элемента, находящегося под курсором.

Комментарии

Добавить комментарий

Для вставки цитаты выделите текст и нажмите сюда

Имя*:

Текст комментария (не более 2000 символов)*:

*Все поля обязательны для заполнения.

Комментарии, содержащие рекламу, ненормативную лексику, оскорбления и т.п., а также флуд и сообщения не по теме, будут удаляться. Нарушителям может быть заблокирован доступ к сайту.