Исследовательское подразделение Microsoft Research занимается созданием и усовершенствованием технологии Pre-touch Sensing для взаимодействия с мобильными устройствами. Как видно из названия, взаимодействие с экраном происходит ещё до прикосновения к нему. Этот новый метод взаимодействия работает с сенсорными экранами, используя ощущение объектов над экраном и захвата рукой краёв устройства. Техника предугадывания (anticipatory techniques) адаптирует интерфейс на экране в зависимости от того, каким образом пользователь держит устройство и где находятся его пальцы. Например, прототип видеоплеера обладает адаптируемым интерфейсом, который за мгновение способен показывать и скрывать интерактивные элементы. Поначалу интерфейс отсутствует, показывается только видео. Когда к экрану приближается рука, контекст меняется, на экране появляются элементы управления. Когда пользователь убирает руку, элементы управления исчезают.
Если пользователь держит устройство одной рукой, с этой стороны экрана появляется часть элементов управления, с которыми можно взаимодействовать большим пальцем. Вместо ползунков для прокрутки видео и регулировки громкости используются круглые шкалы. Если взять аппарат другой рукой, эти элементы управления появятся с другой стороны, а если держать его двумя руками, большее число элементов будет доступно с обеих сторон. Это заметно отличается от привычного взаимодействия pinch-to-zoom.
Также ведётся исследование методов удобного взаимодействия с браузером при помощи pre-touch. Гиперссылки отображаются только тогда, когда пользователь подносит к ним палец, при этом внешний вид ссылок меняется в зависимости от положения и изгибов пальца. Когда пользователь подносит несколько пальцев, интерфейс фиксирует это и реагирует по-другому. Это позволяет привязать к мультитач разные действия, вроде перехода между вкладками при помощи двух пальцев, не касаясь экрана. Также при помощи pre-touch можно показывать контент, например, во время презентаций.
Pre-touch может использоваться для расширения функциональности сенсорного взаимодействия. Например, может быть отменено нажатие по ненужному элементу. Или же, попав по большой цели, можно поменять действие, выбрав взаимодействие с небольшим элементом управления. Другой пример — быстрое прикосновение сбоку может обрабатываться как нажатие, а точное нажатие позволяет выделять текст.
Наконец, pre-touch находит применение в гибридном взаимодействии сенсорных прикосновений и «парящих жестов» (hover gestures). Можно усилить выделение нажатием на объект, при этом поднеся другой палец для вызова опций. Это позволяет эффективно вести управление объектами в удобном для пальцев месте. Поскольку экран фиксирует также захват ладонью, эту же технику можно использовать при работе с устройством одной рукой. Гибридные сенсоры имеют потенциал для использования в мобильных играх, вроде футбола.
Было показано, как pre-touch делает интерфейсы более отзывчивыми с расширением сценариев их применения, упрощает чтение в браузерах, улучшает коммуникацию, наглядность и удовольствие от работы с сенсорными интерфейсами. В целом можно сказать, что процесс эволюции мобильного сенсорного взаимодействия в технологию pre-touch находится на начальном этапе, и многие возможности сенсорных экранов, которые можно извлечь без прикосновения к ним, ещё только предстоит открыть.