Денис Подоляк

Эволюция сенсорных экранов

Устройство, предвосхитившее возможности iPhone, появилось... 15 лет назад, а майкрософтовский Surface идейно был позаимствован из разработок начала 1980-х. Визионерский фильм Starfire не только опередил на добрый десяток лет концептуальные идеи, использованные Стивеном Спилбергом в «Особом мнении», но и предсказал бурное развитие сенсорных интерфейсов, беспроводных протоколов и самой Сети. Что есть новое? Хорошо забытое или все же доведенное до ума старое?

Изображение, звук... Зрение, слух... Компьютеры становятся нашими глазами, они заменяют нам уши... Теперь они готовы стать еще одной частью нашего тела, нашими сенсорами, нашими нервными окончаниями – компьютеры уже готовы понять наши чувства. Не об этом ли мечтал Станислав Лем, не этим ли пугал Филипп Дик? Никогда раньше машины не были так близки к нам, как сейчас, в эпоху не только думающих, но и начинающих чувствовать механизмов.

Не надо сжигать лишние калории, не надо пускать никчемные нервные импульсы по маршруту «нейроны-синапсы-нейроны» – теперь достаточно повелевать миром, едва двигая пальцем. Universe on your fingertips. Вселенная на кончиках твоих пальцев. Подумал, едва напряг мышцы – почувствовав твое прикосновение, сенсоры преобразуют микроньютоны и микрокулоны в микровольты, заставляя бежать по электронным схемам микроимпульсы: теперь ты готов управлять миром. Ну, или, по крайней мере, собственным телевизором и музыкальным центром.

Как это обычно бывает с новыми технологиями, сенсорные системы, входящие в повседневный обиход гигантскими шагами – а события последних месяцев не оставляют в этом сомнений – дилетанту кажутся чем-то необычным, инновационным и ультрасовременным. Цель этой статьи состоит, прежде всего, в том, чтобы развеять повсеместное заблуждение.

О технологиях multi-touch, являющихся, пожалуй, главной особенностью двух продуктов – iPhone и Surface – заговорили достаточно давно. Причем, первоначально термин multi-touch («множественные прикосновения») применялся отнюдь не к сенсорным системам, а к обычным компьютерным клавиатурам. Те операции, которые сегодня кажутся нам чем-то примитивным и элементарным, в свое время попросту отсутствовали – каких-нибудь тридцать с небольшим лет назад никто и думать не думал о комбинациях клавиатурных клавиш с кнопками Shift, Alt или Ctrl. Приблизительно в то же время заговорили о возможности, которая на английском звучит как rollover, «перекат». Иначе – «множественные нажатия». Это сегодня существуют hi-end-клавиатуры, способные сканировать нажатие каждой отдельной клавиши, а еще совсем недавно отслеживание трех одновременно нажатых кнопок считалось чем-то из области фантастики. Что касается сенсорных устройств, то пионерами в этой области были ученые из Университета Торонто, приступившие к подобным экспериментам в 1982 году. Первая система multi-touch, названная гибким машинным интерфейсом, состояла из матового стекла и камеры. Стекло обладало определенными оптическими свойствами, и при касании пальцем одного из его участков на противоположной стороне своеобразного «тачскрина» формировалось черное пятно, которое отслеживалось камерой, а затем анализировалось (координаты, форма, направление и скорость движения, количество) посредством компьютера.

Год спустя перспективы «мульти-тача» уже детально исследовались в профессиональной литературе. Научный труд Накатани и Рорлича «Soft Machines: A Philosophy of User-Computer Interface Design» на многие годы предопределил направление исследований и развитие мультисенсорных устройств.

В том же 1983 году американец и по совместительству компьютерный художник Майрон Крюгер опередил время, предложив идею видеостола (Video Desk), а затем и видеопространства (Video Place). К чести господина Крюгера, он не ограничился лишь чертежами, схемами и теоретическими выкладками, но и воплотил их в реальность. Так видеостол включал в себя систему, отслеживающую перемещение рук, пальцев и других объектов. Кроме того, он мог реагировать на большой набор жестов. Справедливости ради стоит заметить, что человек, работающий с видеостолом и видеопространством, не касался их – система, разработанная Майроном Крюгером, больше напоминала футуристические интерфейсы из «Особого мнения». Это наводит на мысль: не Video Desk ли был прообразом майкрософтовского Surface?

Затем эстафету вновь подхватили исследовательские группы из University of Toronto. К 1985 году учеными была создана действующая модель поверхности с возможностями multi-touch. В изобретении Input Research Group, в отличие от сенсорных систем, основанных на оптических свойствах, использовался принцип емкостного сопротивления, позволивший значительно уменьшить габариты устройства вводавывода. Multi-touch Tablet мог отслеживать произвольное число одновременных нажатий, различая также их относительные координаты и угол.

Приблизительно в то же время в лабораториях Bell Labs разработали мультисенсорный экран (multi-touch screen) с использованием электроннолучевой трубки. Или, проще говоря, старого доброго кинескопа. Одним из весомых преимуществ устройства от Bell Labs была возможность работы в реальном времени – все предыдущие разработки отслеживали и обрабатывали нажатия со значительной задержкой.

И снова Торонто. В стенах главного учебного заведения этого канадского города в 1986 году было создано устройство для ввода информации двумя руками (bi-manual input). Тут до «Особого мнения» рукой подать – и в прямом, и в переносном смысле. Разработка велась в двух направлениях: в первом случае исследовалась возможность перемещения объекта на экране одной рукой и изменения его размеров другой, а во втором – одной руке придавалась навигационная функция, а другой – возможность выбора объекта.

Эксперименты оказались удачными – обучение использованию новой системы ввода информации осуществлялось очень быстро, а производительность по сравнению с обычными способами возрастала в несколько раз. К сожалению, до сих пор результаты этих исследований так и не нашли применения.

Через пять лет исследователи по всему миру начали всерьез изучать возможность применения жидкокристаллических панелей как устройств ввода. Параллельно развивались и проекционные системы ввода информации: в 1991 году был запатентован Digital Desk – плоскость с фронтальным проектором и сканером, позволяющая работать даже с данными, предварительно распечатанными на бумаге. «Цифровой стол», разработанный в стенах Rank Xerox EuroPARC, ярко демонстрировал возможности «мульти-тача». Например, возможность масштабирования и переноса графических объектов движением двух пальцев («щипок»). А в 1992 году совместное предприятие, созданное IBM и Bell South, представило широкой публике первый смартфон Simon. Тогда он назывался «персональным коммуникатором» и объединял следующий функциональные возможности: мобильную телефонию, календарь, адресную книгу, мировое время, калькулятор, записную книжку, e-mail и набор игр. Сегодня подобное устройство называется «мобильным телефоном», а тогда Simon считался верхом развития инженерной мысли. Впрочем, интересно другое: у «Саймона» не было телефонной клавиатуры. У него вообще не было клавиатуры. Детище IBM было оснащено огромным тач-скрином, поддерживающим возможность ввода информации как пальцами, так и стилусом. Simon работал только в режиме single-touch. Впрочем, это не помешало разработчикам оснастить смартфон уникальной клавиатурой с возможностью предикативного ввода.

***

Начиная с середины 1990-х число разработок в области мультисенсорных устройств стало увеличиваться в геометрической прогрессии:

1995 Университет Торонто – продемонстрирована концепция «осязаемого» интерфейса, основной особенностью которого была возможность идентификации, локализации и отслеживания перемещений-вращений множественных физических объектов на цифровом столе-дисплее, а также использование этих самых объектов для управления графическими образами (и снова Surface?).

1997 Alias/Wavefront – разработка сенсорной поверхности для работы обеими руками. Устройство под лаконичным названием Т3 объединило множество идей, представляющих пользователю практически безграничные возможности при манипуляции графическими объектами.

1997 Georgia Tech/ Microsoft Research – еще один взгляд в будущее под названием The Haptic Lens. Так называемые «хаптические» устройства заслуживают отдельной статьи. Мы лишь заметим, что мульти-сенсорные устройства подобного рода позволяют воздействовать на виртуальную реальность на несколько ином уровне: представьте, что у вас в руке нечто похожее на комок глины или пластичной резины – сжимая, растягивая, скручивая, вращая подобный «прибор», вы тем самым можете влиять на происходящее на экране. Или голографическом мониторе. Или на внутреннем экране, где-нибудь в одной из долей правого полушария мозга.

Мечты, мечты...

1998 Два профессора из Университета штата Дэлавер создали целую линейку устройств с функцией multitouch, дополнительно снабдив их соответствующим софтом и библиотекой жестов. Так бы и не узнал никто о Джоне Элиасе и Уэйне Вестермане, если бы активы их обанкротившегося совместного предприятия Fingerworks не приобрела в свое время Apple. Тонкий намек.

1999 Alias/Wavefront – цифровая доска для объявлений Portfolio Wall. Основное предназначение – размещение изображений и видео группами или по одиночке.

Выведенные на экран Portfolio Wall цифровые фотографии можно было сортировать, снабжать подписями и объединять в слайд-шоу. В разработке не использовался «мульти-тач», но пользователи Portfolio от этого не страдали: для работы с изображениями хватало набора жестов: рука вправо – переход к следующему слайду или запуск видеоролика, рука влево – переход к предыдущему изображению, рука вниз – стоп машина!

2002 В токийских лабораториях Sony под руководством Джана Рекимото была разработана система SmartSkin, предназначающаяся для изготовления интерактивных поверхностей.

Применение емкостных сенсоров и антенны-сетки позволило отказаться от систем видеораспознавания – работоспособность SmartSkin не зависела от степени освещенности и разнообразных преград, наличие которых критично при использовании проекционных способов отслеживания.

2003 «Джазовые мутанты » из французского Бордо изготовили первую в мире коммерчески успешную прозрачную мультисенсорную систему. Инновационный продукт компании JazzMutant был использован при создании музыкального контроллера Lemur.

2004 На сцену выходит Microsoft Research. Разработку TouchLight, в принципе, можно считать базовой технологией для компьютера Surface: лист акрила в умелых руках превратился в высокоточную и сверхскоростную систему, пригодную для манипуляций с графическими объектами, выводимыми на поверхность пластика с помощью обратной проекции (источники изображения и считывающие устройства располагаются ПОД поверхностью).

2005 Появившись на сцене, исследовательские лаборатории Microsoft уходить не собираются и предлагают новую разработку – PlayAnywhere. Это, собственно, еще один шаг к «Серфису». Главная «фишка» PlayAnywhere – он не только чувствует прикосновения, но и различает предметы. Быстрая идентификация объектов, отличных от пальцев (рук), осуществляется с помощью простой схемы штриховых кодов. Более совершенная система распознавания может не только идентифицировать определенные классы предметов, но и предлагает для них соответствующий набор команд: бумажный документ будет отсканирован и переведен в электронную форму, а для мобильного телефона PlayAnywhere может посоветовать «Посмотреть содержимое » или «Скачать рингтон».

2005 За дело берется известный новатор Джефф Хан. Консультанта из Университета штата Нью-Йорк иногда называют «современным Эдисоном» – изобретательский портфель г-на Хана включает трехмерный дисплей Holodust, низкобюджетную систему, сканирующую движения глаз, и систему motion capture, также отслеживающую психометрические данные (например, дыхание). Мультисенсорный проект Джеффа Хана, по сути, является обобщением других разработок.

Обобщением очень практичным и готовым к массовому внедрению.

2006 Чисто кембриджская разработка Plastic Logic объединила в себе две технологии: гибкий дисплей на электронных чернилах e-ink и мультисенсорный тачпад. На выходе – интерактивный дисплей multi-touch.

2006 Союз Synaptics и Onyx породил мультисенсорный мобильный телефон.

Пока только в виде концепта.

Незачет.

2007 На улицах Нью-Йорка в очереди к магазинам Apple Store стоят без преувеличения тысячи жаждущих. В это время сеть казино Harrah закупает первую партию компьютеров Surface...

Список литературы

Синк 09 2007