Шлемомышь

Не сочтите за дежурную лесть, но наш проект возник благодаря "Компьютерре", в которой я однажды опубликовал статью, посвященную развивающим компьютерным играм для детей-инвалидов с нарушениями координации движений.

Он состоял в том, что управление компьютером должно производиться при помощи движений головы и мимики оператора, регистрируемых видеокамерой. Были, впрочем, и некоторые разногласия. С точки зрения компьютерной науки и технологии гораздо интереснее работать над общей задачей распознавания выражения лица или даже над отслеживанием взгляда оператора. С точки зрения практической отдачи эта цель требует слишком много сил и времени. В конце концов, прагматизм победил. Что же появилось на свет в результате?

В основе системы - программа распознавания и управления курсором, работающая на платформе Wintel. Аппаратные требования довольно скромны. В существующей версии мы использовали маленькую серийную веб-камеру фирмы Intel. Камера «смотрит» в лицо оператору. Оператор поворачивает голову, и курсор на экране приходит в движение. Оператор открывает рот - реакция компьютера такая же, как при нажатии кнопки мыши. В первом работающем варианте системы для быстроты определения положения головы используется шлем, на который крепится пластина со специальными метками.

Система предназначена для инвалидов, которые не могут справиться с клавиатурой и мышью, - в первую очередь для детей, страдающих церебральным параличом. Этот недуг затрагивает прежде всего двигательный аппарат, однако подвижность головы в значительной степени сохраняется. Способ управления, который мы реализовали, в теории называется управлением по скорости. Это значит, что поворот головы на определенный угол влечет перемещение курсора в соответствующем направлении со скоростью, пропорциональной углу поворота. Такое техническое решение дает два преимущества.

Первое связано с особенностью движений наших больных, которую можно грубо назвать чрезмерным усилением коррекции. Даже небольшой промах вызывает хаотическое нагромождение корректирующих движений с увеличивающейся амплитудой. Управление по скорости - это интегрирование (в математическом смысле) управляющего воздействия, а значит, резкие движения головы не приводят к резким движениям курсора. Интересно, что в этом случае хаос коррекций даже не возникает.

Второе преимущество - возможность одновременного управления курсором как путем изменения угла поворота головы (по скорости), так и при помощи мыши (по положению).

Существуют ли аналоги такой системы? В последние десять лет быстро развивалась техника телевизионной регистрации направления взгляда, очень эффективная в научных исследованиях. Одна французская фирма изготовила систему управления компьютером с помощью движений глаз. Регистрируют движения две камеры, обрабатывает сигналы дополнительный компьютер. Цена системы 20 тысяч евро. В аннотации утверждается, что дети с тяжелой тетраплегией (одна из форм церебрального паралича) хорошо справляются с управлением.

Жаль, что нет открытых публикаций об испытаниях французской системы -анонсированный результат очень интересен, поскольку, как и все прочие движения, движения глаз у таких больных весьма затруднены. К тому же глазные движения связаны с множеством бессознательных механизмов, которые мешают сознательному управлению. Словом, хорошо было бы сравнить нашу и их системы, закупив образец для тестирования, но цена слишком высока даже для МГУ.

Кроме французской системы известно множество «штучных» приспособлений для отдельных пользователей-инвалидов, которым письмо на компьютере дает единственную возможность коммуникации. Есть также специальные электронные доски для общения, в которых буквы выбираются лучиком от закрепленного на голове излучателя, или небольшие переносные электронные доски, где пальцем выбираются буквы, целые слова и даже наиболее употребительные фразы, которые затем озвучиваются синтезатором речи.

При проектировании системы мы в основном ориентировались на педагогические цели. Психологи давно поняли важность письменной речи не только в качестве средства коммуникации, но и в качестве практически незаменимого средства развития. Как написал один психолог, «возможность затормозить свою мысль с помощью письменного слова и внимательно рассмотреть ее в форме материализованно-отчужденного предмета (письменного текста) задает исключительный импульс рефлексивности личностному развитию человека» ¹. Писать - не значит записывать то, что мог бы сказать. Взгляните на запись бесед в чате и вы это поймете. Там записано слово, максимально близкое к устному, и глядя на такую речь, можно даже подумать о гибели письма ². Психолог, конечно, имел в виду не спонтанную и даже специально стилистически торопливую чатовую речь, а продуманную, спрограммированную, удерживаемую в процессе писания, - словом, ту, которую мы, воспитанные на книгах, привыкли читать, и читаем без содрогания. Оказывается, такая письменная речь в определенные периоды развития ребенка служит инструментом формирования произвольного внимания и произвольной памяти.

Точная формулировка задачи развития принадлежит Л. С. Выготскому: ребенок должен овладеть своей психикой. Например, естественное внимание, которое управляется изменениями видимого и слышимого окружающего мира и привлекается внешними раздражителями, должно превратиться в произвольное внимание - это позволяет нам, взрослым, слушать скучную лекцию, даже если за окном поют птицы. Естественная память, когда кое-что запоминается ребенком само собой, должна преобразовываться в произвольную память - чтобы позволить человеку запоминать сознательно и целенаправленно.

Кстати, необходимостью запоминания и объясняют возникновение письменной речи. Однако у письма в условиях современной культуры есть свои особые, незаменимые качества. Произведенный текст остается в каком-то материале и может разглядываться и оцениваться в процессе написания и после него. Важность этого фактора не бросается в глаза при развитии нормального ребенка, в нашем же случае это становится очевидным. У детей с церебральным параличом обычно затруднена устная речь, понимать их не слишком просто, и люди, которые с ними общаются, часто переспрашивают и уточняют сказанное. То есть ответственность за точную формулировку мысли ребенок перекладывает на собеседника. Возможно, что и при нормальном развитии ребенка формирование ответственного слова связано с письмом, в нашем же случае очевидно, что только письменная речь позволяет довести мысль до формулировки.

Надо сказать, что первый испытатель системы, Георгий, очень охотно пошел на испытание - техники и себя самого, - как нам кажется, именно потому, что потребность в явном и точном результате деятельности у него была и до наших занятий, но смогла реализоваться только в них. Наша работа началась с раскрашивания контурных рисунков в редакторе Paint. Сначала Георгий даже не выбирал краски, а только наводил курсор на закрашиваемую область и приоткрывал рот (замена нажатия левой кнопки мыши). Вероятно, все читатели пользовались этой функцией Paint. Я до сих пор каждый раз нахожу в глубине души легкое остаточное удивление от того, что при нажатии кнопки яркая чистая краска точно заполняет выбранный контур. Представьте себе, что ваша деятельность вообще никогда прежде не давала четкого результата, а именно так было с Георгием. Маленькая тихая радость, которую я испытываю до сих пор, у него была во сто крат сильнее. Думаю, именно это чувство точности и определенности результата стало мотивом преодоления дальнейших немалых трудностей.

Постепенно мы усложняли задачу: сначала выбор краски, затем обведение контуров, наконец, подписи к рисункам; для написания текстов служит специальный редактор с изображенной на экране клавиатурой, приятным голосом называющий букву при активации «клавиши». Очень скоро подписи к рисункам преобразовались в диалоги и изложение прочитанного, увиденного и пережитого, то есть в работу с письменной речью.

Мы, конечно, рады, что благодаря нашей системе некоторые дети смогут самостоятельно входить в Интернет, переписываться с друзьями, ходить по музеям и т. п. Еще больше мы рады тому, что система может пополняться самыми разными заданиями для самостоятельной и вдвоем со взрослым деятельности ребенка. Совместная работа, как уже упоминалось, обеспечивается у нас тем, что системный курсор управляется одновременно и через видеокамеру (поворотом головы), и мышью. Это позволяет использовать стандартные приложения, в трудных ситуациях исправляя ошибки и помогая ребенку.

Наши дальнейшие усилия будут направлены (кроме повышения надежности и простоты обращения с программой) на разработку новых заданий, позволяющих эффективно использовать эту систему. Например, вместе с Анатолием Прохоровым (студия «Пилот») мы задумали сделать специальные развивающие мультфильмы в компьютерном варианте.

В заключение хочу поблагодарить Владимира Вежневца, создателя программной части системы, аспиранта ВМК МГУ, ученика Юрия Баяковского. Он все делал быстро, качественно и в нескольких случаях - лучше, чем предусматривалось техническим заданием, с добавлением удобных функций и средств.

Я знаю, что в «Компьютерре» не принято благодарить спонсоров и меценатов. Только уважение к обычаю удерживает меня от того, чтобы назвать имя нашего прежнего коллеги, благодаря которому работа состоялась.