По Суссексу скребен
АрхивЭтот материал родился из моих скитаний по Суссекскому университету дождливым осенним днем в компании нескольких сменявших друг друга людей.
Этот материал родился из моих скитаний по Суссекскому университету дождливым осенним днем в компании нескольких сменявших друг друга людей. Встретил меня, как и договаривались, Адриан Томпсон (Adrian Thompson), ранее занимавшийся селекционной работой на ниве интегральных схем, а теперь переключившийся на более модные одноэлектронные устройства. Сообщив, что дело это хоть и трудное, но очень клевое, он умчался, высоко выпрыгивая над лужами, в соседний корпус - вести семинар по адаптивным системам.
Но прежде познакомил меня с университетским художником Полом Брауном (Paul Brown), который прибыл в Суссекс из Австралии, чтобы воплощать в эстетически значимых визуальных образах работу нейросетей. Беседа с Полом оставила сильное впечатление, а сразу после нее я продолжил знакомство с университетом в обществе Майкла О’Шеа (Michael O’Shea), нейробиолога, не чуждого математики и информатики. Напоследок суровый аспирант с классическим английским именем Том Смит (Tom Smith) продемонстрировал целый спектр насекомоподобных роботов, которым выпала нелегкая участь воплощать «безумные идеи» своих междисциплинарных создателей.
Материал, собранный в течение этого трудного дня в разных уголках Суссекского университета (который по традиции местные жители сокращают до простого «Суссекса»), я и предлагаю вашему вниманию.
Эволюционирующий хардвер: кризис жанра?
Университет Суссекса (University of Sussex) был построен в начале 1960-х. С самого начала он был задуман как место, где ученые самых разных специальностей могли бы максимально свободно общаться, а студенты - одновременно изучать множество самых различных наук. Такое положение вещей теперь принято называть неуклюжим словом мультидисциплинарность. Школа 1 когнитивных и компьютерных наук (School of Cognitive and Computer Sciences, сокращенно - COGS) возникла позже, в середине 1980-х, и представляет собой законченное воплощение идеи мультидис… нет, давайте короче: союза наук. Здесь очень сильно представлены информатика, лингвистика, психология, философия (в частности, философия познания). С самого начала велись серьезные исследования по искусственному интеллекту. Позже, во многом благодаря энтузиасту генетических алгоритмов и вообще эволюционных вычислений Филу Хазбендсу (Phil Husbands), сложился большой коллектив, занимающийся адаптивными системами. Согласно традиции сноса барьеров между науками, в этот коллектив входят не только сотрудники Центра вычислительной нейрологии и роботики (Centre for Computational Neuroscience and Robotics, CCNR в дальнейшем буду называть его просто Центр), организованного совсем недавно Хазбендсом и Майклом О’Шеа. В заседаниях большого семинара, посвященного широко и нечетко очерченному кругу очень занимательных вопросов, участвуют в среднем человек пятьдесят - информатики, биологи, когнитивисты, философы.
«Компьютерра» уже писала в теме номера «Искусственная жизнь» 2 о работах одного из самых активных исследователей, работающих в Центре, - Адриана Томпсона (Adrian Thompson). Ему принадлежат одни из первых в мире работ по эволюционирующему харду. Адепты этого направления хотят создавать эффективные конструкции электронных устройств не «вручную», а путем целенаправленной контролируемой эволюции. Большую известность получили работы Адриана, где он терпеливой селекцией «выводил» на плате с реконфигурируемой логикой (FPGA) схему, различающую несколько простых звуков. При этом снимались все обычные ограничения, и чип превращался в аналоговое устройство, на котором возникали совершенно иррациональные сочетания базовых элементов - выполняющие, однако, поставленную модельную задачу.
Впрочем, выполняли они ее плохо: устройство было крайне чувствительно к температуре и индивидуальным особенностям чипа. Доведение этой технологии до практически приемлемых решений было одной из задач большого проекта, который Адриан вел в течение последних трех лет. Встретившись с Адрианом в Центре, я расспросил его об итогах и перспективах этой деятельности. Оказалось, что не все так радужно, как представлялось (мне, во всяком случае) два года назад. Схемы, полученные путем эволюции без ограничений, ввиду их неустойчивости надо было испытывать в разных условиях, на чипах разных производителей и т. д. Критерий качества, приспособленности (fitness function), использованный для отбора, должен был бы применяться на всем этом широком множестве вариантов. Это требует огромной работы, которая и ведется.
Однако недавно Адриан стал применять эти методы еще к одной задаче. На этот раз - не в реальном кремнии, а только на уровне моделирования. Моделирующие программы предназначены для разработки некоторых нанотехнологических конструкций. Это маленькие схемы, как бы изолированные островки в кремнии (возможны и другие материалы). Здесь возникает туннелирование электронов через изолирующий барьер (gap) между островками, появляются квантовые туннельные связи. На программном симуляторе одноэлектронных схем Адриан с соавторами пытаются эволюционным путем вывести вычислительные схемы. Для начала - простейшие логические элементы с двумя входами и одним выходом, например, NOR. Моделирование требует огромных вычислительных затрат, так как здесь учитывается физика на очень малых масштабах. Расчет одного «индивидуума», участвующего в «естественном отборе», то есть одного варианта схемы, требует нескольких минут счета на хорошей рабочей станции.
Уже ясно, что этот подход весьма необычно использует тонкую физику, которая лежит в основе таких конструкций. Обычные одноэлектронные вентили (gates) работают тем лучше, чем ниже температура. Если же температура повышается, они работают все хуже и хуже. Адриан выводил свои вентили, предполагая постоянство температуры. Оказалось, что их поведение ухудшается при отклонении от фиксированной температуры как вверх, так и вниз. Анализ показал, что вентили используют тепловую энергию электронов. Это весьма странно и вряд ли разумно, но показывает, насколько необычные решения могут быть найдены на этом пути.
Сейчас совсем не очевидно, удастся ли эволюционно получить крупные логические структуры, если даже эволюция базовых блоков занимает столько времени. С другой стороны, еще неизвестно, будет ли вообще одноэлектронная технология когда-либо использоваться в промышленных масштабах. Пока, как утверждает Адриан, никто не знает во всех физических деталях, как построить «полноценное» устройство на этих принципах (небольшие демонстрационные прототипы не в счет).
В сборнике докладов на недавней конференции по эволюционирующему харду ICES’2000 приводится ряд ярких результатов - например, Джон Коза (John Koza), один из мировых лидеров во всем, что связано с ALife и эволюционными вычислениями, сообщает об эволюционно выведенном его группой усилителе. Однако, как выясняется, это было программное моделирование, и проводилось оно на кластере чуть ли не из тысячи «Пентиумов». Полученная в результате схема состоит из 15-20 транзисторов. Нельзя утверждать, что вся тысяча «Пентиумов» была для этого необходима, - но тем не менее…
На этой драматической ноте Адриан и умчался по залитым водой дорожкам Суссекса. Я же двинулся дальше инспектировать суссекские сусеки.
Нейросеть с ядовитым газом
В Центре активно занимаются нейросетевой реализацией недавно открытых методов передачи информации между нейронами в живом мозге. Созданная на этой основе архитектура называется GasNet. Почему - объяснил мне профессор Майкл О’Шеа.
Совсем недавно было сделано удивительное открытие 3: нейроны продуцируют газ NO (окись азота). Причем выделяются не отдельные молекулы, а целые небольшие «облака». Выяснилось, что NO является нейротрансмиттером, то есть средством для передачи информации внутри мозга. В нейронах есть для этого газа специальные белки-рецепторы, через них он стимулирует или подавляет активность нейронов. Обычные нейротрансмиттеры воздействуют через синапсы, а значит, только на ближайших соседей. Газ же диффундирует в виде облака, осуществляя, по-видимому, дальние связи.
В Суссексе был выполнен цикл важных исследований механизмов передачи информации с помощью NO. Эти исследования ведутся на моллюсках или улитках, но окись азота используется в мозге всех животных. Возможно, NO имеет отношение к механизмам памяти. Эксперименты позволяют предположить, что выделение в мозге NO непосредственно после акта обучения животного служит запечатлению результатов в долговременной памяти. Но полного понимания функций этого газа пока нет. Ясно, что его концентрация связана с активностью работы тех или иных участков мозга. Грубо говоря, чем напряженнее вы думаете, тем больше этого крайне ядовитого газа выделяет ваш мозг.
Так вот, после того, как были получены эти результаты, биологи и информатики стали думать об использовании подобных механизмов в искусственных нейросетях. Традиционно взаимодействие между нейронами в нейросетях обеспечивается с помощью фиксированных связей. Газовое облако - это механизм взаимовлияния нейронов, непосредственно не связанных друг с другом. В архитектуре GasNet облако газа моделируется алгоритмически. Эта архитектура была реализована в нейросетях, управляющих роботами. Нейросети программно обучались при помощи эволюционного алгоритма, а потом устанавливались на роботах.
Эффективность подхода тестировалась на такой задаче. Робот снабжен видеокамерой. В поле обзора находятся треугольник и квадрат. Задача - найти треугольник. Дополнительная сложность - шум, сильные флуктуации рассеянного света.
Ситуация моделировалась программно, на MatLab’е. Для обучения нейросети использовался генетический алгоритм. На каждом шаге эволюции из популяции роботов (точнее, программных моделей их «нервных систем») отбирались лучшие, происходило скрещивание, мутации, затем тестировалась новая популяция и т. д. Отбор шел так: каждому роботу давалось определенное количество попыток решить задачу при разных начальных условиях. Лучшими считались те, кто набрал больше очков. Их геном (то есть описание управляющей нейросети) передавался в следующее поколение.
Одним из параметров генома было использование или неиспользование газа. Оказывается, если включить использование газа, эволюция требует в десять раз меньше поколений, чем без газа. Получаемые при этом нейросети гораздо проще по архитектуре: меньше нейронов, меньше связей, поэтому такую сеть можно проанализировать и точно понять, как она работает, выявив все слабые места.
С задачами поиска треугольника роботы, прошедшие отбор, справлялись неплохо - уже после воплощения в железо. После беседы с Майклом Том Смит повел меня в соседний корпус и показал целый выводок роботов различного назначения (см. врезку).
Ну а потом я побрел, переполненный мультидисциплинарными впечатлениями, на остановку электрички, где две совершенно подмосковного вида деревянные стрелки указывают в противоположных направлениях: «University of Brighton» и «University of Sussex». Выбрав, подобно хорошо натренированному октаподу, перпендикулярное к обеим стрелкам направление, я через полчаса благополучно прибыл в Брайтон. На этом и завершилась научно-журналистская часть моего путешествия по маршруту Запад - Юг.
[i38528]
1 (обратно к тексту) - То, что у нас назвали бы, скорее, факультетом.
2 (обратно к тексту) - «КТ» #289, 16 марта 1999 г.
3 (обратно к тексту) - Hцlscher, C. (1997) Nitric oxide, the enigmatic neuronal messenger: its role in synaptic plasticity, Trends Neuroscience 20, 298-303.
Монолог 1
Большой Красный Октапод - это шагающий робот, его восемь ног (симметрично расположенных) имеют по две степени свободы, входная информация - инфракрасные датчики на передней части и датчики касания. Один из наших аспирантов, Ник Якоби (Nick Jacobi), работая над диссертацией, вывел для этого робота контроллер путем эволюции на основе «минимального моделирования». Контроллер представляет собой нейросеть, эволюция шла на основе генетического алгоритма. Точное моделирование, математически аккуратно учитывающее всю динамику, было бы очень медленным. Эволюция в реальном пространстве, в реальном мире тоже происходит очень медленно. А минимальное моделирование учитывает только то, как робот движется вперед, назад и т. п. Была поставлена задача - обходить препятствия. Использовалось лишь четыре простых сценария.
В результате получился контроллер лучше любого из сделанных «руками». Робот ходит очень быстро. Практически бегает, его механика с трудом выдерживает такую скорость. (Свидетельствую: бегает резво. - Л.Л.-М.)
Вот другие роботы. Ими управляют очень простые контроллеры, и они в нашем эксперименте должны были коллективно решать задачу обслуживания нескольких объектов. Имеется несколько источников света, которые гаснут и загораются в случайные моменты времени. Когда свет гаснет, роботы должны подъехать к источнику, и от толчка он включается. Задача - добиться, чтобы свет всегда горел. Эта работа делается для Британского космического агентства.
Чтобы решить эту задачу, роботы должны выработать скоординированное, коллективное поведение. Связи в явном виде между ними нет. Но видеокамеры фиксируют все - возможно, они учитывают передвижения друг друга. Есть инфракрасные датчики, которые реагируют на близость к предметам. Есть и очень примитивное зрение на основе линейного сканирования. Это дает возможность распознавать свой «дом», обслуживаемые объекты и определять, включен ли свет. В промежутках между рейсами для включения света роботы должны возвращаться домой (например, для подзарядки). У них есть также счетчики пройденного расстояния (количество оборотов колес), и они поддерживают в памяти информацию о пройденном пути. Целевая функция в генетическом алгоритме - нечто вроде 1/(время, когда не все лампы горели).
Здесь мы стараемся использовать методы, которые применяют в природе, например, муравьи. Муравьи всегда помнят направление на муравейник и расстояние до него. Это установлено множеством экспериментов. Они обходят препятствия, которые экспериментатор ставит на их пути при возвращении домой, и продолжают двигаться по исходной прямой. Если муравья перенести на некоторый вектор, он возвращается, обходя барьеры, в точку нахождения муравейника плюс вектор смещения. Если же перенести муравейник, они вернутся туда, где он был.
Применение этих принципов в сочетании с генетическими алгоритмами обучения оказалось достаточно эффективным. (Я лично видел только обнаружение одним роботом источника света. Но и это выглядело весьма трогательно. Сразу вспомнилась старая карикатура из книжки «Физики шутят»… - Л.Л.-М.)
Том Смит [Tom Smith]
Аспирант
Монолог 2
В недавних своих композициях я использую выходные сигналы от нейросетей или клеточных автоматов в качестве кода, который определяет расположение неких геометрических элементов. Беру различные временные срезы эволюции этих систем, манипулирую получающимися образами. Например, в самом известном клеточном автомате - изобретенной Конвеем (Conway) «Игре жизни» («Game of Life»), состояние на каждом такте представляется черно-белым массивом, матрицей «живых» и «мертвых» клеток. Я беру два или три временных среза эволюции автомата и получаю в каждой точке уже не один, а два или три бита, то есть 4 или 8 вариантов. В соответствии с этими номерами на нужных местах отображаются заранее созданные блоки, тайлы (tiles). По этому принципу построена динамическая композиция «Chromos», находящаяся в непрерывном движении. Используется небольшой массив с правилами эволюции, очень близкими к оригинальной конвеевской «Жизни». Аналогично устроена композиция «Sandlines». Но теперь, после года работы в Центре, я все больше склоняюсь к тому, что нейросеть может давать более интересные образы.
Некоторое время назад я пришел к такой идее: вовлечь в создание картины наблюдателя, который мог бы менять параметры генерации. Вот здесь и нужна нейросеть, реагирующая на действия наблюдателя. В частности, я думал о GasNet - нейросетевой архитектуре, которой активно занимаются в Центре и в которой сделана попытка смоделировать недавно открытое явление передачи информации в мозгу между удаленными нейронами с помощью молекул газа. Мне кажется, что при использовании таких адаптивных, самоорганизующихся систем на экране могли бы возникать «правильные» образы - такие, как круг; образы, наводящие на мысль об их разумном происхождении. Можно было бы начать работать с человеческим восприятием. Соответственно натренированная нейросеть могла бы дольше задерживать на экране образы, привлекающие внимание наблюдателей.
В известном смысле это развитие идей минимализма, которыми я увлекался еще в 1960-е, будучи студентом. Минималист может предъявить зрителю просто холст, на котором ничего не изображено. Должно работать воображение зрителя. Теперь, с появлением компьютеров, система, включающая нейросеть, может создать некую композицию в соответствии с поведением зрителя, с его восприятием. Я думал об этом еще в начале девяностых, но отказался от такого подхода из некоторых философских соображений. Сейчас же я вернулся к этим размышлениям. Мне бы было интересно реализовать, например, такую идею (я предполагаю это сделать на фестивале современного искусства в Австралии в апреле 2002 года). Изображения будут проецироваться из зала на окна, выходящие на улицу. Публика будет видеть их с тротуаров. За зрителями будут наблюдать несколько видеокамер и вести мониторинг их поведения с помощью компьютера. Например, фиксировать уровень активности движения возле той или иной композиции. В соответствии с популярностью композиций они будут перестраиваться, с тем, чтобы привлечь как можно больше людей. Для этого будет реализован генетический алгоритм с функцией приспособленности (fitness function), максимизирующей число посетителей.
Такого рода проекты наводят на мысль о прикладном - проще говоря, коммерческом использовании этих идей: скажем, в рекламе. Но я рассматриваю свою работу как искусство ради искусства. Для зарабатывания денег это не очень подходящий способ. Деньги лучше зарабатывать так, как мой сын. Ему 22 года, он Интернет-гуру в Лондоне, и только за квартиру платит больше, чем я получаю в университете (будучи профессором. - Л.Л.-М.). Он, кстати, считает, что можно найти какие-нибудь коммерческие приложения моим идеям. Но для меня это совершенно неактуально. Дети выросли, теперь мне не нужно столько денег, как раньше.
В молодости на меня очень повлияла группа «Системные художники» («The systems artists»), базировавшаяся в Голландии. Они, в свою очередь, находились под сильным влиянием русских конструктивистов 1910-20-х годов. Им принадлежит идея, что можно создавать искусство, собирая некие системы, - другими словами, заранее составить некие процедуры, а потом действовать по ним. Эти люди были моими учителями. Компьютер же я для себя открыл в 1968 году. Тогда в Лондоне была большая выставка художников, использующих компьютерные методы, и, увидев их работы, я понял, что хочу этим заниматься. Но только в 1974 году мне это удалось.
Тогда, как и сейчас, мне нравилось работать с образами, порожденными интересными вычислительными процессами. В частности, одна из причин приезда сюда, в Центр, где занимаются эволюционной роботикой, - желание поработать с вычислениями, основанными на эволюционной парадигме. Мы здесь с коллегами думаем и о том, как научить роботов рисовать. Пока речь идет об очень простых объектах. Но я считаю, что вполне можно создать автомат, способный всерьез заниматься изобразительным искусством. Однако на это уйдет лет двадцать-тридцать, я могу и не дожить.
Художники всегда воспринимали произведения искусства как автономные, самостоятельные объекты. От художника можно услышать, что картина ему что-нибудь сказала, подсказала… Возможно, роль художника и состоит в том, чтобы дать жизнь холсту, а масляные краски - одно из средств для этого. Такой взгляд насчитывает уже века. По-моему, то, что мы сейчас делаем с компьютерами, очень соответствует этому подходу. Разница в том, что на холсте невозможны процессы во времени, динамика, а среда, создаваемая при помощи компьютера, весьма динамична.
Пол Браун [Paul Brown]
художник при университете (artist in residence)
