Нервные клетки не программируются?

Идеальная карьера. Настолько успешная, что ее с лихвой хватило бы не одному человеку, а целому совету директоров. Однако Джеффу этого мало - сейчас он работает над созданием совершенно новой компьютерной архитектуры- по образу и подобию человеческого мозга.

Идеальная карьера. Настолько успешная, что ее с лихвой хватило бы не одному человеку, а целому совету директоров. Однако Джеффу этого мало - сейчас он работает над созданием совершенно новой компьютерной архитектуры- по образу и подобию человеческого мозга. Больше того. Поскольку под рукой не оказалось подходящей теории, достаточно полно описывающей принципы работы нашего серого вещества, Хокинc разработал такую теорию сам, написал о ней научно-популярную книгу "On Intelligence" и основал компанию Numenta, которая пытается воплотить идеи Джеффа в жизнь.

Джефф Хокинс заинтересовался исследованием мозга в 1979 году, прочитав специальный выпуск журнала Scientific American, посвященный этой теме. Под впечатлением от прочитанного он попытался обнаружить хотя бы одну теорию, описывающую работу мозга в целом, но, к своему удивлению, сделать этого не смог, поскольку таких теорий не существовало вприроде. Все проведенные до тех пор исследования касались только определенной функции мозга или же его физиологии и строения.

Такое ненормальное положение вещей, учитывая очевидную важность изучения работы мозга, подвигло Хокинса на то, чтобы заняться этим самому. Поскольку к тому моменту он уже работал в компьютерной индустрии, интерес его носил не только научный, но и прикладной характер - Джефф хотел создавать "разумные" машины.

Однако попытки Хокинса заинтересовать исследованиями мозга своего тогдашнего работодателя (компанию Intel) или уйти в науку, поступив в МТИ, закончились ничем. Поэтому Джефф пошел "своим путем", совмещая работу в ИТ-компаниях с самообразованием, а позднее - с исследованиями волнующих его вопросов "на дому". Безуспешные попытки построить системы ИИ с помощью привычных подходов (экспертные системы, нейронные сети) только убедили его в том, что сперва нужно разобраться в механизмах работы мозга и только потом строить "разумные" машины по его подобию.

Работая вместе с другими исследователями и используя огромные массивы информации, накопленной о человеческом мозге, Хокинс пришел к выводу, что механизм работы мозга с информацией кардинально отличается от принципа работы современных компьютеров. Значительно упрощая, можно сказать, что мозг, а точнее неокортекс, который, как считает Хокинс, и является "интеллектуальной" частью мозга, - это единое запоминающее устройство, функционирование которого базируется на нескольких основных принципах:

< Неокортекс запоминает последовательности элементов, а не отдельно элементы окружающего мира. То есть, если вы слышите мелодию, вы запоминаете ее целиком, как последовательность нот. Алфавит "записан" в памяти в его нормальном последовательном порядке. Для того чтобы произнести алфавит в обратном порядке, человек мысленно возвращается обратно и проходит буквы последовательно, добираясь таким образом до нужной, а не автоматически "вытаскивает" ее из памяти;
< Неокортекс вспоминает последовательности автоассоциативно. Это свойство означает, что если мозг воспринимает часть последовательности, он автоматически вызывает из памяти ее целиком. Если вы видите часть лица знакомого человека, вы все равно его узнаёте. Если вы слышите несколько нот знакомой мелодии, вы можете угадать ее;
< Неокортекс запоминает последовательности в инвариантной форме. Это значит, что в качестве последовательности сохраняются не тонкие и точные детали, а важные соотношения между элементами. Таким образом, человек узнает мелодию, даже если она исполнена на разных инструментах или в разных тональностях. Человек узнает предметы независимо от того, под каким углом он на них смотрит;
< Неокортекс сохраняет последовательности иерархически. Это означает, что по мере того, как входящая информация обрабатывается и проходит "дальше" в мозг, память становится все менее детальной и все более абстрактной. Грубо говоря, когда человек смотрит на какой-то предмет или на другого человека, информация сначала распознается просто как часть поля зрения, затем как определенная фигура, затем как часть объекта, затем как целый объект и наконец как определенный образ, абстрактное понятие. Был проведен ряд экспериментов, которые позволили обнаружить отдельные нейроны, активизирующиеся, когда человек видит, скажем, Билла Клинтона или Хэлли Берри, причем независимо от их обличия.

Описав модель мозга как запоминающего устройства, Хокинс дополняет ее второй, ключевой частью своей теории - мозг человека настолько эффективен потому, что умеет предсказывать будущие события, основываясь на прошлом опыте, хранящемся в памяти (модель "память-предсказание"). То есть для того, чтобы произвести определенное действие, например поймать мяч, мозг не должен производить долгие вычисления - ему достаточно вспомнить, какие действия он предпринимал для этого раньше, и на этом основании предсказать полет мяча и скоординировать движения конечностей.

Теория Хокинса описана им в книге "On Intelligence" ("Об интеллекте"), вышедшей в конце 2004 года. Помимо этого книга содержит рассуждения о последствиях и возможностях, которые возникают в случае создания разумных машин; взгляды автора на природу и отличительные особенности человеческого интеллекта, а также несколько предсказаний, касающихся открытий, которые подтвердили бы гипотезу Хокинса.

О книге

В своей книге вы довольно много внимания уделили критике других подходов к созданию искусственного интеллекта (ИИ). Почему?

- Много? Ну, во-первых, не могу сказать, что это отняло у меня много времени, и потом, есть люди, которые считают, что я недостаточно глубоко рассмотрел этот вопрос. В любом случае, это не критика ради критики. Просто большинство людей не имеет представления о том, сколь малого, на самом деле, добились разработчики систем ИИ. Я описал, что сделано, а что нет. Немножко истории, немножко о современном состоянии дел. Я хотел показать, что нам, мягко говоря, есть над чем поработать.

То есть это введение в историю вопроса?

- В большей степени - да, это некий исторический экскурс. И многим читателям он пришелся по душе. Были даже такие, кто сказал: "Джефф, ты целиком и полностью прав. Мы действительно застряли, и нам нужны новые подходы".

А как к вашей книге отнеслись разработчики систем ИИ? Обсуждали ли они вашу книгу, и если да, то как они ее оценивают?

- Обсуждали, и довольно активно. Меня даже попросили выступить с речью на ежегодной конференции разработчиков систем ИИ [www.aaai.org/Conferences/IAAI/2005/iaai05.html]. Кроме того, после выхода книги я активно выступал в университетах - в основном перед теми, кто занимается исследованием работы головного мозга, но и перед разработчиками ИИ тоже.

Надо сказать, что многие, прочитав книгу, сказали: "Вот оно!" Собственно говоря, поэтому меня и пригласили на конференцию, чтобы я мог обсудить свои идеи с учеными, с теми, кто занимается этими вопросами профессионально, с восьми до пяти. И было больше позитива, чем негатива. Возможно, потому, что люди, которым не близок мой подход, решили не говорить мне об этом, не знаю.

Кстати, разработки в области квантовых компьютеров могут как-то повлиять на вашу работу?

- Даже не знаю, что ответить. Я просто не очень в этом разбираюсь. Мне, правда, кажется, что им еще далеко до практических применений. И я считаю, что квантовые компьютеры для наших приложений вовсе не обязательны. Математик Роджер Пенроуз написал в своей книге "Новый ум короля", что для объяснения работы мозга требуются какие-то квантовые процессы, но он попросту ошибался. Неокортексу это совершенно не нужно. У него есть статистические методы, есть байесовские методы, но никаких квантовых алгоритмов нет. В общем, думаю, это не имеет к нам особого отношения.

Иерархическая структура модели "память-предсказание" имеет много общего с парадигмой ООП, которая тоже базируется на эксплуатации иерархических структур. Не кажется ли вам, что предложенные вами подходы уже адаптированы компьютерщиками - пусть и неявно?

- Новые теории обычно стоят на плечах старых теорий. Другими словами, ничто не ново под луною. Конечно, иерархические структуры, математические описания неокортекса и даже идея предсказаний - все это не ново. Но верная теория отличается от неверной тем, что в первой те же самые - пусть уже знакомые - кусочки головоломки собраны в правильном порядке.

В основе ООП действительно лежат иерархические структуры, но поведение и взаимоотношения описанных объектов жестко задаются на этапе программирования. Мозг же устроен иначе. У нас есть иерархическая структура, состоящая из идентичных, по большому счету, объектов. Они выполняют одну и ту же функцию (в нашем случае - запоминание). Но их поведение определяется опытом, полученным системой - она ведь самообучающаяся.

Таким образом, сходство между иерархией ООП и нашей иерархической структурой скорее внешнее. При желании можно найти и другие аналогии. Например, мы активно используем математический аппарат байесовских сетей. Мы их тоже не сами придумали, но, как правило, байесовские сети лишены временной иерархии или вообще не учитывают концепцию времени. В общем, в нашей теории, наверное, нет неизвестных до нас элементов, но мы сложили их в правильном порядке и получили готовую технологию.

Вы же знаете, что я работал в Palm? После успеха PalmPilot многие говорили, что в нем нет по-настоящему новых технологических решений. И это правда. Но мы сложили кусочки верно.

Сейчас мы пытаемся то же самое проделать с новой архитектурой. Однако это невозможно без четкого понимания того, как работает мозг. И когда у нас в Numenta возникают проблемы с продвижением вперед, мы возвращаемся к биологии и смотрим, как нужно укладывать кусочки (а это не так уж просто).

Читая вашу книгу, я задумался о том, как работает мой собственный мозг, и понял, что когда речь заходит о взаимосвязи объектов друг с другом, я не столько делаю предсказания, сколько пользуюсь воспоминаниями, которые хранятся в моей памяти…

- Но это тоже предсказание! По большому счету, это вопрос семантики. Хотя, конечно, момент скользкий, даже для разработчиков ИИ. Вы смотрите на это со своей колокольни, но подумайте о том, как воспринимает информацию ваш мозг. Каждый внешний сигнал, каждый сигнал от органов чувств для него уникален. Возможно, вы воспринимаете этот сигнал как нечто уже знакомое, но для мозга каждый раз это совершенно новый опыт. Да, вы запоминаете взаимосвязи, но как выбрать верную взаимосвязь, которая вам нужна? Возьмем для примера письмо на бумаге. Вам этот процесс кажется монотонным, но для мозга это всякий раз новое переживание. Вы ведете руку, ожидая, что за пером останется след, и не воспринимаете это ожидание как предсказание, однако для мозга все обстоит иначе. Вы знаете, что так бывает всегда. Но мозг в этом отнюдь не уверен.

В седьмой главе вы говорите, что одно из главных отличий человека от других млекопитающих - наличие языка как средства передачи информации. Но как же быть тогда, скажем, с дельфинами (которых вы, кстати, тоже в книге упоминаете) - ведь у них есть своя довольно сложная система речевой коммуникации.

- Верно, есть. Но по сложности она и близко не стоит к человеческому языку. Конечно, у многих развитых видов млекопитающих есть речевые системы, но в определенном смысле они очень примитивны. Я упомянул в книге дельфинов, потому что считаю, что их мозг практически так же сложен, как и человеческий. Дельфины понимают свой мир так же хорошо, как мы, люди, свой. У них прекрасная память на "лица", они хорошо запоминают маршруты, хорошо обучаются и т. п. Но между мозгом человека и других млекопитающих есть существенная биологическая разница, которая оказывает заметное влияние на наше поведение. В человеческом неокортексе гораздо сильнее развиты области, связанные с моторной сенсорикой, - это физиологический факт. Поэтому тот же дельфин, прекрасно ориентирующийся в своем мире, не способен на такую вариативность поведения, как мы с вами. Кое-что дельфины, конечно, могут, но не очень много.

Например, они поют, но у дельфиньих песен больше общего с трелями певчих птиц, нежели с человеческой музыкой, потому что эти песни не генерируются каждый раз заново неокортексом, за них у дельфинов отвечают другие, более древние части мозга. Дельфины могут петь друг другу, но это не то же самое, что мы считаем речью.

Животные в отличие от человека рождаются с неким врожденным знанием "языка", но их "язык" очень ограничен. Зато мы умеем передавать друг другу полученные от мира знания с помощью языка. Вот мы с вами сейчас находимся в тысячах километрах друг от друга, говорим на разных языках, но я могу рассказать вам о своих идеях, и вы меня поймете.

Вы сделали в книге несколько предсказаний. С момента ее публикации прошел год. Что-то уже подтвердилось или, может быть, вы в чем-то ошиблись?

- Вы сами сказали, что прошел лишь год - совсем небольшой срок для исследований в этой области. На эксперименты здесь обычно требуется три-четыре года.

Знакомые ученые держат меня в курсе происходящего. В основном научные находки не вступают в противоречие с моей теорией, хотя я не сказал бы, что они как-то подтверждают мои предсказания или вообще являются экспериментальной проверкой моих предположений. На это просто нужно больше времени.

Вы не разочарованы отсутствием новостей?

- О нет, я же знал, во что ввязываюсь. Я неплохо понимаю, как устроена наука, я знаком со многими учеными и не могу сказать, что происходит что-то неожиданное. На проверку моих предположений ученым нужны годы, так что удивляться нечему - я с самого начала знал, что так будет. Академические исследования - особенно когда дело касается такой сложной области, как изучение человеческого мозга, - это, прежде всего, кропотливый и неторопливый труд. Так что я не разочарован. Наоборот - я приятно удивлен тем, как моя теория принята научным сообществом.

Об институте

Давайте поговорим о другом вашем детище, Редвудском нейроинституте (RNI). Он был образован в августе 2002 года, верно?
(Неуверенно.) - Думаю, да. Дело в том, что работать над его образованием мы начали немного раньше, поэтому с моей точки зрения он был образован в феврале.

Если можно, в двух словах, чего добился RNI за это время?

- Недавно институт вошел в состав университета Беркли, поэтому я уже не занимаюсь им напрямую. Но широкой общественности он известен в основном благодаря моей книге - из-за оборотов типа "когда я был в Редвуде", "и тут в Редвуде" и т. п.

Уникальность RNI в том, что это единственное научное заведение, работающее только над изучением новой коры головного мозга, неокортекса. За его недолгую историю у нас побывали почти все ведущие исследователи в этой области. Причем зачастую инициатива исходила именно от них - "могу ли я приехать?", "я бы хотел посетить…", "было бы интересно пообщаться" и т. д. Потому что в RNI совершенно особенная атмосфера. Он очень маленький - на постоянной основе у нас работает 15–20 человек, и буквально каждую неделю приезжают гости. В общем, главное достижение института в том, что он заслужил уважение научного сообщества.

Я вам больше скажу. Так как с лета прошлого года RNI входит в состав Беркли, то многие из тех, кто прочел мою книгу и заинтересовался этими исследованиями, решили поступать именно в Беркли, ведь оттуда и до RNI недалеко. Так что у института очень неплохие шансы и дальше оставаться влиятельным исследовательским центром.

Не кажется ли вам, что вхождение RNI в состав Беркли может замедлить работу над вашей теорией из-за сопротивления академических кругов?

- Посмотрим. Хотя я бы не сказал, что работы RNI и, в частности, моя теория выходят за рамки академической науки. Одно время я немного волновался по этому поводу, но меня довольно быстро успокоили: мол, что ты переживаешь, твоя теория - самый настоящий мэйнстрим.

Переход RNI под крыло Беркли позволил мне освободить время для работы в Numenta. И, кстати, то, что переход вообще оказался возможен, лишний раз свидетельствует о том, что научное сообщество высоко оценивает работу RNI. Мои изыскания не выходят за рамки академической науки, просто для усвоения новой теории университетами нужно время.

Собственно, поэтому и была создана Numenta. В науке все делается довольно медленно. Требуется время для того, чтобы люди ознакомились с твоей теорией, привыкли к ней, проверили ее, а потом согласились с твоей правотой. В бизнесе все происходит быстрее. Когда люди узнают, что на чем-то можно сделать деньги, они почему-то становятся более энергичными. И в Numenta мы пытаемся создать впечатляющие приложения и показать людям, что они могут зарабатывать или строить карьеру с помощью наших технологий. И, возможно, это способствует более быстрому развитию технологии, чем было бы возможно в академической среде.

О компании

Вы утверждаете, что современная компьютерная архитектура непригодна для создания разумных машин. Однако в то же время вы являетесь сторонником функционализма, и вам, по идее, должно быть все равно, как устроена машина, если на выходе она дает нужный результат. Нет ли здесь противоречия? И можно ли все же использовать современные компьютеры для построения систем ИИ?

- Прошу прощения, если кого-то запутал. Я пытался сказать, что современный "компьютерный" подход к проблеме ИИ бесперспективен, это тупик. Если вы понимаете, как устроен неокортекс, то, конечно, можете эмулировать его с помощью современного железа и специального ПО. Но разработчики систем ИИ, как правило, поступают иначе. Так, говорят они, что тут у нас, компьютерное зрение? Ну давайте-ка сейчас сядем и быстренько запрограммируем это дело с помощью наших алгоритмов[Говорят, Марвин Мински когда-то обещал расправиться с системой компьютерного зрения за одно лето. Лето, как видим, несколько затянулось].

Мы в Numenta сейчас занимаемся проблемой распознавания образов. И вполне успешно. И мы используем стандартное железо, но вместо того, чтобы изобретать алгоритмы компьютерного зрения, мы построили модель запоминающего устройства коры головного мозга. Построенная нами система действительно работает, и я уже демонстрировал наши результаты в нескольких университетах.

Таким образом, за последний год в работе Numenta есть очевидный прогресс?

- Более чем. Я ведь пришел к идее решения проблемы ИИ со стороны биологии. Но когда я писал книгу, у меня еще не было понимания, как это все устроено математически. Я описывал некие структуры, но ничего не говорил о том, как их воссоздать, поскольку в тот момент и сам еще не знал, как это сделать. Но после того как книга была завершена, я и сооснователь Numenta Дилип Джордж (Dileep George; www.stanford.edu/~dil) разработали соответствующие математические модели и доказали их работоспособность. А затем мы основали компанию, чтобы привлечь к нашим разработкам как можно больше людей.

Доказали их работоспособность? Можно чуть поконкретнее?

- Пожалуйста. На сегодняшний день не существует ни одного алгоритма, ни одной системы, которые бы умели опознавать объекты. Вы не можете показать компьютеру картинку и "услышать" в ответ, что на ней изображено. Никто даже близко не подошел к решению этой проблемы.

Что сделали мы? На основе принципов, описанных в моей книге, и математического аппарата, который мы разработали после ее выхода, мы создали систему, научившуюся после определенной тренировки распознавать небольшие - 32х32 пиксела - изображения. Сейчас она умеет распознавать около восьмидесяти разных объектов. У этой системы пока нет практического применения - в конце концов, 32 пиксела это не очень-то много, - но любым другим способом задачу компьютерного зрения до последнего времени решить не удавалось (к тому же она довольно легко масштабируется). Люди, которые видели нашу систему в работе, вообще не могли понять, как мы это сделали.

Собственно, масштабируемость подобных решений и есть одна из задач Numenta. Мы работаем над инструментарием, который позволит создавать большие, хорошо масштабируемые практические приложения на базе технологии иерархической временной памяти (Hierarchical Temporal Memory, HTM). В центре нашего внимания находится инструментарий общего назначения, однако систему компьютерного зрения мы тоже совершенствуем, поскольку это хорошая демонстрация возможностей нашего подхода. Это не единственный тест, проведенный нами для проверки собственной правоты, но он очень эффектен и прекрасно работает.

А когда ожидаются практические приложения?

- Возможно, уже в нынешнем году. Сейчас в компании около десяти человек, а работа сделана процентов на 60–70. Конечно, мы не знаем, с какими проблемами еще придется столкнуться, поэтому точную дату выхода какого-то продукта я не назову. Но уже с февраля мы начинаем работать с несколькими исследовательскими лабораториями. Примерно в то же время к работе подключатся и наши бизнес-партнеры, которые будут создавать на базе нашей технологии собственные системы. Поэтому есть надежда, что о первых результатах вы услышите еще до конца года.

Стало быть, систему распознавания образов вы оставляете за собой?

- Да. Наш инструментарий очень гибок, поэтому партнеры будут применять его для решения собственных задач - например, для обработки информации или создания финансовых приложений. Мы же сосредоточимся на проблеме компьютерного зрения и еще паре направлений.

На чем сейчас работает софтверная модель, построенная в Numenta?

- Изначально она написана для работы в UNIX/Linux-окружении. Что касается железа - это система с большим объемом памяти, чтобы мы могли отобразить в памяти как можно больше неокортекса. Первая версия была рассчитана на однопроцессорные конфигурации, и я даже запускал систему компьютерного зрения на своем Маке. Но очевидно, что для практических приложений нужны системы помощнее, поэтому мы разрабатываем мультипроцессорную версию. А идеальное железо в нашем представлении - это многопроцессорная стойка с серверами.

В общем, об искусственном интеллекте на мобильных устройствах можно пока не думать?

- Хороший вопрос! Что касается КПК, то вряд ли в ближайшие четыре года мы увидим какие-то системы ИИ для мобильных компьютеров.

Хотя полностью исключать появление узкоспециализированных мобильных приложений тоже нельзя - удалось же нам запустить (пусть примитивную, но работающую!) систему распознавания образов на однопроцессорном Маке с весьма ограниченным, по нашим меркам, объемом ОЗУ. Да и кто, в конце концов, может предсказать будущее? Посмотрите, как быстро нарастали компьютерные мощности - кто десять лет назад мог сказать, что это произойдет?

Есть ли другие компании, работающие на этом же поле?

- В общем-то нет. Конечно, с кем-то мы пересекаемся, но это несущественные пересечения. Например, наше математическое представление во многом построено на байесовских сетях. В этой области работает немало компаний, включая исследовательские лаборатории Microsoft. Однако их разработки от наших довольно далеки.

Можно сказать, что мы не знаем никого, кто понимал бы все, что понимаем мы. Так что никакой конкуренции пока не ощущается. Это слишком новое направление. Дело не столько в сложности самой теории - в ней как раз ничего сложного нет, - сколько в том, что у многих еще руки до нее не дошли. В ближайшие несколько лет, думаю, интерес к этой теории вырастет, а значит, и конкуренты появятся.
Долгосрочная цель Numenta - максимальное распространение наших технологий. Поэтому мы строим платформу общего назначения, инструментарий для создания конкретных приложений. Кроме того, мы документируем как саму технологию, так и математический аппарат, на котором она построена. И надеюсь, что через несколько лет с этой платформой будут работать тысячи людей. Мы собираемся сделать инструментарий доступным для исследователей, которые смогут брать наш код и экспериментировать с ним.

Если говорить о деньгах, то наш бизнес можно назвать продажей лицензий. Мы будем продавать наши разработки, чтобы на их основе партнеры могли создавать полезные и интересные приложения. Но главная наша задача - дальнейшее развитие самой технологии, поэтому мы стараемся сформировать сообщество людей, которые могли бы улучшить нашу платформу.

Немного похоже на Linux…

- Лучше давайте вспомним, как все было устроено полвека назад. Люди начали делать первые цифровые компьютеры. Эти медлительные громадины создавались усилиями многих людей. Мы сейчас в похожей ситуации - у нас есть понимание неких общих принципов, однако нам предстоит справиться с множеством назойливых мелочей.

Рано или поздно потребуется новое железо, новые чипы памяти (наша система очень требовательна к ней). Конечно, мы можем использовать обычную компьютерную память - и вынуждены сегодня поступать именно так, - но это не самое эффективное решение. То же касается и процессоров. Поэтому нам потребуются не только ученые или программисты, но и производители микросхем.

Если вам кажется, что наша модель работы похожа на Linux, - пускай. Но я думаю, что происходящее гораздо больше напоминает создание первых компьютеров. Мы создаем новый тип компьютера - пока на том железе, что нам доступно, а со временем - на том, которые мы построим.

- Из журнала "Компьютерра"