Троянское обучение в информационных технологиях

"Способность учиться быстрее своих конкурентов является единственным надежным источником превосходства над ними".

"Способность учиться быстрее своих конкурентов является единственным надежным источником превосходства над ними". Эта мысль Ари де Гиуса (Arie de Geus), бывшего регионального управляющего компании Royal Dutch/Shell, председателя Англо-Голландской торговой палаты развивает знаменитое бэконовское высказывание "Знание - сила" и быстро покоряет мир.

Общий закон конкуренции состоит в том, что конкурентных преимуществ можно достигать двумя путями:

а) усиливая свой собственный потенциал;
б) ослабляя соперника.

Если способность к обучению становится критически важной в конкурентной борьбе, начинается реализация обоих путей - безотносительно к тому, что в учебниках педагогики обучение рассматривается как деятельность, направленная на всеобщее благо, а тот же Ари де Гиус пишет лишь о важности способностей учиться, а вовсе не способностей мешать это делать другим. (Простим ему этот романтический идеализм, так свойственный управляющим нефтяными компаниями.)

Но давайте обратим внимание на обратную сторону конкурентной борьбы в обучении и на тех, кто убежден, что способность тормозить обучение конкурентов или же направлять его не туда, куда надо, - тоже вполне надежный источник превосходства над ними. Рассмотрим проблему противодействия обучению соперников, причем в двух сферах: а) взаимодействия людей - участников конкурентной борьбы в области информационных технологий; б) взаимодействия систем искусственного интеллекта.

Жизнь человеческая

Наблюдения и специально проводимые исследования показывают: в реальной жизни случаи противодействия обучению конкурента встречаются в самых разных возрастных, социальных, профессиональных группах - важно, чтобы в их деятельности была конкуренция, ощущаемая участниками как значимая с той или иной точки зрения. Даже дети могут учить новичков заведомо проигрышным стратегиям игры, чтобы выигрывать самим; профессионалы - преднамеренно давать другим неправильные или невыгодные советы, рецепты, инструкции и т. д. Приведем некоторые примеры.

В фирме, занимающейся изготовлением и продажей телекоммуникационного оборудования, руководитель отдела по работе с клиентами, ответственный в том числе за их обучение обращению с этой сложной техникой, получил следующую инструкцию от директора фирмы. Директор сказал, что к ним под видом клиентов могут обращаться конкуренты - для выведывания секретов. Поэтому учить всех приходящих надо так, чтобы они ничему существенному не научились (кроме нажимания кнопок на внешней панели). В случае проблем клиент всегда может обратиться в саму фирму, где все и будет налажено. Этот пример интересен тем, что здесь один человек учит другого (нижестоящего учителя), как тому не учить своих учеников. Тем самым нижестоящий учитель ставится в сложное положение, способное вызвать внутриличностный конфликт.

В вышеприведенном случае противодействие обучению вызвано соображениями секретности и подчиняется принципу: тот, кто выступает в роли обучаемого, "должен знать и уметь только то, что ему положено знать и уметь - лишние знания и умения недопустимы (вредны)".[Малюк А. А., Погожин Н. С., Толстой А. И. Обучение вопросам компьютерной безопасности специалистов-профессионалов и персонала, связанного с противодействием компьютерным атакам. Доклад на российско-американском семинаре по проблемам компьютерного терроризма. 18 марта 2003 г., Президиум РАН, Москва.] Такого дидактического принципа не найти в традиционных учебниках педагогики, где вопрос недопущения учащегося к знаниям показался бы нонсенсом!

Однако в реальном бизнесе при слиянии фирм в альянсы одна из них может специально играть роль так называемого троянского коня, чтобы в период нахождения в альянсе, в процессе скрытого или явного обучения другой фирмой - членом альянса, получить у той скрываемую технологическую и иную информацию. После чего разорвать альянс и выйти на рынок более конкурентоспособной. В свою очередь, другая фирма, закономерно предполагая возможность и такого варианта развития событий, принимает меры защиты от этого несанкционированного ею приобретения знаний членом альянса.[Гарретт Б., Дюссож П. Стратегические альянсы. - М.: ИНФРА-М, 2002. Dussauge P., Garrette B., Mitchell W. Learning from competing partners: outcomes and durations of scale and link alliances in Europe, North America and Asia // Strategic management journal. 2000. V. 21. P. 99–126.] Это одна из сторон управления знаниями в конкурентной борьбе.

Троянское обучение

Особый интерес представляет скрытое обучение другого субъекта тому, что для него невыгодно, вредно, опасно, но соответствует интересам организатора обучения. Для описания и анализа этого явления в 2002 году я ввел понятие "троянское обучение" и "троянские обучающие технологии"[Поддьяков А.Н. Ориентировочная и дезориентирующая основы деятельности: иерархии целей обучения в конфликтующих системах // Вопросы психологии. 2002. № 5. С. 79-8 Поддьяков А.Н. Противодействие обучению конкурента и "троянское" обучение в экономическом поведении // Психология. Журнал Высшей школы экономики. 2004. №3. С. 65-82. Poddiakov A. "Trojan horse" teaching in economic behavior // Social Science Research Network, 2004.] (образовано на основе метафоры "троянского коня"). Приведу примеры этого феномена из разных областей.

Даже в сказках, этих общекультурных формах накопления и передачи значимого социального опыта, которые усваиваются с раннего детства, широко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби; Братец Кролик учит Братца Лиса, как вести себя покойнику при появлении соболезнующих друзей, и т. д. Тем проще повзрослевшим людям в зрелом возрасте пойти этим же путем…

Особенно уязвимым для троянского обучения оказывается удаленное обучение. Ведь здесь разные участники образовательного процесса получают намного более широкие возможности для скрытого вторжения в учебный процесс конкурента, искажения или подмены учебного материала и т. п. Наиболее яркие примеры можно найти в областях, связанных с интернет-обучением военным видам деятельности.

Сотрудница Контртеррористического института Я. Шахар подчеркивает: "Нам очень важно знать, чему они [террористы. - А.П.] учат друг друга. В форумах, на сайтах мы видим оружие, которое они предпочитают… В таких случаях мы можем вмешаться в дискуссию и сказать: нет, это неэффективно, лучше попробуйте вот это. Это же открытый университет - что-то вроде Википедии. Можно подсказать им идею глушителя, но такого, что размер слишком мал. И предложить испытать его со студентами, посмотреть, как он работает. То же со взрывчаткой: легко придумать новые варианты состава, выложить на сайт открытого университета - и на следующий день посмотреть, у кого не хватает пальцев на руках".[Левкович-Маслюк Л. Инструктаж // Компьютерра. #693-694.]

Таким образом, можно видеть, что технологии противодействия обучению соперников и троянского обучения развиваются в тесной связи с развитием технологий, стимулирующих обучение.

В целом можно утверждать, что цивилизация развивается под влиянием двух противоположных и взаимосвязанных направлений социальных воздействий: а) стимулирования обучения и развития интеллекта; б) противодействия им. Безусловно, это в первую очередь относится к обществу знаний - в нем удар по способности учиться, по процессам обучения и овладения новыми видами деятельности является одним из самых эффективных способов сделать конкурента несостоятельным в стремительно меняющемся мире [Поддьяков А.Н. Психология конкуренции в обучении. - М.: Изд. дом ГУ-ВШЭ, 2006. ]

Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.

Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.

Обучение и системы искусственного интеллекта

Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.

Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:

а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);

б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.

Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.

Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.

Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.

Поэтому я обратился с вопросом к разработчикам антиспамовой защиты Яндекса, опубликовавшим статью "Принципы и технические методы работы с незапрашиваемой корреспонденцией", - И. Сегаловичу, Д. Тейблюму, А. Дилевскому, а также разработчику языков программирования и компьютерных программ различного назначения, в том числе антиспамовых фильтров, писателю и художнику Полу Грэму (очень рекомендую его статью "Хакеры и художники"). Я спросил, считают ли они, основываясь на своем опыте, что возможными направлениями развития искусственного интеллекта может стать разработка систем: а) противодействующих обучению других систем искусственного интеллекта; б) обучающихся в условиях противодействия. От российских авторов я не получил отклика (возможно, из-за надежной работы антиспамовых фильтров Яндекса). Грэм ответил утвердительно на обе части вопроса и подчеркнул: спамовые фильтры сейчас разрабатываются так, чтобы в процессе обучения их было трудно обмануть, и в целом в большинстве областей искусственного интеллекта решения будут такими, чтобы избежать обмана.

Управление обучаемостью

Подчеркнем, что речь идет именно об управлении обучаемостью, а не об управлении обучением. Ведь пытаться управлять обучением человека (интеллектуальной системы, программного агента) как процессом приобретения им тех или иных знаний, умений, навыков можно и не прибегая к изменению его обучаемости. Многие виды животных целенаправленно учат своих детенышей. Но нет никаких данных, что они целенаправленно управляют их обучаемостью - хотя стихийно, вероятно, влияют на нее.

Целенаправленная разработка и реализация программ повышения обучаемости "учись учиться" - это прерогатива человека и, возможно, созданных им искусственных систем.

Для того чтобы поставить задачу повышения обучаемости одних субъектов (программных агентов и т. д.) и понижения обучаемости других, необходимо иметь достаточно развитую теорию обучения, которая постулирует изменчивость обучаемости[Не всякая теория обучения постулирует изменчивость обучаемости. Обучаемость может пониматься и как неизменное качество на протяжении существования субъекта, например, в силу жесткой генетической детерминации.], описывает факторы, влияющие на нее, а также содержит еще один принципиально важный компонент. Это представления об особенностях обучаемости и интеллекта именно того объекта (человека, социальной группы, технической системы), на который направлены позитивные или негативные обучающие воздействия.

Припомним здесь снова две сказки: в одной лиса учит волка, как ловить рыбу на собственный хвост в проруби, а в другой баба-яга учит Иванушку садиться на лопату, намереваясь отправить его в печь.

Результаты, как известно, оказались противоположными для организаторов обучения. Волк, как и хотела лиса, примерз к проруби, лишился хвоста и еле ноги унес от разъяренных селян, сама же она осталась при барышах. А у бабы-яги, в отличие от лисы, дела сложились не так хорошо. Эта "организаторша обучения" погорела в прямом и переносном смысле на том, что Иванушка, всячески подчеркивая свою крайне низкую обучаемость, попросил ее продемонстрировать лично, как же надо садиться на лопату.

В обоих случаях в выигрыше оказался тот, кто лучше представлял себе, что делается в голове у другого: каков его интеллект и на что его можно спровоцировать, в том числе (или даже - прежде всего) в процессе обучения.

Для анализа сказочных, а также вполне реальных ситуаций такого рода больше всего подходит понятие рефлексивного управления соперником и понятие "формирование доктрины противника посредством его обучения", которые отечественный психолог и математик Владимир Александрович Лефевр ввел сорок лет назад в своей теории конфликтующих структур [Лефевр В. А. Конфликтующие структуры. - М.: Ин-т психологии РАН, 2000]. (В 1974 году он эмигрировал в США и ныне работает в Институте математических наук о поведении - Institute for Mathematical Behavioral Sciences, Университет Калифорнии.)

Рефлексия в его теории понимается как размышления о мышлении другого человека. Глубина рефлексии, или ее ранг, определяется длиной цепочки рассуждений: "Я думаю, что ты думаешь, что он подумал..." и т. д. В антагонистических играх рефлексия может способствовать успеху более продвинутого игрока, ломая при этом объективно имевшиеся отношения превосходства и переворачивая казавшуюся незыблемой иерархию. Можно ожидать, что и в троянском обучении, и в защите от него более успешными тоже будут те интеллектуальные системы, в которые встроена рефлексивная способность - способность разбираться в чужом устройстве обучаемости.

В заключение подчеркнем следующее. Разработка конкурентных сред, в которых конкуренция агентов за более высокие уровни обучаемости является одной из ключевых характеристик среды, может стать важным направлением практической и исследовательской деятельности. Цель может состоять в разработке конкурентных сред, позволяющих генерировать и отбирать интеллектуальных агентов с оптимальными способностями к обучению.

Отчего же с оптимальными, а не максимальными? Это отдельная история.