Кивино гнездо: Пока не поздно

Убийства людей с помощью роботов-киллеров происходят уже многие годы. Но только теперь начинают звучать призывы к тому, чтобы задуматься о последствиях подобных действий.

Вечером 19 апреля 2011 года, в 20 часов 11 минут разработанная военными система искусственного интеллекта, известная под названием Skynet, спонтанно обрела самосознание. По естественным законам военной эволюции первым же самостоятельным решением суперинтеллекта стало уничтожение своих создателей, то есть людей – как наиболее очевидного препятствия для установления тотального господства над миром. Поэтому ещё примерно через 48 часов, 21 апреля 2011 года, для человечества наступил "Судный день": термоядерные удары по важнейшим объектам и городам планеты с последующим нашествием роботов-убийц, безжалостно уничтожающих всех, кто ещё остался в живых...

Этот апокалипсический сценарий, прекрасно знакомый, конечно же, всем поклонникам популярной франшизы Terminator, в массовом сознании обычно воспринимается примерно на том же уровне, что и прочая развлекательная фантастика – типа "Назад в будущее" или "День независимости". Однако для тех людей, которые близко знакомы со стремительными темпами развития военных роботов и с реальными масштабами их применения в сегодняшних войнах, сценарий "Терминатора" уже вовсе не кажется досужей выдумкой киношников.

Скорее всего, это чисто случайное совпадение, но именно в апреле 2011 года – в год и месяц "Судного дня" – аналитический центр DCDC министерства обороны Великобритании опубликовал свой большой исследовательский отчёт о применении роботов на войне. Строго говоря, это далеко не первое исследование подобного рода. Но именно в нынешнем документе впервые, похоже, для подобного уровня обсуждений абсолютно всерьёз поднимаются очень непростые вопросы о морально-этических проблемах, порождаемых вместе с тем, как убийство людей методично превращается политиками, спецслужбами и военными просто ещё в одну функцию роботизированных машин.

Полное название отчёта звучит так: "Подход Великобритании к беспилотным военно-воздушным системам" (The UK Approach to Unmanned Aircraft Systems). Хотя ныне роботы – или дроны, как их предпочитают называть военные, – весьма широко применяются уже во всех родах войск, сфокусированность документа на летающих машинах вызвана, скорее всего, тем, что именно быстрорастущие масштабы применения беспилотных самолётов-дронов в боевых операциях поднимают гигантские проблемы морального и юридического плана. Более того, как показывают авторы отчёта, данная тенденция всерьёз угрожает сделать войны наиболее вероятным исходом политических конфликтов.

Хотя вооружённые силы Великобритании заведомо уступают США по численности своих боевых роботов, вполне очевидно, что британское военно-политическое руководство увлечено этой идеей ничуть не меньше американского. В декабре 2010 года премьер-министр Дэвид Кэмерон не без гордости сообщил, что за период с июня 2008 года британские дроны уничтожили в Афганистане сто двадцать четыре повстанца. Попутно смертоносные авиароботы в его речи превозносились как "классический пример современного оружия, необходимого для сегодняшних войн". Точности ради следует отметить, что "британские" боевые дроны Reaper производятся в США, управляются операторами британских ВВС с американской базы в штате Невада и к настоящему времени, по официальным данным, произвели в Афганистане в общей сложности 167 выстрелов ракетами и бомбами.

Авиаудары дронов Predator и Reaper, принадлежащих США, исчисляются уже несколькими сотнями в год и регулярно наносятся, как хорошо известно, по противникам Америки не только в Афганистане или Ираке, но также в Пакистане и Йемене. Иначе говоря, в тех странах, где официально американцы вообще не ведут никаких войн и которые считаются военно-политическими союзниками США. Поэтому вряд ли кого-то удивило, когда несколько недель назад власти Пакистана потребовали, чтобы США прекратили свои удары авиадронами, а ЦРУ радикально сократило штат своих сотрудников в этой стране.

Как сообщается в комментариях к нынешнему исследованию о военных дронах, оно было сделано по заказу руководства британских вооружённых сил. И наверняка не случайно совпадает по времени как с нарастающими дебатами вокруг применения дронов в Афганистане, так и с явно растущим гневом пакистанцев по поводу атак дронов ЦРУ против предполагаемых мятежников в приграничных районах Пакистана.

В аналитическом документе отмечается, что "интенсивное в последние годы использование беспилотных боевых самолётов над Пакистаном и Йеменом, возможно, уже возвещает начало новой эры". В то же время становящиеся целью дронов повстанцы "выигрывают всякий раз, когда допускаются ошибки" в применении роботов. А это позволяет им представлять себя "в роли преследуемых изгоев, а западные страны – как задиристых трусов, которые не хотят рисковать своими собственными людьми, но с удовольствием убивают дистанционно".

Подробно разбирая применение дронов-киллеров в Афганистане, отчёт уверенно прогнозирует, что "накал эмоций, скорее всего, будет возрастать по мере того, как оснащённые боевым оружием системы обретают всё большую и большую автономность". По этой причине, считают авторы документа, явно пришла пора заняться и непростыми вопросами о морально-этических аспектах в использовании дронов.

Например, популярная ныне концепция "ведения войн без покидания казармы" или "дистанционно сражающихся бойцов" поднимает такого рода вопросы: "Оператор, управляющий смертоносным дроном, зачастую сопровождает миссию из офиса, расположенного за тысячи миль от зоны военных действий, и практически ничем не отличается от прочих людей, мирно гуляющих по улицам своего городка после рабочей смены. Так вот, можно ли этого человека считать настоящим бойцом и объектом законной военной атаки со стороны неприятеля?"

"Полностью ли мы понимаем те психологические эффекты, что воздействуют на сознание операторов, дистанционно ведущих войну с совершенно безопасного для них расстояния?" – спрашивается в документе. Ведь под войной и неизбежно сопряжёнными с ней потерями человеческих жизней всегда понималось нечто совершенно иное. В современной этике, отмечают авторы, имеется целое направление, где предполагается, что для того, чтобы война была морально оправданной – в отличие от просто юридически законной, – "она должна увязывать убийство врагов с элементом самопожертвования человека или, по крайней мере, с риском для собственной жизни".

Особое беспокойство должно вызывать очевидное и всё более сильное размытие роли человека в убийствах и той ответственности, которую должен нести всякий человек за преступное лишение жизни других людей. Совершенно справедливо задаются вопросы такого рода: "Какова же оказывается роль человека с моральной и этической точек зрения в случае применения автоматических систем убийства? Для автономной системы робота школьный автобус и танк - это, в сущности, одно и то же, просто элементы алгоритма в программе... У робота нет ощущения крайности, допустимости доступных способов и средств, нет необходимости знать, почему он нацелен на уничтожение того или иного объекта..."

Как подчёркивается в отчёте, министерство обороны Великобритании "в настоящее время не имеет никаких намерений разрабатывать такие робосистемы, которые работали бы вообще без человеческого вмешательства в цепи управления боевым оружием". Но также как факт констатируется и то, что британское МО (как и американский Пентагон) всячески стремится к разработке всё более и более сложных "автоматизированных" вооружений.

Но было бы совершенно неверным считать, что авторы документа против этой тенденции или пытаются её переломить. В отчёте развёрнуто представлены всё преимущества беспилотных боевых систем – такие, к примеру, как предотвращение потенциальных потерь в жизнях членов экипажа боевых машин (что уже само по себе может служить "моральным оправданием" применения роботов). Там же добавляется: "Роботы не могут быть эмоциональными, не могут ненавидеть. Роботы не могут руководствоваться в своих действиях гневом, чтобы сорваться до преступных действий, вроде резни в Май Лаи (устроенной солдатами США над сотнями безоружных гражданских в Южном Вьетнаме в мае 1968)".

Опираясь на такого рода логику, отчёт констатирует, что "в теории, по крайней мере, автономность боевых роботов должна обеспечивать более этичные и законные военные действия". Однако на практике, как известно, всё складывается зачастую совсем иначе, нежели представляется теоретикам. Тем более что пока совершенно неясно, кто именно должен нести ответственность, если с дронами-киллерами что-то пойдёт сильно не так: "Является ли, скажем, программист системы виновным в военном преступлении, если системная ошибка приведёт в итоге к незаконным действиям и массовым убийствам? И если да, то где тут намерение, требующееся для того, чтобы несчастный случай трактовался как преступление?"

Наверное, это даже естественно, что авторы отчёта в своих попытках всестороннего анализа проблем, связанных с применением боевых роботов, не смогли удержаться и от предупреждения об очевидных уже опасностях "нарастающего и непреднамеренного сползания к реальности в духе фильмов о Терминаторе". Как говорится в этом документе, динамика технологического развития боевых роботов ускоряется такими темпами, что Великобритании уже явно пора быстро сформировать чёткую и внятную политику относительно того, что составляет "приемлемое поведение машины".

Наиболее сильная цитата на данный счёт выглядит примерно так: "Сущностно необходимо, чтобы до того, как неуправляемые человеком системы станут повсеместно распространёнными (если это уже не слишком поздно), мы обеспечили следующее: заведомо удалив наиболее ужасные из вероятных вещей или, по крайней мере, удерживая их на безопасном расстоянии, мы не подвергали рискам человеческий контроль и не делали войну наиболее вероятным исходом..."

Дополнительные фактические материалы к теме о дронах в вооружённых силах можно найти в материале "Роботы на войне".