Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - Фрэнк Паскуале

доказательств того, что она может заниматься сложными и гибкими рассуждениями, необходимыми для применения законов и норм, в которых сохраняется хотя бы незначительная двусмысленность.

Историк Сэмюэль Мойн ставит еще более сложные моральные вопросы. Даже если предположить, что технологическое развитие военных роботов позволит определять мишени с большей точностью, понизив, таким образом, смертоносность войн, хорошо ли это? Анализируя все большее влияние принципов прав человека на коллизионное право, Мойн подмечает парадокс: война стала «гуманнее, но в то же время ее стало сложнее завершить». С точки зрения захватчиков, роботы избавляют политиков от жертв, которые могли бы породить оппозицию внутри страны[483]. Напротив, странам, подвергшимся нападению, сложнее обратиться к союзникам или глобальном сообществу и доказать, что они страдают от массовых разрушений, которые ранее, в более традиционных войнах, могли стать поводом для интервенции[484]. Война, соответственно, становится все больше похожей на международную полицейскую акцию, в которой подозреваемым дается шанс сбежать или их задержат механические силы.

Французский философ Грегуар Шамаю, основываясь на истории технологической гегемонии в условиях войны, высказывается столь же скептично. В своей книге «Теория дрона» он напоминает читателям об одной бойне: в 1898 г. 10 тыс. суданцев были уничтожены пулеметным огнем англоегипетских сил, потери которых составили всего 48 человек. Шамаю характеризует дрона как «орудие постколониального насилия, страдающего амнезией»[485]. Также он сомневается в том, может ли прогресс в области робототехники действительно привести к той точности, которую обещают сторонники роботов-убийц[486]. Гражданских постоянно убивают роботы, пилотируемые людьми, и если думать о реформе, трудно понять, что страшнее – автоматизация таких сил без истинной идентификации мишеней или создание таких компьютерных систем, которые могут следить за населением настолько внимательно, что будут оценивать угрозу, исходящую от каждого человека (и при надобности уничтожать его). Даже если предположить, что подобная технология станет более точной в определении мишеней, трудно доказать, что командующие ее закупят, будут применять или разработают справедливые принципы распознавания.

Привычный футуризм защитников дронов основан на представлении о точности, которое Шамаю неизменно критикует. Сторонники дронов говорят, что оружие – это ключ к более гуманной войне с большими возможностями различия. Но, с точки зрения Шамаю, «исключая возможность боя, дрон подрывает саму возможность четкого различения комбатантов и нонкомбатантов»[487]. Утверждение о том, что дрон способен «устранить боестолкнове-ние», может показаться преувеличением, но рассмотрим ситуацию в глубинке Йемена или Пакистана: могут ли «милитанты» оказать какое-то реальное сопротивление сотням и тысячам автоматических летающих аппаратов из США, которые патрулируют их небеса? Подобные контролируемые среды приводят к формированию некоей смеси войны и полицейской операции, в которой отсутствуют ограничения и гарантии, необходимые для легитимности той или другой. Не следует торопиться с ее легитимацией в условиях военной оккупации.

Рост ставок в соперничестве крупных держав

Несмотря на столь убедительную нормативную и этическую критику, ведущие военные теоретики крупных держав сегодня, похоже, полагают, что иного выбора, кроме как вкладываться в роботизацию военной силы, у них нет. Крупные армии готовы принять решения о разработке всевозможной автоматики, обещающей преимущество. Например, одна стратегия – развивать как оборонные виды вооружения (в частности, вкладываться в лазерное оружие, способное нейтрализовать вражеские дроны со скоростью света), так и наступательные (создавая собственные дроны, которые могут жестоко покарать за любой причиненный ущерб)[488]. Социальный теоретик Уильям Богард называет такое представление о перманентном регулярном господстве «военной мечтой» об «исчезновении войны, о войне, которая заканчивается, не успев начаться, о том, как вся ее смутность и неопределенность будет подчинена рациональному контролю»[489]. Ушли дни, когда генералы могли на людях фантазировать о полном уничтожении врага. Модель «шока и трепета» сменилась задачей напугать противника так, чтобы он подчинился еще до необходимости применить силу.

Если бы финансовый и технологический перевес был четким публичным индикатором способности армии достичь всех этих целей, Pax Robotica под управлением стран-гегемонов мог бы действительно погасить конфликты. Однако такая самонадеянность кажется необоснованной. Эксперт по конфликтам Пол Шарре предупреждает о том, что автоматизация создает возможность «миллиона ошибок в секунду»[490], допускаемых военными роботами. Сбои или взлом программного обеспечения способны разжечь войну, а не, наоборот, избежать ее. Даже в 1980-е гг. террористы – сторонники теории превосходства белых мечтали спровоцировать ядерную войну между Америкой и Россией, чтобы покончить с постепенно формирующимся мультикультурализмом и установить свой собственный режим, основанный на геноциде[491]. С точки зрения этих безумцев, уничтожение цивилизации в ядерной зиме было бы небольшой ценой, которую стоит заплатить за расовую чистоту. В более прозаическом ключе можно отметить, что рост напряженности на Ближнем Востоке, в Южно-Китайском море, Кашмире и на территории Украины предоставляет таким государствам, как США, Россия, Индия и Пакистан, немало возможностей постепенно наращивать применение систем наблюдения и вооруженных дронов в воздухе, на суше и в море.

Еще больше опасность повышается из-за обоюдоострых возможностей наступательных и оборонительных вооружений. Логика упредительной войны подыгрывает паранойе тех, кто боится утратить преимущество[492]. Машины могут быть незаметнее людей. Реагировать они тоже могут быстрее. Пилоту истребителя требуется по меньшей мере треть секунды, чтобы ответить на атаку; автоматическая система подавления огневых средств противника способна делать наблюдения, ориентироваться, принимать решение и действовать в миллионную долю секунды[493]. Роботизированные оборонные системы в принципе могут отследить и наказать всех участников атаки. Если будет доступна полная автоматизация возмездия, «всякий, кто выстрелит по нашим силам, умрет… Им придется платить своей кровью и потрохами каждый раз, когда они будут стрелять в наших людей», – сказал бывший член Командования объединенными силами ООН в Ираке[494]. Однако хакеры, проникающие в систему, могли бы спровоцировать реки крови и спираль ответных мер[495].

Автоматизация, действующая по принципу «око за око», определяет не только военный подход к террористическим действиям, но также и ответ более грозным противникам. В военной стратегии «машина Судного дня» стала предметом вожделения и в то же время насмешки. Безжалостная держава могла бы попытаться уничтожить людей, контролирующих армию соперника. Если силы соперника закодированы отвечать огнем на поражение в тот же момент, когда замечена любая атака, стратегия первого удара не может сработать. Учитывая накопившееся во всем мире смертоносное вооружение, логика ядерного сдерживания (или взаимно гарантированного уничтожения), вероятно, с еще большей убедительностью применима к автономным системам с аварийной кнопкой.

Подобная стратегия чрезвычайно опасна. Автоматизация может привести к плачевным последствиям, порождая ту самую опасность, которую она должна была предотвратить. В 1960 г. вскоре после выборов в США американская система дальнего обнаружения баллистических ракет (базирующаяся в Гренландии)