Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Мы специалисты!

При любом обсуждении технологического риска лагерь сторонников технологии выдвигает аргумент, что все страхи из-за рисков вызываются невежеством. Например, вот что утверждает Орен Эциони, исполнительный директор Института изучения ИИ им. Аллена, видный исследователь в области машинного обучения и понимания естественного языка[211]:

В Popular Science вышла статья «Билл Гейтс боится ИИ, но исследователи ИИ осведомлены лучше»[212]:

Этот вывод опирался на опрос четверых человек, причем все они в действительности сказали в интервью, что тема безопасности ИИ в долгосрочной перспективе является важной.

Дэвид Кенни, в то время вице-президент IBM, обратился к Конгрессу США с письмом в духе, очень близком Popular Science, со следующими успокоительными словами[213]:

Во всех трех случаях послание одно и то же: «Не слушайте их, специалисты — мы». Что ж, можно заметить, что это аргумент с переходом на личности, попытка опровергнуть чужое послание, обесценив его автора, но даже если принять этот аргумент за чистую монету, он все равно ничего не доказывает. Илон Маск, Стивен Хокинг и Билл Гейтс, безусловно, очень хорошо владеют научным и технологическим мышлением, а Маск и Гейтс еще и руководили и финансировали многие проекты исследования ИИ. Было бы еще менее обоснованно утверждать, что Алан Тьюринг, И. Дж. Гуд, Норберт Винер и Марвин Минский были не подготовлены обсуждать ИИ. Наконец, запись в вышеупомянутом блоге Скотта Александера, озаглавленная «Исследователи ИИ о риске, который несет ИИ», отмечает, что «исследователи ИИ, в том числе некоторые лидеры этого направления, с самого начала играли ключевую роль в постановке вопроса о рисках ИИ и сверхинтеллектуальности». Он перечисляет еще несколько ученых, а сегодня этот список значительно длиннее.

Другой стандартный риторический ход «защитников ИИ» — представлять своих противников новыми луддитами. Упоминание Орена Эциони о «ткачах, швыряющих свои башмаки в механические ткацкие станки» как раз из этой оперы. Луддиты — это ремесленники-ткачи, протестовавшие в начале XIX в. против внедрения машин, заменивших их квалифицированный труд. В 2015 г. Фонд содействия развитию информационной технологии и инноваций вручил свою ежегодную Премию луддитов «алармистам, предрекающим апокалипсис из-за искусственного интеллекта». Что за странное представление о «луддитах», включая Тьюринга, Винера, Минского, Маска и Гейтса, входящих в число самых видных участников технологического прогресса XX и XXI вв.!

Обличение новых луддитов свидетельствует о непонимании природы опасений и цели высказывания этих опасений. Это все равно что называть луддитами инженеров-ядерщиков, указывающих на необходимость контроля реакции синтеза. Как и в случае странного феномена — исследователей ИИ, вдруг заявивших, что ИИ невозможен, — этот загадочный момент, на мой взгляд, можно объяснить все тем же синдромом «нашизма».

Некоторые комментаторы готовы признать, что риски реальны, но все-таки высказываются за то, чтобы ничего не делать. Их аргументы: ничего сделать невозможно, важно сделать что-то совершенно другое, нужно помалкивать о рисках.

Исследования невозможно контролировать

Типичный ответ на предположения, что продвинутый ИИ может быть опасен для человечества, — запретить исследования ИИ невозможно. Обратите внимание на мысленный скачок: «Ага, кто-то заговорил о рисках! Наверняка предложит запретить мое исследование!» Этот скачок может быть уместным при обсуждении рисков с опорой только на «проблему гориллы», и я склонен согласиться, что ее решение путем запрета создания сверхинтеллектуального ИИ потребовало бы наложить определенные ограничения на исследования ИИ.

Однако текущее обсуждение рисков сосредоточено не на носящей общий характер «проблеме гориллы» (пользуясь языком журналистики, противостоянии людей и сверхразума), а на «проблеме царя Мидаса» и ее вариантах. Решение «проблемы царя Мидаса» решает и «проблему гориллы» — не предотвращением появления сверхинтеллектуального ИИ и не обнаружением способа победить его, а исключением самой возможности его конфликта с людьми. Обсуждения «проблемы царя Мидаса» обычно избегают предложения свернуть исследования ИИ. Предлагается лишь уделить внимание вопросу предотвращения отрицательных последствий плохо сконструированных систем. Аналогично разговор о рисках утечки на АЭС нужно рассматривать не как попытку запретить исследования в области ядерной физики, а как предложение направить больше усилий на решение проблемы безопасности.

Имеется очень интересный исторический прецедент сворачивания научного исследования. В начале 1970-х гг. биологи начали понимать, что новые методы рекомбинации ДНК — встраивания генов одного организма в другой — могут нести существенные риски для здоровья человека и мировой экосистемы. Две конференции в калифорнийском Асиломаре в 1973 и 1975 гг. привели сначала к мораторию на подобные эксперименты, а затем к выработке детальных принципов биобезопасности с учетом рисков каждого предлагаемого эксперимента[214]. Некоторые типы опытов, например с использованием генов токсинов, были сочтены слишком опасными, чтобы их разрешить.