Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Будем оптимистами и предположим, что постепенно мы решим эти и другие проблемы, вытекающие из существования на Земле более чем одного человека. Достаточно альтруистичные и эгалитарные алгоритмы загружаются в роботов по всему миру. Всеобщее ликование и веселая музыка. Затем Гарриет возвращается домой…

Даже если Гарриет гордится Робби и собственным вкладом в его превращение в столь возвышенную и благородную машину, она не может не удивляться, зачем было выкладывать целое состояние, чтобы купить робота, первым важным действием которого стало исчезновение. На деле, конечно, никто не купит такого робота, следовательно, такие роботы не будут создаваться. Назовем это «проблемой Сомали». Чтобы вся схема с утилитарными роботами была работоспособной, мы должны найти решение этой проблемы. В частности, Робби должен быть в некоторой мере лоялен по отношению к Гарриет — возможно, пропорционально заплаченной Гарриет за него сумме. Если общество хочет, чтобы Робби помогал и другим людям, кроме Гарриет, оно, вероятно, должно будет компенсировать Гарриет ее потери в ситуациях, когда прибегает к помощи Робби. Весьма вероятно, что роботы будут координировать свои действия, чтобы все они разом не отбыли в Сомали, — а если бы это случилось, Робби вообще не нужно было бы уезжать. Может быть, возникнут экономические отношения совершенно нового типа, способные справиться с присутствием (очевидно, беспрецедентным) миллиардов сугубо альтруистичных агентов в мире.

Предпочтения людей далеко не исчерпываются удовольствием и пиццей. Они, бесспорно, распространяются на благополучие других. Даже Адам Смит, отец экономики, которого часто цитируют, когда нужно оправдать эгоизм, начал свою первую книгу с подчеркивания принципиальной важности заботы о других[302]:

В современной экономической терминологии забота о других обычно относится к категории альтруизма[303]. Теория альтруизма довольно хорошо разработана и оказывает существенное влияние, в том числе на налоговую политику. Следует отметить, что некоторые экономисты рассматривают альтруизм как еще одну форму эгоизма, призванную окружить дарителя «теплым сиянием»[304]. Безусловно, роботы должны быть осведомлены об этой возможности при интерпретации человеческого поведения, но на данный момент договоримся истолковывать сомнения в пользу людей и предположим, что они действительно пекутся о чужом благе.

Проще всего понять альтруизм, разделив предпочтения человека на два типа: связанные с собственным непосредственным благополучием и с благополучием других. (Наблюдаются значительные разногласия по поводу возможности четко их разделить, но я ими пренебрегу.) Непосредственное благополучие связано с качествами собственной жизни, такими как жилище, тепло, средства существования, безопасность и т. д., которые желательны сами по себе, а не в связи с качествами чужих жизней.

Чтобы уточнить это представление, предположим, что в мире живут только два человека, Алиса и Боб. Общая полезность для Алисы состоит из ее собственного непосредственного благополучия плюс результата перемножения некоторого коэффициента САВ на непосредственное благополучие Боба. Коэффициент заботы САВ показывает, насколько Алисе есть дело до Боба. Аналогично общая полезность для Боба состоит из его непосредственного благополучия плюс некий коэффициент заботы СВА, умноженный на непосредственное благополучие Алисы[305]. Робби пытается помочь и Алисе, и Бобу, что означает, скажем, максимизацию суммы их двух полезностей. Таким образом, Робби должен уделять внимание не только индивидуальному благополучию обоих, но и тому, насколько каждого из них заботит благополучие другого[306].