Машина, платформа, толпа. Наше цифровое будущее - Эндрю Макафи

КОГДА АЛГОРИТМЫ ВЕДУТ СЕБЯ ПЛОХО

У передачи решений машинам есть вполне реальное неприятное следствие: ошибки и недочеты в алгоритмах могут закрепить или даже усилить некоторые из вредных предрассудков нашего общества. Например, Латания Суини, известный профессор из Гарварда, встревожилась, после того как ввела свое имя в Google. Вместе с результатами появилось объявление:

Такое объявление предполагало, что у нее криминальное прошлое, хотя она никогда не подвергалась задержанию.

Решив исследовать это явление, Суини обнаружила, что поиск по именам, более распространенным среди афроамериканцев (например, Тревон, Лакиша или – да, Латания), с гораздо большей вероятностью приводил к появлению сообщения «Арестована?», чем по именам, чаще ассоциирующимся с белыми (например, Лори или Брендан)[142]. О причинах этого феномена нельзя сказать ничего точно, но Суини дала ему такое объяснение: алгоритм Google, обеспечивающий показ рекламы, заметил, что клики более вероятны, когда объявления связаны с именами, характерными для чернокожих. Это не отражение сознательных дискриминирующих действий людей, размещающих объявления или работающих в Google. Просто алгоритм отражает и усиливает распространенный в обществе расовый предрассудок, проявляющийся в решениях миллионов людей кликнуть по определенным объявлениям. Аналогичным образом по словам «ученый» и «бабушка», набранным в январе 2017 года в сервисе поиска изображений Google, выдавалось ошеломляющее количество фотографий белых людей.

В статье в Nature Кейт Кроуфорд и Райан Кало отмечали опасность того, «что в ряде контекстов недостатки систем искусственного интеллекта чрезвычайно влияют на группы, которые и без того находятся в невыгодном положении из-за таких факторов, как расовая принадлежность, пол или социально-экономические условия», и подчеркивали, насколько важно при проектировании таких систем учитывать социальные воздействия – как намеренные, так и непреднамеренные[143].

Мы разделяем эту озабоченность и видим в тенденции к алгоритмическому принятию решений как вероятные проблемы, так и благоприятные возможности. Проблемы состоят в том, что такой подход способен укоренить и закрепить несправедливые, опасные и нежелательные искажения. Хуже того, такие искажения могут возникать, несмотря на искреннее желание разработчиков создавать по-настоящему беспристрастные системы, и, вероятно, их будет трудно обнаружить без масштабного тестирования. Любой проект обязательно столкнется с такой проблемой.

Благоприятные возможности состоят в том, что компьютерные системы, как правило, легко поддаются тестированию и улучшению. И если какую-то ошибку однажды исправить, то маловероятно, что она проявится снова. Людям, напротив, крайне трудно разобраться в своих предрассудках (сколько явных расистов и сексистов вы знаете?), не говоря уже о том, сколько труда нужно для их преодоления. Если смотреть на ситуацию реалистично, то для систем, принимающих решение, идеальным не будет ни один стандарт – хоть на основе компьютера, хоть на основе человека, хоть на их сочетании. Любая система, скорее всего, будет содержать искажения и делать ошибки. Так что лучше поставить цель выработать такой подход, который сведет их к минимуму и позволит легко и быстро их исправлять.

ИСПОЛЬЗУЙТЕ РАЗУМ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ – НО ДЕЛАЙТЕ ЭТО РАЗУМНО

Какую роль в принятии решений должны играть люди (и должны ли вообще)? Мы уже знаем об искажениях и ошибках Системы 1, у нас есть океаны данных и растущие с каждым годом вычислительные мощности, так что можно сделать вывод, что «невидимая экономика» вот-вот вытеснит традиционную, а цифровые аналоги Системы 2 вскоре станут принимать большинство решений. Есть такая старая шутка: в будущем на каждом заводе останется всего два работника – человек и собака. Обязанностью человека будет кормить собаку, а обязанностью собаки – следить, чтобы человек не касался машин[144]. А может, действительно компании завтрашнего станут такими?

Мы так не думаем. Да, у нас есть предрассудки, которых нет у компьютеров. Но у нас есть и сильные стороны, которых лишены машины. Начнем с того, что мы постоянно получаем от своих органов чувств невообразимое количество данных и при этом не занимаемся предварительным отбором – просто вбираем их целиком по мере поступления. Нам трудно слышать только некоторые звуки или видеть только некоторые вещи – даже в течение короткого времени. Компьютеры ведут себя наоборот: они испытывают огромные трудности в сборе разнородных данных или данных, отличных от тех, с которыми им позволили работать конструкторы и программисты.

Эта разница приводит к появлению важной работы для людей – Мил назвал ее «ролью сломанной ноги»[145]. Для иллюстрации своей идеи он придумал такой пример. Некий профессор каждый вторник в течение нескольких лет ходит в кино. Разумеется, компьютер спрогнозирует, что он снова пойдет туда и на следующей неделе. И вдруг в ближайший вторник утром профессор ломает ногу, и гипс на бедре не позволяет ему втиснуться в кресло кинотеатра (пример был придуман в 1954 году). Любой человек мгновенно поймет, что вечер у профессора не задался, но такую догадливость непросто включить в алгоритм компьютера. Существует слишком много различных непредвиденных факторов, влияющих на поведение профессора[146]. Кто бы ни разрабатывал компьютерную систему, он не в силах собрать достаточно данных обо всех факторах, чтобы программа могла их учесть. Единственный способ сделать это – иметь всеобъемлющую модель мира, в отличие от той, что есть у компьютера.

Еще одно огромное преимущество человека – старый добрый здравый смысл. У одних его меньше, чем у других, но у любого из нас здравого смысла неизмеримо больше, чем у самых совершенных компьютеров. Как только мы рождаемся, мы начинаем изучать важные вещи о том, как устроен мир, и исследуем его уверенно и быстро. Однако, несмотря на десятилетия экспериментов, мы всё еще слишком мало знаем о том, как приобретается здравый смысл, и наши попытки привить его компьютерам до сих пор заканчивались грандиозными провалами (мы поговорим о них в следующей главе).