Новые темные века - Джеймс Брайдл

насилию и преступному поведению. Ломброзо внес существенный вклад в криминологию, но его теория о возможности по форме челюсти, наклону лба, размеру глаз и форме уха определить «примитивные» характеристики потенциального преступника была опровергнута в начале XX века. Гальтон разработал технику составления портрета «типичного» преступника, поскольку был убежден, что физическим чертам соответствуют моральные качества человека. Критики китайских ученых увидели в их работе новую форму цифровой френологии, и нападки на исследование подпитывались сложившимися культурными предубеждениями.

Ву и Чжан были потрясены такой реакцией и в мае 2017 года опубликовали возмущенный ответ. Помимо разбора некоторых из наиболее ненаучных попыток опровергнуть предложенный ими метод, они прямо нацелились, выражаясь технологическим языком, на своих недоброжелателей. «Нет никакой необходимости выставлять нашу работу кульминацией прискорбного ряда расистских исследований»(8), – заявляли они, будто линию преемственности прочертили их критики, а не сама история.

Все, кто занимается искусственным интеллектом, отказываются от своих претензий всякий раз, когда возникают этические конфликты, хотя сами дали повод для завышенных ожиданий. Когда британская консервативная газета Daily Mail использовала программу распознавания лиц How-Old.net и усомнилась в возрасте детей-беженцев, принимаемых в Великобританию, создатели программы из компании Microsoft незамедлительно подчеркнули, что программа была просто развлекательным приложением, «которое не предназначалось для точной оценки возраста»(9). Точно так же Ву и Чжан возразили: «Наша работа предназначена исключительно для академических дискуссий; реакция мировых средств массовой информации стала для нас полной неожиданностью».

Одна из линий критики касалась конкретного вопроса, постоянно всплывающего в контексте распознавания лиц, – расового подтекста таких исследований. В приведенных примерах типичных преступников и добропорядочных граждан многие усмотрели в лицах не-преступников намек на улыбку, выражение, которого не было на снимках осужденных. Одно это свидетельствовало о том, что люди на полицейских снимках уже находятся в сложных обстоятельствах. Ву и Чжан отвергли эти обвинения на культурных, а не технологических основаниях: «Наши китайские студенты и коллеги, даже когда их просили обратить внимание на то, улыбаются ли люди, изображенные на фото, ничего такого не увидели. Однако они отметили, что на фотографиях в нижнем ряду люди кажутся более расслабленными, чем на фотографиях в верхнем ряду. Вероятно, разница в восприятии вызвана культурными различиями»(10).

Возможность существования системы, свободной от заложенных в ее код предубеждений, в исходной статье не упоминалась. В начале своего исследования авторы пишут:

«В отличие от человека алгоритм или классификатор компьютерного зрения, выступая в роли экзаменатора или судьи, не имеет абсолютно никаких субъективных представлений, эмоций, никаких предубеждений, связанных с прошлым опытом, расой, религией, политическими доктринами, полом, возрастом и тому подобным; он не испытывает умственной усталости, не страдает оттого, что не выспался или голоден. Автоматический вывод о склонности к преступным действиям полностью исключает такую переменную, как метаточность (компетенция человека, выступающего судьей или экзаменатором)»(11).

В своем ответе на критику они повторяют это утверждение: «Как и большинство технологий, машинное обучение нейтрально». Они настаивают на том, что, если машинное обучение «способно усилить человеческие предубеждения в социальных вычислениях, как утверждали некоторые, оно также может обнаружить и исправить такие человеческие предубеждения». Осознаем мы это или нет, но все зависит от нашей способности оптимизировать не только машины, но и самих себя.

Технология не возникает из вакуума. Скорее это овеществление определенного набора совпадающих, пусть и неосознанно, убеждений и желаний, конгруэнтных предрасположенностей ее создателей. Технология всегда складывается из набора идей и фантазий, развивающихся и эволюционирующих из поколения в поколение, вытекающих из культуры, педагогики и дискуссий, бесконечно запутанных и переплетенных. Сама идея того, что существует склонность к совершению преступлений, – наследие моральной философии XIX века, в то время как нейронные Сети, используемые для ее «обнаружения», как мы видели, являются продуктом определенного мировоззрения, в котором явственно прослеживается разделение разума и мира, что, в свою очередь, усиливает очевидную нейтральность его применения. Продолжать настаивать на объективном расколе между технологиями и миром – безумие, но и у этой бессмыслицы есть вполне реальные последствия.

Примеры заложенных в программный код предубеждений встречаются часто. В 2009 году тайваньско-американский стратегический консультант Джоз Ван приобрела в подарок ко Дню матери новую камеру «Nikon Coolpix S630», но камера упорно отказывалась делать семейные снимки, а на экране появлялось сообщение об ошибке: «Кто-то моргнул?» Камера, запрограммированная ждать, пока у всех людей в кадре не будут широко открыты глаза, не смогла учесть особенности физиогномики людей не европеоидной расы(12). В том же году чернокожий служащий автосалона в Техасе опубликовал видео, набравшее огромное количество просмотров на YouTube. В нем он утверждает, что «компьютеры Hewlett-Packard расистские»(13), поскольку его новая веб-камера «Hewlett-Packard Pavilion» не распознает его лицо, хотя прекрасно фокусируется на лице белого коллеги.

Опять же, закодированные в визуальных технологиях предубеждения, особенно расовые, не новы. Название проведенной в 2013 году выставки художников Адама Брумберга и Оливера Чанарина «Сфотографировать детали темной лошадки при слабом освещении» отсылает к кодовой фразе, использованной в 1980-х годах компанией Kodak при работе над новой пленкой. С 1950-х годов для калибровки пленки Kodak предлагала тестовые карточки с изображением белой женщины и надписью «норма». Жан-Люк Годар отказался использовать пленку Kodak во время работы в Мозамбике в семидесятых годах, заявив, что она носит расистский характер. Тем не менее, компания занялась решением задачи изображения темных объектов, только когда два крупнейших клиента, занимавшихся кондитерскими изделиями и мебелью, пожаловались на то, что темный шоколад и темные стулья трудно правильно запечатлеть на фото(14). Брумберг и Чанарин также исследовали камеру «Polaroid ID 2», предназначенную для снимков на документы: специальная «кнопка усиления» вспышки упростила фотографирование черных объектов. Использование этой камеры одобрило южно-африканское правительство эпохи апартеида; она оказалась в центре внимания протестного революционного рабочего движения, когда чернокожие американские рабочие обнаружили, что именно на Polaroid делались печально известные фотографии на сберегательные книжки, которые чернокожие южноафриканцы называли «наручниками»(15).

Технология «Nikon Coolpix» и «HP Pavilion» маскирует более современный и более коварный расизм; дело не в том, что они намеренно спроектировали расистский фотоаппарат или использовали его для расового профилирования. Скорее выпускаемые камеры обнаруживают системное неравенство в технологической сфере, где над разработкой и тестированием продукции по-прежнему преимущественно работают белые. (По состоянию на 2009 год в Hewlett-Packard в США работало всего 6,74 % чернокожих)(16). Как никогда раньше становятся очевидными исторически сложившиеся предрассудки, вписанные в наборы данных, на которые мы опираемся для получения нового знания и при принятии решений.

Это осознание исторической несправедливости имеет решающее значение для понимания опасностей бездумного внедрения новых технологий, которые некритически воспринимают вчерашние ошибки. Мы не решим проблем настоящего с помощью инструментов прошлого. Как отметил художник и