Новые темные века - Джеймс Брайдл

и подключенностью к Сети. По мере того как смартфоны становятся мощными универсальными компьютерами, а вычисления проникают во все окружающие нас устройства, от умных бытовых приборов до автомобильных навигационных систем, весь мир превращается в «закодированное пространство». Безграничность «закодированного пространства» подчеркивает нашу неспособность понять влияние компьютеризации на мышление.

Приобретенная и загруженная в приложение электронная книга остается собственностью продавца, и он в любое время может закрыть к ней доступ, как произошло в 2009 году, когда Amazon удалил книги «1984» и «Ферму животных» у тысяч клиентов(31). Сервисы потоковой музыки и видео фильтруют контент в зависимости от его доступности в рамках правовой юрисдикции того или иного региона, и алгоритмически определяют личные предпочтения пользователей. По мере закрытия офлайн-библиотек, академические журналы предоставляют доступ к своим материалам, исходя из платежей и регистрационных данных пользователей. Бесперебойная работа Википедии зависит от армии программных агентов, ботов, которые обеспечивают правильное форматирование, связывают между собой статьи, разрешают споры и борются с атаками вандалов. Согласно последнему опросу, семнадцать из двадцати самых продуктивных редакторов – это боты; в совокупности они вносят около 16 процентов всех правок в энциклопедии – конкретный и измеримый вклад в производство знаний с помощью самого кода(32). Чтение книги, прослушивание музыки, исследования и обучение – эти и многие другие виды деятельности все больше регулируются алгоритмической логикой и контролируются непрозрачными и скрытыми вычислительными процессами. Сама культура является «закодированным пространством».

За воспроизводством физического и культурного пространства посредством компьютеризации скрывается огромное неравенство власти: воспроизводство с него начинается и им же заканчивается. Компьютерные вычисления не просто развивают, создают и формируют культуру; действуя за гранью нашего повседневного, естественного осознания, они фактически сами становятся культурой.

Вычислительные модели и симуляции в итоге замещают свои исходники. Поисковая система Google начала с индексирования совокупности человеческих знаний, а стала источником и арбитром этих знаний. Теперь люди думают то, что показывает Google. Изначально Facebook отображал существующие связи между людьми, строил некий социальный график, а стал платформой для формирования этих связей, безвозвратно изменив социальные отношения. Подобно системе управления воздушным движением, ошибочно принимающей стаю птиц за бомбардировщики, программное обеспечение не может отличить созданную им же модель мира от реальности, а в этих условиях – и мы тоже.

Наша слепота обусловлена двумя причинами: сочетание непрозрачности и сложности делает боˊльшую часть вычислительного процесса неразборчивой; при этом само вычисление считается политически и эмоционально нейтральным. Вычисления непрозрачны: они происходят внутри машины, за экраном, в отдаленных зданиях, как бы внутри облака. Даже когда эта непрозрачность нарушается прямым восприятием кода и данных, она остается за пределами понимания большинства. Объединение сложных систем в современные сетевые приложения означает, что ни один человек не видит всей полноты картины. Вера в машину является предпосылкой для ее использования, и это подкрепляет другие когнитивные предубеждения, согласно которым автоматизированные ответы заведомо заслуживают большего доверия, чем неавтоматизированные.

Это явление, известное как предвзятость автоматизации, наблюдается во всех вычислительных областях, от программного обеспечения для проверки орфографии до автопилотов, и у всех типов людей. Предвзятость автоматизации приводит к тому, что мы ценим автоматизированную информацию выше своего собственного опыта, даже если она противоречит другим наблюдениям, особенно когда эти наблюдения неоднозначны. Автоматизированная информация ясна и прямолинейна, она скрывает серые области, мешающие познанию. Другое связанное с этим явление – предвзятость подтверждения, то есть склонность обращать внимание на то, что соответствует существующей точке зрения. Предвзятость подтверждения изменяет наше понимание мира, чтобы привести его в большее соответствие с автоматизированной информацией, дополнительно подтверждая достоверность вычислительных решений до такой степени, что мы можем полностью пренебречь наблюдениями, если они расходятся с точкой зрения машины(33).

Наблюдения за пилотами высокотехнологичных самолетов показали множество примеров предвзятости автоматизации. Пилоты рейса Korean Air Lines, крушение которого повлияло на судьбу системы GPS, стали жертвами самой распространенной ошибки, связанной с предвзятостью автоматизации.

31 августа 1983 года, вскоре после взлета из аэропорта Анкориджа на Аляске летный экипаж запрограммировал курс, заданный им диспетчером воздушного движения, и передал управление самолетом автопилоту. Следуя запрограммированным контрольным точкам, автопилот должен был провести самолет через Тихий океан в Сеул, но либо из-за ошибки в настройках, либо из-за несовершенного понимания механизмов системы автопилот отклонился от назначенного маршрута, а точнее, остался на своем первоначальном курсе и уходил все дальше и дальше на север от предполагаемого маршрута. Через пятьдесят минут полета самолет покинул воздушное пространство Аляски и находился почти в двадцати километрах к северу от рассчитанного местоположения; за время полета его отклонение увеличилось до восьмидесяти, а затем до ста шестидесяти километров от предполагаемого курса. По словам следователей, занимавшихся катастрофой, в течение нескольких часов экипаж несколько раз мог заметить тревожные сигналы. Так, они обратили внимание на то, что время в пути между маяками постепенно увеличивалось, но не придали этому значения. Пилоты жаловались на плохой прием радиосигнала, ухудшавшийся, поскольку они удалялись от обычных воздушных маршрутов. Но ничего из этого не заставило пилотов усомниться в системе или перепроверить свое местоположение. Они продолжали доверять автопилоту даже после того, как вошли в советское воздушное пространство над полуостровом Камчатка. Они не изменили курс, даже когда в воздух были подняты военные истребители-перехватчики. Три часа спустя, все еще не ведая того, что происходит, они были обстреляны Су-15, вооруженным двумя ракетами класса «воздух – воздух», которые взорвались достаточно близко, чтобы вывести из строя гидравлические системы корейского самолета. На стенограмме переговоров слышно, что в последние несколько минут полета экипаж неоднократно и безуспешно предпринимал попытки повторно задействовать автопилот, поскольку автоматическое объявление предупредило об аварийном снижении(34).

Такие события происходили неоднократно, и плачевный исход подтверждался в нескольких экспериментах на симуляторах. Хуже того, предубеждения не ограничиваются ошибками бездействия, а включают и ошибки действия. Когда команда борта Korean Air Lines слепо следовала указаниям автопилота, она выбирала путь наименьшего сопротивления. Но было показано, что при срабатывании автоматических предупреждений даже опытные пилоты действуют решительно, в том числе вопреки собственным наблюдениям. Чрезмерно чувствительные системы оповещения о пожаре на ранних самолетах Airbus A330 стали печально известны тем, что вынуждали множество рейсов отклоняться от курса, часто с определенным риском, даже когда пилоты несколько раз лично проверяли самолет и не находили признаков пожара. В исследовании, проведенном в симуляторе полета NASA, во время подготовки к взлету экипажи получали противоречивые предупреждения о пожаре. Исследование показало, что 75 % экипажей, следуя указаниям автоматизированной системы, выключали не тот двигатель, тогда как при следовании традиционному бумажному протоколу полета так делали только 25 %. В обоих случаях пилоты имели доступ к дополнительной информации, которая должна была