Новые темные века - Джеймс Брайдл

повлиять на их решение. Записи симуляций показали, что следившие за автоматизированной системой люди принимали решения быстрее и почти без обсуждения, то есть предлагаемое компьютером немедленное действие мешало им глубже вникнуть в проблему(35).

Предвзятость автоматизации показывает, что технологии угрожают жизни не только в случае программного сбоя. И в очередной раз пример тому – система GPS.

Пытаясь добраться до острова в Австралии, группа японских туристов свернула на машине на пляж и съехала прямо в море, потому что спутниковая навигационная система заверила их, что там можно проехать. Когда начался прилив, они оказались в пятнадцати метрах от береговой линии, пришлось вызывать спасателей(36). В американском штате Вашингтон машина заехала в озеро, когда навигатор направил водителя с главной дороги на лодочную рампу. Приехавшие аварийные службы увидели только багажник на крыше тонущего автомобиля(37). Для рейнджеров в Национальном парке Долина Смерти такие явления стали настолько обычными, что у них появился специальный термин – «Смерть по GPS», который описывает, что происходит, когда незнакомые с местностью путешественники следуют инструкциям навигатора, а не своим ощущениям(38). В регионе, где по многим обозначенным на карте дорогам не проехать обычному транспортному средству, а дневная температура порой достигает пятидесяти градусов по Цельсию, остаться без воды и заблудиться – значит умереть. Во всех этих случаях не было никакого намеренного или случайного сбоя сигнала. Компьютеру просто задали вопрос, он ответил, и проложенный маршрут привел людей к смертельной опасности.

В основе предвзятости автоматизации лежит более глубокое, не связанное с технологиями когнитивное искажение. Сталкиваясь со сложными проблемами, особенно если времени на решение мало, – а кто из нас не находится в постоянной спешке? – люди стараются ограничиться минимальной мыслительной работой и предпочитают легкие и понятные стратегии(39). Если существует возможность избежать принятия решений, мозг выбирает кратчайший путь наименьшего когнитивного усилия, а с помощью автоматизированных помощников это происходит почти мгновенно. Любые вычисления вклиниваются в мыслительные процессы, так что принятие решений и ответственность перекладываются на машину. По мере ускорения темпа жизни машина выполняет все больше и больше когнитивных задач, укрепляя свой авторитет, какими бы ни были последствия. Мы меняем свое понимание мира, чтобы лучше приспособиться к постоянным предупреждениям и когнитивным подсказкам автоматизированных систем. Вычисления заменяют сознательную мысль. Мы все больше и больше думаем как машина или не думаем совсем.

На примере общей эволюции технологии, персональных компьютеров, смартфонов и глобальной облачной Сети видно, как мы сами стали частью вычислений. Только машинные вычисления – не просто архитектура. Они стали самой основой нашей мысли, превратились в нечто настолько всепроникающее и соблазнительное, что мы отдаем им предпочтение даже тогда, когда подошли бы более простые механические, физические или социальные процессы. Зачем говорить, если можно напечатать? Зачем ключ, если есть телефон? По мере того, как нас все плотнее окружают вычислительные машины и их производные, им приписываются власть и способность создавать истину. На технологии все чаще перекладывается решение познавательных задач, поэтому сама реальность, а вслед за ней и наше мышление уподобляются компьютеру.

Подобно тому как глобальные телекоммуникации исказили время и пространство, машинные алгоритмы объединяют прошлое и будущее. Собранные данные и построенные на их основе модели действительности проецируется на будущее, исходя из предпосылки, что ничего радикально не изменится или не отклонится от предыдущего опыта. Таким образом, вычисления не просто управляют нашими действиями в настоящем, но и создают будущее, которое наилучшим образом соответствует вычисленным параметрам. Если что-то возможно, то его можно вычислить. Все остальное – не поддающееся количественной оценке и моделированию, непредвиденное и отклоняющееся от установленного образца, неопределенное и двусмысленное, – исключается из области возможных вариантов будущего. Алгоритмы проектируют будущее, подобное прошлому, что, в свою очередь, лишает их способности разобраться в реальности настоящего, которое никогда не бывает стабильным.

Вычислительное мышление лежит в основе многих самых разобщающих проблем нашего времени; действительно, деление, будучи вычислительной операцией, является его основной характеристикой. Вычислительное мышление настаивает на простом ответе, для получения которого требуется наименьшее количество когнитивных усилий. Более того, оно настаивает на том, что возможен всего один непреложный ответ. «Дебаты» об изменении климата, которые не являются простым заговором нефтекапитализма, характеризуются этой вычислительной неспособностью справиться с неопределенностью. Неопределенность в математическом и научном понимании – это не то же самое, что незнание. Неопределенность, с научной и климатологической точки зрения, – это мера того, что мы действительно знаем. И по ходу того, как наши вычислительные системы расширяются, они все яснее демонстрируют, как много мы не знаем.

Вычислительное мышление восторжествовало, потому что оно сначала соблазнило нас своей мощью, затем одурачило своей сложностью и, наконец, надежно и неоспоримо закрепилось в коре нашего головного мозга. Вычисление, его производные и сам вычислительный образ мышления настолько вошли в повседневную жизнь, что, кажется, этой стихии уже нельзя противодействовать, как нельзя управлять погодой. Но если не закрывать глаза на бесчисленные недостатки вычисления, такие как чрезмерное упрощение, неверные данные, преднамеренное искажение, то мы увидим, в каких случаях оно подводит и демонстрирует пределы своих возможностей. Как мы увидим, сама хаотичность погоды в конечном итоге не поддается вычислению.

На полях своего экземпляра «Численного предсказания» Льюис Фрай Ричардсон писал:

«Эйнштейн где-то заметил, что в своих открытиях он руководствовался представлением о том, что важные законы физики действительно просты. Р. Г. Фаулер заметил, что из двух формул более элегантная, с большей вероятностью, будет истинной. Дирак искал альтернативное объяснение собственного момента импульса электрона, так как чувствовал, что природа не могла устроить его таким сложным образом. Эти математики блестяще преуспели в работе с точечными массами и точечными зарядами. Снизойди они до метеорологии, предмет мог бы значительно обогатиться. Только я подозреваю, им придется отказаться от идеи, что истина проста»(40).

На то, чтобы подобрать точную формулировку, ушло сорок лет, но в 1960-х годах Ричардсон наконец нашел модель этой неопределенности, парадокс, который четко резюмирует экзистенциальную проблему вычислительного мышления. Работая над «Статистикой смертоносных ссор», первой попыткой научного анализа конфликта, он намеревался найти корреляцию между вероятностью начала войны между соседними странами и протяженностью их общей границы и обнаружил, что в разных источниках приводится разная длина границ. Он пришел к выводу, что причина расхождений заключалась в том, что длина границы зависела от инструментов измерения. По мере того, как те становились более точными, длина фактически увеличивалась, поскольку учитывались все меньшие и меньшие вариации линии(41). С береговой линией дела обстояли еще сложнее, из чего следовало, что на самом деле невозможно дать точную оценку протяженности национальных границ. Этот «парадокс береговой линии» стал известен как эффект