Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок

На самом деле я с ним даже согласен. Для слишком многих людей числа являются священными тотемами, дарящими божественное откровение. По-настоящему одаренные математически люди знают, что числа — инструменты, ничего более, а их качество может варьироваться от никудышного до великолепного. Грубая версия системы конечного результата Кодмана, которая просто подсчитывает процент выживших пациентов, может привести к тому, что какая-нибудь больница похвастается 100 %-ной выживаемостью пациентов — умолчав, что просто не принимает серьезных больных. Числа необходимо постоянно проверять и улучшать, что может оказаться весьма нервным процессом, потому что он бесконечен. Прогрессирующее улучшение достижимо. Идеал — нет[236].

Именно так я воспринимаю результат Брайера, которым оценивается точность прогнозов, — как несовершенный. Одна из проблем заключается в том, что он оценивает ложные сигналы тревоги так же, как промахи. Но когда дело доходит до вещей вроде террористических атак, людей гораздо больше волнуют именно промахи, а не ложные сигналы тревоги. К счастью, эту проблему исправить несложно. Достаточно заранее предупредить прогнозистов: «Ложно-утвердительные результаты будут стоить вам в 10 раз меньше ложно-отрицательных», — чтобы они могли откорректировать в соответствии с этим свои суждения.

Но то, что система оценивания требует некоторых поправок, вовсе не значит, что она не вносит больших улучшений. Вспомните рейтинги кредитования, которые так часто подвергаются критике. Десятилетия назад, когда их не существовало, кредитный специалист принимал решение практически произвольно — и ваша судьба зависела от того, не напомнили ли вы ему кого-нибудь неприятного, или хорошо ли он спал ночью, или нет ли у него стереотипов об «инертных черных» или «ветреных женщинах». Возможно, кредитные истории далеки от идеала, но все-таки они представляют собой значительный прогресс. Также и я, хоть и не могу говорить, что моя система оценивания идеальна, все равно утверждаю, что она лучше, чем та, что используется для оценки прогнозиста в наши дни: по его титулам, уверенности, умению рассказать интересную историю, количеству проданных книг, появлений на CNN и времени, проведенному в Давосе.

Но даже самый скептически настроенный профессор гуманитарных наук, я полагаю, признает эти аргументы. Проблема лежит глубже — и возвращает нас к высказыванию относительно исчисляемого, которое не всегда считается.

Вопрос, который считается

Весной 2013 года я встретился с Полом Саффо, футуристом и сценарным консультантом из Силиконовой долины. В этот период на Корейском полуострове зрел очередной тревожный кризис, поэтому, описывая Саффо идею турнира прогнозистов, я упомянул заданный IARPA вопрос: попытается ли Северная Корея запустить многоступенчатую ракету в период между 7 января и 1 сентября 2013 года? Саффо счел вопрос тривиальным. Он сказал, что несколько полковников в Пентагоне могли бы им заинтересоваться, но вряд ли бы его задало большинство людей. «Более фундаментальный вопрос — „Чем все это обернется?“. И он куда сложнее». Затем Саффо предложил собственный ответ, длинный и гладко переходящий со страны на страну, с лидера на лидера, — яркое представление, знакомое каждому, кто посещал научно-исследовательские конференции или смотрел выступления экспертов по телевидению. Но был ли Саффо прав? Я даже сегодня не знаю. То, что он сказал, было слишком расплывчато, чтобы судить, — типичная форма для ответов на большие, важные вопросы из серии «чем все это обернется?».

Таким образом, мы сталкиваемся с дилеммой. То, что имеет значение, — большой вопрос, но ответ на него нельзя оценить. Маленький вопрос не имеет значения, но ответ на него можно оценить, поэтому турнир IARPA его задал. Вы могли бы сказать: мы с таким упорством пытались выглядеть учеными, что посчитали то, что не считается.

Это несправедливо. Вопросы на турнире оценивались экспертами на предмет сложности и соответствия текущим проблемам, которые решают разведывательные аналитики. Справедливо утверждать, что эти вопросы сфокусированы даже лучше больших вопросов, на которые мы все с удовольствием получили бы ответ — вроде вопроса: «Чем все это обернется?» Неужели нужно выбирать между большими и важными вопросами, которые нельзя оценить, и маленькими и не столь важными, которые оценить можно? Удовлетворения это вряд ли принесет. Но есть выход.

В вопросе Пола Саффо «Чем все это обернется?» подразумеваются недавние события, ухудшившие конфликт на Корейском полуострове. Северная Корея запустила ракету, нарушив резолюцию Совета Безопасности ООН. Она провела новые ядерные испытания. Она отказалась от перемирия 1953 года с Южной Кореей. Она обрушила на Южную Корею кибератаку, оборвала линии экстренной связи между правительствами и угрожала ядерным нападением на США. Если смотреть с этой стороны, очевидно, что большой вопрос состоит из множества маленьких. Один из них: «Испытает ли Северная Корея ракету?» Если да, это послужит легкой эскалации конфликта. Если нет — это может послужить небольшой разрядке. Крошечный вопрос не решил большой, но слегка прояснил ситуацию. И если задать множество крошечных, но уместных вопросов, мы сможем вплотную приблизиться к ответу на большой. Проведет ли Северная Корея еще одни ядерные испытания? Откажется ли от попыток дипломатических переговоров по поводу ее ядерной программы? Нанесет ли артиллерийский удар по Южной Корее? Обстреляет ли севернокорейский корабль южнокорейский? Ответы на эти вопросы обладают накопительным эффектом. Чем больше «да», тем вероятнее, что ответ на большой вопрос будет: «Все окончится плохо».

Я называю это байесовским объединением вопросов, потому что оно обладает фамильным сходством с корректировкой мнения Байеса, упомянутой в главе 7. Можно по-другому представить эту систему, если подумать о технике пуантилизма в живописи. Она представляет собой крошечные точки, нанесенные на холст. Каждая точка по отдельности мало что добавляет картине, но вместе они собираются в изображение. Из достаточного количества точек художник может изобразить что угодно, от яркого портрета до масштабного пейзажа.

Объединение вопросов в блок для форсирования понимания

На турнире IARPA были блоки вопросов, но они появились скорее как следствие событий, нежели как диагностическая стратегия. В будущих исследованиях я хочу разработать концепцию и посмотреть, насколько эффективно мы сможем ответить на «большие вопросы», неподвластные оцениванию, с помощью блоков маленьких.