Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок

Учитывая тот факт, что суперпрогнозисты практически не привязаны к своим прогнозам, можно ожидать от них больше чрезмерных реакций — как в случае с Дагом Лорчем и его командой, когда они поменяли вероятность с 55 на 95 %, основываясь на единственном отчете месячной давности, — чем недостаточных. Однако суперпрогнозисты зачастую умудряются избежать обеих ошибок. Они бы не были суперпрогнозистами, если бы этого не делали.

Так как же они это делают? В XIX веке, когда проза не считалась полноценной без глубокомысленной отсылки к греческой мифологии, любое обсуждение стоящих с противоположных концов опасностей вызывало ассоциации со Сциллой и Харибдой. Сцилла — чудовище, обитавшее на скале у побережья Италии. Харибда — водоворот у побережья Сицилии, недалеко от Сциллы. Моряки знали, что, если отклонятся слишком сильно в одном из двух направлений, они обречены. Суперпрогнозисты должны чувствовать то же самое, когда дело касается недостаточной и чрезмерной реакции на новую информацию, Сциллы и Харибды прогнозирования. Хорошие обновления — это поиск безопасного пути посередине.

Капитан Минто

В третьем сезоне турнира IARPA Тим Минто занял первое место с окончательным результатом Брайера 0,15 — изумительное достижение, практически сравнимое с выигрышем Кеном Дженнингсом в семидесяти четырех выпусках игры Jeopardy! подряд. Серьезной причиной такого впечатляющего результата сорокапятилетнего инженера программного обеспечения из Ванкувера было его мастерство обновлять прогнозы.

На первоначальные прогнозы Тим тратит меньше времени, чем другие лучшие прогнозисты. «Я обычно трачу от пяти до пятнадцати минут, то есть, возможно, всего около часа на новую пачку из шести-семи вопросов», — сказал он. Но на следующий день он вернется к этим вопросам, заново на них взглянет и сформирует второе мнение. Также он ищет в интернете доказательства противоположного. И занимается этим пять дней в неделю.

Все эти поиски заставляют его часто менять мнение. «Я постоянно обновляю прогнозы, — сказал он. — Так работает мое сознание, хотя чаще я применяю это на работе, в моей практике, чем в вопросах [турнира]»[141]. К моменту закрытия вопроса Тим обычно делает около дюжины прогнозов по нему; иногда общее их количество ближе к сорока или пятидесяти. На один из вопросов («Достигнут ли США и Афганистан соглашения по вопросу продолжающегося присутствия американских войск?») он сделал семьдесят семь прогнозов.

Может показаться, что капитан Минто плывет прямо к Харибде чрезмерной реакции. Но я пока не упомянул масштаб постоянных коррекций его курса. Почти во всех случаях они маленькие. И это имеет большое значение.

По мере того, как в Сирии разгоралась гражданская война и с места срывалось все больше мирных жителей, турнир IARPA спросил прогнозистов, будет ли «количество зарегистрированных сирийских беженцев, указанных в отчете Агентства ООН по делам беженцев от 1 апреля 2014 года» менее 2,6 миллиона. Вопрос задали в течение первой недели января 2014 года, так что прогнозистам нужно было заглянуть на три месяца в будущее. Ответ в итоге оказался утвердительным. Вот график обновлений прогноза Тима Минто в течение этих трех месяцев:

Как обновляется мнение у лучшего суперпрогнозиста

Тим начал с очень небольшого перевеса в сторону утвердительного ответа, что тогда имело смысл. Планку задали высокую, но ситуация в Сирии была тяжелой, и количество беженцев увеличивалось с каждым днем. Таблица демонстрирует, что случилось затем: Тим менял свой прогноз 34 раза. Некоторые изменения уводили его дальше от правильного ответа, но большинство шло в правильном направлении. Финальный результат Брайера по этому вопросу у Тима был впечатляющий — 0,07.

И обратите внимание, какие маленькие изменения делал Тим. Никаких драматических сдвигов на тридцать или сорок процентов. Среднее обновление крошечное, всего 3,5 %. Это крайне важно. Небольшое количество маленьких обновлений могло бы сдвинуть Тима в направлении недостаточной реакции. Множество больших обновлений могли бы подтолкнуть к чрезмерной. Но с большим количеством маленьких обновлений Тим благополучно проскользнул между Сциллой и Харибдой.

Может показаться, что немного странно мыслить в категориях таких крошечных изменений — «единиц сомнения», — но если у вас такое же детализированное мышление, как у Тима, то это естественно. Представьте: в начале сентября 2014 года вы прочитали, что Нейт Сильвер, выдающийся агрегатор опросов общественного мнения, дал республиканцам 60 %-ный шанс преимущества в Сенате на промежуточных выборах. Вам это кажется убедительным, поэтому в изначальном прогнозе вы указываете вероятность такого развития событий в 60 %. На следующий день вы обнаруживаете очередной опрос, который выявил, что поддержка республиканцев в предвыборной сенатской гонке в Колорадо выросла с 45 до 55 %. На сколько следует поднять процент в вашем прогнозе? Цифра должна быть больше ноля. Но, подумав, сколько еще гонок республиканцам потребуется выиграть, вы поймете, что даже победа в Колорадо серьезно ситуацию не меняет, и считаете, что максимальное число, на которое можно поднять вероятность, — 10 %. Итак, сейчас у вас есть промежуток от 1 до 10 %. Сколько гонок уже прошли благоприятно для республиканцев? Если ответ «гораздо больше, чем нужно, чтобы завоевать преимущество в Сенате», он предполагает, что следует остановиться выше по шкале. Если «еле-еле достаточно, чтобы завоевать преимущество», — ниже по шкале. На какие тенденции указывают опросы в этих гонках? Распространяются ли на них факторы, которые работают в Колорадо? Сколько времени осталось до выборов? Какова предиктивность опросов до сего момента в преддверии выборов? Каждый вопрос помогает вам прицелиться точнее. Сначала вы сужаете промежуток с 2 до 8 %, затем — с 3 до 7 %. В конце концов вы останавливаетесь на 4 % и поднимаете прогноз с 60 до 64 %.

Драматичности тут нет никакой. Если честно, это даже скучно. Тим никогда не станет гуру, которого пригласят делиться мистическими откровениями на телевидении, корпоративных вечеринках и страницах книг-бестселлеров. Но его способ работает. Данные турнира это доказывают: суперпрогнозисты не только обновляют свои прогнозы чаще, чем обычные прогнозисты, — они еще и меньше их изменяют.

В том, как все работает, нет мистики. Прогнозист, который не уточняет свое мнение в свете новой информации, не оценит ее по достоинству; в то время как прогнозист, который слишком увлечется новыми данными и построит предсказание исключительно на них, забудет о ценности сведений, на которых основывался первоначальный прогноз. Талантливый прогнозист осторожно удерживает баланс между старой и новой информацией, ценит и ту и другую и включает ее в новый прогноз. Лучший способ это сделать — небольшие обновления.

Эту идею иллюстрирует старый мыслительный эксперимент. Представьте, что сидите спиной к бильярдному столу. Друг катит по столу шар, и тот где-то останавливается. Вы хотите не глядя определить местоположение шара. Каким образом? Друг катит по столу другой шар, который тоже где-то останавливается. Вы спрашиваете: «Второй шар находится слева или справа от первого?» Друг отвечает: «Слева». Это практически ничтожный обрывок информации. Но он тоже что-то значит — например, говорит о том, что первый шар находится не на левом краю стола, а значит, делает чуть-чуть более вероятным расположение первого шара на правой стороне стола. Если друг прокатит по столу третий шар, и вы повторите вопрос, то получите еще один обрывок информации. Если ответ будет снова «Слева», шансы, что первый шар находится на правой стороне стола, еще немного увеличатся. Продолжайте процесс, и вы постепенно сузите разброс возможных местоположений и наведете прицел на истину — однако так и не сможете полностью исключить неопределенность[142].