Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

Выбранная мной тематика связана с наличием обширной общедоступной информации. Известны примеры того, как прогнозисты создавали предсказания, основанные на закрытой информации (например, в случаях, когда компании используют данные о своих покупателях для прогнозирования спроса на новый продукт). Я же предпочитаю рассказывать о тех объектах, в отношении которых можно не верить мне на слово, а самостоятельно проверить результаты.

В этой книге вы найдете много примеров из различных областей знаний (естественных и общественных наук), а также из спорта и азартных игр. В ней приведены как сравнительно прямолинейные примеры, в которых проще всего провести различие между успешным и неудачным предсказанием, так и другие, требующие чуть больше мастерства.

В главах 1–3 рассмотрены случаи неудачного предсказания в таких вопросах, как недавний финансовый кризис, успехи в бейсболе и в области политики, показано, где одни подходы сработали хорошо, а другие – нет. Их цель состоит в том, чтобы заставить вас задуматься о некоторых самых фундаментальных вопросах, лежащих в основе проблемы предсказания. Каким образом можем мы применить свои суждения в отношении данных, не поддаваясь при этом предубеждениям? В каких условиях рыночная конкуренция позволяет сделать лучшие прогнозы и за счет чего она способна их ухудшить? Каким образом мы можем сочетать необходимость использования знания прошлого как руководства к действию с признанием того, что будущее может быть совершенно иным?

В главах 4–7 основное внимание уделено динамическим системам: поведению земной атмосферы, влияющему на формирование той или иной погоды; движению тектонических плит планеты, способному вызвать землетрясения; комплексным взаимодействиям между людьми, влияющим на поведение американской экономики, а также распространению инфекционных заболеваний. Эти системы изучаются некоторыми из наших лучших ученых. Однако прогнозировать процессы, протекающие в динамических системах, достаточно сложно, и предсказания в этих областях далеко не всегда оказываются верными.

Главы 8–10 обращаются к решениям: сначала мы познакомим вас с человеком, делающим ставки на исходы спортивных мероприятий и применяющим теорему Байеса более умело, чем многие экономисты или ученые, а затем поговорим о двух видах спорта – о шахматах и покере.

Спорт и игры, подчиняющиеся четко определенным правилам, представляют собой отличную лабораторию для тестирования наших прогностических навыков. Они помогают нам лучше понимать смысл случайности и неопределенности, а также учат тому, как превращать информацию в знание.

Однако теорема Байеса может применяться и к значительно более важным проблемам. В главах 11–13 рассмотрены три примера: глобальное потепление, терроризм и пузыри на финансовых рынках. Эти проблемы достаточно важны и сложны для прогнозистов и общества в целом. Однако если мы решим принять брошенный нам вызов, то сможем сделать нашу страну, нашу экономику и нашу планету немного безопаснее.

Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по-настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание.

Сигнал – это правда. А шум – это то, что отвлекает нас от правды. Эта книга расскажет вам и о сигналах, и о шумах.

Наступило 23 октября 2008 г. Фондовый рынок находился в состоянии свободного падения, обвалившись за предшествующие пять недель почти на 30 %. Некогда уважаемая компания Lehman Brothers оказалась банкротом. Кредитные рынки практически перестали работать. Дома в Лас-Вегасе потеряли 40 % от своей стоимости{46}. Безработица подскочила до невероятно высокого уровня. Сотни миллиардов долларов, находившихся в распоряжении обанкротившихся финансовых фирм, моментально исчезли. Уровень доверия к правительству оказался самым низким за весь период его оценок{47}. А через две недели должны были состояться президентские выборы.

Конгресс, работа которого в обычных условиях затихала перед выборами, развил лихорадочную деятельность. Рассматриваемые в нем законопроекты о помощи финансовым организациям обещали стать непопулярными{48}, и Конгрессу нужно было создать впечатление, что все те, кто вел себя «неправильно», будут наказаны. Комитет США по надзору приказал главам трех основных агентств, занимавшихся составлением кредитных рейтингов, – Standard&Poor’s (S&P), Moody’s и Fitch Ratings – дать показания на парламентских слушаниях. Рейтинговые агентства были обвинены в неверной оценке вероятности того, что триллионы долларов в ценных бумагах, обеспеченных закладными, попадут под дефолт. Мягко говоря, возникло впечатление, что они оказались скомпрометированными.

Кризис конца 2000‑х гг. часто воспринимают как провал, поражение наших политических и финансовых учреждений. Очевидно, что это действительно было огромным поражением с экономической точки зрения. Даже в 2011 г., через четыре года после официального начала Великой рецессии, американская экономика работала на уровне в 800 млрд долл. ниже своего производственного потенциала{49}.

Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Проблемы с прогнозами носили широкомасштабный характер, возникали практически на каждом шагу до, во время и после кризиса и вовлекали в себя массу участников – от ипотечных брокеров до Белого дома.