Неизведанная территория. Как "большие данные" помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры - Жан-Батист Мишель

Оказалось, что благодаря аэродинамической трубе Райтов – довольно простой – удалось измерить массу важных аспектов, улучшающих работу крыла. Братья могли тестировать в своей трубе работоспособность одной конструкции за другой. Получив итоговые данные, они выстроили оптимальную конструкцию крыла и прикрепили ее к самолету. А затем утром 17 декабря 1903 года они вошли в историю.

Если мы хотим понять суть славы, нам тоже нужна аэродинамическая труба.

Многие аспекты славы сложно измерить. Утрату анонимности. Давление, связанное с постоянным вниманием со стороны. Психологические последствия, связанные с угасанием звездного статуса.

Но что можно сказать относительно величины славы – ощущения того, что Иисус более знаменит, чем Леннон, который более знаменит, чем Болдуин, который более знаменит, чем Кобаяси? Важным аспектом величины славы является то, как часто вас упоминают другие люди, в том числе в книгах. А когда речь заходит об упоминаниях людей в книгах, нам на помощь приходят n-грамы.

Разумеется, с помощью n-грамов мы измеряем не славу саму по себе, а упрощение, некое факсимиле славы. Давайте пока что назовем это словом «флава». Нам предстоит ответить на вопрос, достаточно ли четко «флава» отражает подлинную славу, чтобы служить нам в качестве аэродинамической трубы?

Давайте начнем изучение этого вопроса со взгляда на Чарльза Диккенса, одного из самых знаменитых английских писателей. Его первое произведение, «Записки Пиквикского клуба», начиналось в 1836 году как сериал – то есть книга, публиковавшаяся по частям в периодических изданиях. После начала публикации «Записок» 2-грам «Чарльз Диккенс» начинает появляться все чаще. Подобно знаменитому самолету братьев Райт, «флава» Диккенса начала стабильно набирать высоту по мере того, как он последовательно создавал бестселлер за бестселлером, в том числе «Оливера Твиста» (1837), «Рождественскую песнь» (1843), «Дэвида Копперфильда» (1849), «Повесть о двух городах» (1859) и «Большие надежды» (1860). Влияние этих работ на культуру было огромным. Считается, что именно «Рождественская песнь» сделала популярным поздравление «Веселого Рождества», и это вполне соответствует данным n-грамов.

Как и в случае с Дикинсон, смерть Диккенса в 1870 году не привела к угасанию его «флавы». Вместо этого она взвилась до небес, а новости о его уходе из жизни заставили людей вновь восхититься его гением. За несколько десятилетий после смерти частота упоминания его имени достигла пика. Однако к 1900 году 2-грам «Чарльз Диккенс» начал медленное снижение. Несмотря на свою невероятную «популярность» даже в наши дни, интенсивность научного изучения его творчества и включение книг Диккенса в школьную программу, «флава» Диккенса начала плавно угасать в течение последнего столетия.

Добавив выражение «Чарльз Диккенс» в нашу аэродинамическую трубу, мы получили интересные результаты, позволяющие вполне точно измерить степень общественного интереса, возникшего к работам Диккенса.

Однако все не так просто. Наш пример также помогает определить расхождения между «флавой», измеренной с помощью книг, и славой, отраженной в наших интуитивных представлениях о культурной важности. Все измерительные приборы допускают ошибку. Чтобы лучше понять происходящее, нужно узнать больше о теории анализа ошибок, хорошо развитой области статистики, изучающей ошибки и проблемы измерений.

Статистики различают два типа ошибок, которые может совершить измерительный прибор. Первый тип называется случайной ошибкой и связан с колебаниями, которые возникают даже в случаях, если объект измерения не меняется. Такие ошибки видны в форме небольших пиков и долин в расчетах «флавы» (несмотря на их частое появление, они порой не имеют никакого смысла). Хорошая новость относительно случайных ошибок заключается в том, что, несмотря на все колебания, значение обычно остается близким к истинному.

Сложнее дело обстоит с так называемыми систематическими ошибками. Обычно они приводят к перекосу измерений в одном направлении (увеличивая или уменьшая результат). Например, наша процедура для измерения «флавы» основана на поиске имени человека. Однако это позволяет выявить лишь часть всех упоминаний. К примеру, отслеживая частоту фразы «Чарльз Диккенс», мы упускаем из внимания случаи, когда люди описывают его как «Диккенса», «Чарли» или «этого зануду». Не будут включены в результаты и описания Диккенса как автора «Записок Пиквикского клуба» или «мужа Кэтрин Хогарт». И, разумеется, мы не сможем добавить туда и случаи, когда кто-то хочет почтить память Диккенса, цитируя любимую строчку из его книги, описывая трюк иллюзиониста Дэвида Копперфильда или просто используя фразу «Веселого Рождества».

Отличной иллюстрацией проблемы, связанной с выявлением каждого упоминания Диккенса, был случай, когда Майкла Стила, кандидата на пост руководителя национального комитета Республиканской партии, попросили во время телевизионных дебатов 2011 года назвать свои любимые книги. Ответ Стила был на редкость неловким: «„Война и мир“… это было самое прекрасное время, это было самое злосчастное время». Цитата принадлежит Диккенсу, и с нее начинается «Повесть о двух городах». Однако «Война и мир» написана Львом Толстым. Так имел ли Стил в виду Диккенса или нет? [123]

Подобная ситуация – когда мы пренебрегаем чем-то, что в идеале хотели бы включить в расчет, – носит название «систематической ошибки» или, выражаясь профессиональным языком статистиков, ситуации «ложного отрицания». В результате действия этого ложного отрицания показатель «флавы» обычно оказывается значительно меньше, чем истинная частота упоминаний о человеке.

Существует и еще один тип систематической ошибки, называемый «ложноположительной». Она возникает, когда мы включаем в расчеты то, чего включать не должны. К примеру, слова «Чарльз Диккенс» могут относиться и к старшему сыну Диккенса – писателю Чарльзу Диккенсу-мл.; его внуку Джеральду Чарльзу Диккенсу; двум из его правнуков – Седрику Чарльзу Диккенсу и Питеру Джеральду Чарльзу Диккенсу или же к актеру Джеральду Чарльзу Диккенсу (праправнуку писателя). С точки зрения расчета «флавы», все это будет относиться к патриарху семьи. Однако статистики знают, что тут-то и кроется опасность. Никакой статистик не понимает этого лучше, чем преподаватель Университета штата Калифорния в Беркли по имени Майкл И. Джордан. Чтобы понять, почему это так, вбейте в Google поисковый запрос «Майкл Джордан статистика» (Michael Jordan statistics).

Однако нам предстояло заняться еще более сложными статистическими проблемами, связанными с нашим измерительным прибором.