Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Большинство исследований, о которых вам приходилось читать в прессе, основываются на регрессионном анализе. Когда ученые приходят к выводу, что у детей, посещавших детсад, чаще возникают проблемы с успеваемостью в начальной школе, чем у детей, которые воспитывались дома, это вовсе не означает, что они случайным образом сформировали выборку из нескольких тысяч детей, одну половину которых отправили в детсады, а другую оставили на попечении родителей. Это также не означает, что исследователи просто сравнили успеваемость в начальной школе детей, посещавших детсад, и детей, находившихся дома, не отдавая себе отчета в том, что эти две группы детей фундаментально разнятся между собой по ряду других показателей. В разных семьях принимаются разные решения относительно воспитания детей именно потому, что эти семьи – разные. В одних семьях детей воспитывают оба родителя, в других – только один. Есть семьи, где работают оба родителя, а есть – где только один. Какие-то семьи более состоятельны и образованны, какие-то менее. Все эти факторы так или иначе сказываются на принятии решений относительно воспитания детей и не могут не влиять на их успеваемость во время учебы в начальной школе. В случае надлежащего выполнения регрессионный анализ помогает оценить влияние воспитания, исключив из рассмотрения другие факторы воздействия на детей: семейный доход, структуру семьи, образование родителей и т. п.

В приведенном выше предложении есть два ключевых словосочетания. Первое: «в случае надлежащего выполнения». Сегодня при наличии соответствующих данных и доступа к персональному компьютеру даже шестилетний ребенок может воспользоваться какой-либо статистической программой для получения результатов регрессионного анализа, поскольку это не потребует практически никаких умственных усилий. Проблема не в выполнении регрессионного анализа как такового, главная трудность – определить, какие именно переменные следует рассматривать в этом анализе и как это лучше всего сделать. Регрессионный анализ подобен многим современным универсальным электромеханическим инструментам: им относительно легко пользоваться, но трудно это делать эффективно, не говоря уже о том, что при ненадлежащем использовании, то есть неумелом обращении, он оказывается потенциально опасен.

Второе важное словосочетание: «помогает оценить». Наше исследование воспитания детей не дает нам «правильного» ответа относительно зависимости между способом воспитания ребенка (в детсаду или дома) и его успеваемостью в начальной школе. Вместо этого оно оценивает величину этой связи у конкретной группы детей на определенном отрезке времени. Можем ли мы сделать выводы, применимые к более широкой совокупности? Да, но при этом нам придется иметь дело с такими же ограничениями и условиями, с какими мы сталкиваемся, делая любой другой статистический вывод. Во-первых, используемая нами выборка должна быть репрезентативной, то есть представлять всю интересующую нас совокупность. Исследование 2000 детей в Швеции не позволит нам прийти к сколь-нибудь значимым выводам относительно оптимальных методов дошкольного образования детей в сельскохозяйственных районах Мексики. И во-вторых, не следует забывать о существовании разброса между выборками. Если мы выполняем ряд исследований, касающихся детей и их воспитания, то их результаты будут несколько отличаться между собой, даже если используемые при этом методологии будут одинаковы и совершенно надежны.

Регрессионный анализ подобен проведению опросов общественного мнения. Обнадеживает то, что при применении крупной репрезентативной выборки и правильной методологии наблюдаемая взаимосвязь между данными выборки не должна существенно отличаться от истинной взаимосвязи для совокупности в целом. Если у 10 000 человек, занимающихся спортом не менее трех раз в неделю, уровень заболеваемости сердечно-сосудистой системы значительно ниже, чем у 10 000 человек, не занимающихся спортом (но не отличающихся от первых 10 000 человек во всех остальных отношениях), то весьма высока вероятность того, что мы будем наблюдать аналогичную связь между регулярными занятиями спортом и уровнем заболеваемости сердечно-сосудистой системы для более широкой совокупности. Именно поэтому мы выполняем исследования такого рода. (Задача ученых вовсе не в том, чтобы по завершении исследования упрекнуть тех, кто не занимается спортом и имеет проблемы с сердцем, что в свое время им не следовало игнорировать эти занятия.)

Плохо, однако, то, что мы не можем с полной уверенностью утверждать, что занятия спортом предотвращают возникновение сердечно-сосудистых заболеваний. Вместо этого мы отвергаем нулевую гипотезу о том, что занятия спортом никак не связаны с болезнями сердца. Отвергнуть ее нам позволяет достижение определенного статистического порога, выбранного еще до начала выполнения исследования. Если конкретнее, то авторы данного исследования должны были бы указать, что в случае, если занятия спортом никак не связаны с сердечно-сосудистыми заболеваниями, вероятность наблюдения столь заметной разницы в уровне заболеваемости сердечно-сосудистой системы между теми, кто регулярно занимается спортом, и теми, кто им не занимается, в этой крупной выборке должна быть менее 0,05 или ниже какого-то другого порога статистической значимости.

Давайте остановимся на мгновение и помашем нашим первым гигантским желтым флагом[56]. Допустим, что в этом конкретном исследовании сравнивалась большая группа людей, регулярно играющих в сквош, с людьми из такой же по величине группы, которые вообще не занимаются спортом. Игра в сквош обеспечивает неплохую нагрузку на сердечно-сосудистую систему. Однако нам также известно, что игроки в сквош – достаточно состоятельные люди, чтобы быть членами клубов, располагающих хорошими сквош-кортами. Богатые люди могут себе позволить уделять должное внимание здоровью, что также способствует снижению заболеваемости их сердечно-сосудистой системы. Если выполненный нами анализ страдает небрежностями, то хорошее состояние здоровья можно объяснить игрой в сквош, хотя на самом деле оно объясняется высокими доходами, которые дают человеку возможность играть в сквош (в таком случае даже увлечение игрой в поло можно при желании связать с хорошим состоянием здоровья, если, конечно, закрыть глаза на то, что во время игры в поло большая часть физической работы выполняется лошадью).

Ничто не мешает нам также предположить, что причинно-следственные связи имеют противоположную направленность. Может быть, здоровое сердце является «причиной» того, что человек занимается спортом? Почему бы и нет! Те, кто не блещет здоровьем, – особенно люди с врожденными заболеваниями сердца, – не могут полноценно заниматься спортом, что вполне понятно. Вряд ли они в состоянии регулярно играть в сквош. Опять-таки, если выполненный нами анализ сделан небрежно или чрезмерно упрощен, утверждение о том, что занятия спортом способствуют улучшению здоровья, может лишь отражать то обстоятельство, что тем, кто им не блещет, бывает очень нелегко заниматься спортом. В этом случае игра в сквош никоим образом не улучшает состояние здоровья – а лишь отделяет здоровых от больных.