Защита от темных искусств - Александр Панчин

Рассмотрите [данные] со всех углов. Анализируйте представителей разных полов отдельно. Вводите новые обобщенные показатели. Если что-то свидетельствует в пользу новой гипотезы, попробуйте найти для нее дополнительные подтверждения среди всех имеющихся данных. Если видите слабые намеки на любопытную закономерность, попробуйте реорганизовать данные так, чтобы выявить ее почетче. Если есть участники, которые вам не нравятся, испытания, наблюдатели или интервьюеры, давшие аномальные результаты, – исключите их (временно). Попробуйте выудить что-нибудь – что угодно – интересное.

‹…›

Когда вы закончите анализ, возможно, вы решите, что данные недостаточно убедительны, чтобы строго подтвердить ваши новые взгляды, но теперь вы по крайней мере готовы спланировать “правильное” исследование. ‹…› Или же, наоборот, данные могут оказаться достаточно убедительными для того, чтобы обосновать перестраивание вашей статьи вокруг новых находок и отодвижение на второй план или даже игнорирование исходных гипотез.

‹…›

Представьте свой набор данных драгоценным камнем. Ваша задача – огранить и отполировать его, выбрать грани, которые стоит подчеркнуть…

Такой подход не направлен на поиск правды, но это лишь косвенная улика. Можно ли обосновать, что Бем – настоящий техасский стрелок, а его драгоценные камни – фальшивки? Что он опубликовал результаты не всех экспериментов, а лишь получившихся?

За эту задачу взялся психолог Сэмюел Молтон из Гарвардского университета. Причина его скептицизма проста: в прошлом он был сторонником парапсихологии и ставил похожие эксперименты. Кроме того, он пытался воспроизвести некоторые результаты Бема, но у него ничего не получилось. Всего Молтон провел пять исследований, посвященных предвидению будущего[564].

Еще Молтон и его коллега попробовали обнаружить парапсихологические эффекты с помощью томографа[565]. Они набрали шестнадцать пар добровольцев: идентичных близнецов, влюбленных, друзей, родителей с детьми. Один человек из пары, находясь в томографе, должен был предугадать, какую из двух картинок ему покажут. В каждом тесте одна из потенциальных картинок была эротической либо неприятной, а вторая – нейтральной. Второй человек из пары знал правильный ответ и пытался телепатически его передать. Впрочем, справиться с заданием можно было не только с помощью телепатии. Предвидение будущего или дистанционное зрение (умение увидеть, что происходит в другой комнате) помогли бы не хуже. Так исследователи пытались максимально повысить вероятность успеха.

Испытуемые угадывали картинки с вероятностью 50 %. Исследователям не удалось обнаружить разницы в активности мозга добровольцев при правильных и неправильных ответах. В итоге Молтон окончательно разочаровался в парапсихологии. “Зато томограмма мозга моей матери была опубликована на обложке научного журнала”, – шутил ученый.

Молтон отмечал, что его собственные данные не просто не подтверждали того, что предвидение существует, а достоверно отличались от результатов Бема – и этому должно быть объяснение.

Существует способ проверить, не утаена ли часть данных[566]. Известно, что ученые склонны публиковать успешные результаты исследований независимо от размера использованной выборки. Избавиться от масштабных исследований с отрицательными результатами сложно. Отбрасывают преимущественно неудачные исследования с маленькими выборками. И тогда возникает особенность, которой не должно быть при честном изложении всех результатов: исследования с большой выборкой в среднем показывают меньший эффект, чем исследования с малой выборкой. Именно это Молтон обнаружил в экспериментах Бема. Похожую проблему нашли и другие исследователи[567]. И это не было похоже на случайность.

Есть и другие ситуации, когда наблюдается такая особенность. Предположим, что мы заранее не обозначили, сколько испытуемых будет в эксперименте. Протестировав человек двадцать и не добившись нужного результата, мы привлечем еще двадцать испытуемых, а затем еще и еще – до тех пор, пока не получим нужный результат (p < 0,05). Последствия такого подхода будут те же: чем больше выборка, тем слабее эффект. Результаты Бема в отдельных экспериментах были подозрительно близки к формальному статистическому порогу (p < 0,05), что согласуется с этой версией.

Третий способ всех обмануть – не формулировать четкой гипотезы, предсказывающей, в какую сторону должен проявляться эффект. Какие-то картинки “из будущего” испытуемые предугадывали, а какие-то – нет. Случаи второго типа Бем объяснял так: люди уже видели изображения в будущем, поэтому привыкли к ним и не считают интересными или яркими. Отклонения в обе стороны засчитывались за подтверждение феномена. Вместо того чтобы вычитать разнонаправленные ошибки измерений, он их складывал! А поскольку в маленьких выборках ошибки больше, то и измеренный эффект возрастает. Большинство экспериментов Бема отличаются постановкой, поэтому прямого противоречия не возникает: другие условия – другой результат. Так и хочется спросить: почему же ученый провел столько разных экспериментов, вместо того чтобы повторить один много раз? Ведь любой из описанных Бемом эффектов, будь он подтвержден, тянет по значимости на Нобелевскую премию.

Подчеркну, что перечисленные претензии можно предъявить не только к работе Бема, но и к исследованиям многих других ученых из самых разных областей. Приемы, использующиеся в подобных исследованиях, способствуют получению ложноположительных результатов. Ситуация осложняется еще и тем, что деятельность ученых часто оценивают по числу публикаций – вот почему многие цепляются даже за ненадежные эффекты. Кстати, ошибочная работа, которую многие опровергают, еще и цитируется часто. Поэтому опубликованная ерунда, к сожалению, не всегда вредит академической карьере.

В 2012 году психолог Арина Боунс написала сатирическую статью, где отметила, что в психологии более 97 % публикаций содержат положительные результаты[568]. Разве это не прямое доказательство того, что ученые предвидят исходы своих экспериментов еще лучше, чем испытуемые в исследованиях Бема! “Это делает последующую эмпирическую проверку излишней. Сделал предсказание – и нет никаких логических обоснований тратить ресурсы на реальный сбор данных и их анализ”, – шутит Боунс.