В интернете кто-то неправ! Научные исследования спорных вопросов - Ася Казанцева

Если мы предполагаем, что какая-то публикация является научной статьей из рецензируемого журнала, это уже хорошо. Но насколько серьезно стоит ее воспринимать? Есть ряд косвенных, почти интуитивных признаков, позволяющих оценить вероятность того, что текст качественный. Некоторые из них я уже упоминала по ходу книжки. Чем больше выборка – тем выше шансы на то, что авторы пришли к верным выводам. Попытка найти корреляции между миллионом вещей сразу – плохой признак, потому что при таком подходе их нетрудно найти случайно. Двойное слепое плацебо-контролируемое исследование лекарственного препарата всегда надежнее, чем любой другой метод изучения его эффективности. Если авторов у статьи несколько, то это обычно лучше, чем если автор один (потому что они друг друга дополнительно предостерегают от ошибок). Чем больше времени прошло с момента публикации статьи, тем выше вероятность, что по этому вопросу уже получены дополнительные данные, всегда полезно это проверить. Чем больше статью цитировали другие ученые, тем больше шансов, что она важная и значимая; правда, этот критерий неприменим к статьям, которые вышли недавно, потому что те, кто будет их цитировать, еще не успели опубликовать свои исследования. И вообще всё это косвенные признаки, для которых нетрудно найти контрпримеры.

Самый лучший формальный критерий, позволяющий сделать достаточно обоснованное предположение о качестве научной статьи даже прежде, чем вы начнете ее читать, – это рейтинг журнала, в котором статья опубликована. У обыкновенных журналов, с барышнями на обложке, рейтинг определяется числом читателей, что неизбежно приводит к стремлению публиковать тексты яркие, удивительные и провокационные. А у научных журналов рейтинг определяется числом цитирований в других исследовательских работах, что приводит к стремлению публиковать статьи надежные и достоверные, чтобы достойным людям не было стыдно на них ссылаться. Численная характеристика крутости журнала называется импакт-фактор, IF. Это отношение числа цитирований этого журнала к общему числу опубликованных в нем статей. Рассчитывается так: если в 2013–2014 годах условный журнал “Секреты свиноводства” опубликовал 100 статей, а в 2015 году эти статьи были в общей сложности процитированы в других научных журналах 500 раз, то импакт-фактор “Секретов свиноводства” за 2015 год составит 500/100 = 5. Понятно, что на эту цифру влияет не только значимость статьи для науки, но и ее тематика – описания методов и обзорные исследования получают в среднем больше ссылок, чем экспериментальные работы, а модные темы типа исследований рака получают в среднем больше ссылок, чем исследования, скажем, почечной недостаточности. Однако за неимением лучшего, сравнивая два журнала, стоит ориентироваться именно на их импакт-факторы. Хотя бы потому, что при наличии выбора все исследователи хотят публиковаться в журналах с большим IF и первым делом отправляют свои статьи именно туда. Если редакция журнала считает, что статья хорошая, и рецензенты тоже так считают, то статью публикуют. Если же нет, то в публикации отказывают – и уже только после этого бредут незадачливые ученые, солнцем палимы, в журнал с низким импакт-фактором, который на безрыбье согласен смотреть на недостатки работы сквозь пальцы. Вот некоторые примеры журналов, которые (в абсолютном большинстве случаев) публикуют качественные статьи: Nature (IF=41,5), Science (31,5), The Lancet (39,2), The New England Journal of Medicine (55,9), Cell (32,2). Для сравнения, журнал Homeopathy, публикующий исследования гомеопатических препаратов, может похвастаться импакт-фактором 0,76. В случае Journal of Acupuncture and Meridian Studies, к которому я была вынуждена обратиться в связи с попытками научно объяснить рефлексотерапию, импакт-фактор, кажется, вообще не оценен официально. Но по расчетам издательского дома Elsevier, выпускающего этот журнал (а также ряд приличных), индекс цитирования составляет 0,93. То есть в обоих случаях получается, что почти на каждую статью, публикуемую в этих, мм, рецензируемых научных журналах, кто-нибудь один все-таки ссылается. Рекомендую послушать на YouTube песенку “Радость взаимного цитирования”.

Как обстоят дела в России? Тренд положительный: прямо сейчас активно обсуждается радикальное сокращение перечня ВАК – списка журналов, публикации в которых учитываются при присуждении ученой степени (наряду с публикациями в западных рецензируемых журналах). По-видимому, к концу 2015 года в нем останется около 300 самых приличных журналов. Но пока я пишу этот текст, в перечень ВАК все еще входят 2269 изданий на русском языке, и ситуация была примерно такой в течение многих лет. Оценивают их авторитетность обычно с помощью Российского индекса научного цитирования, который, впрочем, рассчитывается аналогично импакт-фактору. По данным научной электронной библиотеки Elibrary.ru, у абсолютного российского рекордсмена, журнала “Авиационные материалы и технологии”, индекс цитирования составляет 6,98. Среди журналов, которые библиотека относит к медицинским, первое место в рейтинге занимает “Суицидология” с индексом цитирования 4,27. Всего среди российских 2269 официально признанных научных журналов насчитывается 17 изданий с индексом цитирования больше двух и 104 издания, чей индекс цитирования превышает единицу (то есть на каждую опубликованную в них статью ссылается в среднем хотя бы один исследователь). Это, в принципе, нормальная ситуация для любых неанглоязычных журналов (если у вас есть хорошие данные, то вы опубликуете их на английском, потому что это международный язык науки). Но это означает, что к любой публикации не на английском нужно относиться с осторожностью и гуглить базы поиска по научным статьям нужно, все-таки используя общепринятый язык.

You probably think that you have to speak English fuently to read scientifc papers, but in fact if you understand this sentence, your level is good enough. Даже если вам некомфортно читать на английском, все равно лучше понять со словарем хотя бы абстракт статьи из Nature, чем подробнейшим образом ознакомиться с публикацией по той же теме из условных “Секретов свиноводства”. Просто потому, что в Nature, скорее всего, опубликована хорошо обоснованная информация. А в “Секретах свиноводства”, с высокой вероятностью, нет.

Каким образом нормальный человек без навыков академической работы может найти научную статью по интересующему его вопросу? Для этого нужно воспользоваться специализированной системой поиска по научным статьям. К сожалению, некоторые из них требуют регистрации и подтверждения принадлежности к научным организациям. Человеку с улицы разумно использовать две поисковые системы: PubMed и Google Scholar. Первая индексирует журналы, входящие в базу данных MEDLINE, то есть полезна прежде всего для поиска статей по медицине и смежным областям. Вторая индексирует вообще всё, что Google по каким-то причинам посчитал научными текстами (даже мою первую книжку!), соответственно, требует более критического подхода, зато приносит больше информации. В обеих системах есть много удобных фильтров, но, насколько мне известно, нет возможности сортировать статьи по числу цитирований или по импакт-фактору журнала, так что это все-таки приходится оценивать самостоятельно. Для того чтобы вводить поисковый запрос, полезно представлять, как именно называется в академической среде интересующий вас феномен. Иногда это приходится делать методом перебора разных вариантов, иногда помогает внимательное прочтение английской Википедии по соответствующей тематике (она, кстати, сама часто ссылается на важные исследования), иногда стоит попробовать сначала ввести запрос в обычной поисковой системе и посмотреть, какие синонимы она предлагает. Скажем, когда я писала вступление к главе про вегетарианство и хотела найти, сколько времени тратят на питание гориллы и шимпанзе, я довольно долго и мучительно билась с разными запросами, пока не осознала, что нужно использовать словосочетание time budget (или activity budget) и тогда всё находится мгновенно.