Что значит «контролировать переменные» в научном исследовании? Объясняет статистик

Научные исследования и новостные материалы о них часто заявляют, что исследование «контролировало» определённые переменные. Например, Washington Post сообщила об исследовании препаратов GLP-1 и гормонального расстройства. В статье отмечалось, что «женщины на GLP-1 потеряли больше веса, чем те, кто был в контрольных группах». Несколько месяцев ранее Post писала о другом исследовании GLP-1 и травм костей и сухожилий. Там говорилось, что «исследователи контролировали возраст, пол, расу и употребление табака» и обнаружили, что у людей, принимающих GLP-1, риск скелетных нарушений выше, чем у тех, кто их не принимает.

Такая формулировка обычно создаёт впечатление, что наличие контроля повышает достоверность. Но что именно означает «контроль»? И стоит ли впечатляться этим? Я статистик с многолетним опытом, и мои недавние исследования показали, что 90% взрослых американцев принимали бы решения на основе статистики — по крайней мере иногда — если бы лучше понимали базовые концепции. Контроль — одна из таких концепций. Понимание контроля помогает оценить, насколько выводы исследования подкреплены доказательствами, и судить об интерпретации новых исследований в СМИ.

Контроль может означать разные вещи в зависимости от дизайна исследования. Большинство исследований делятся на две категории: экспериментальные и обсервационные. В экспериментальном исследовании исследователи могут давать препарат или лечение одним участникам и не давать другим. Контрольная группа — это люди, не получившие препарат или лечение. В исследовании потери веса и гормональных расстройств у женщин исследователи давали GLP-1 некоторым участницам и не давали другим, чтобы сравнить результаты между двумя группами. Здесь «контроль» означает, что исследователи напрямую влияли на то, как генерируются данные.

С другой стороны, в обсервационном исследовании исследователи изучают существующие данные, например электронные медицинские записи, чтобы найти закономерности. Они используют различные статистические инструменты, чтобы увидеть, как разные факторы, такие как возраст или пол, могли повлиять на результаты людей, независимо от того, кто получал лечение. Этот шаг помогает убедиться, что связь между лечением и исходом не вызвана одной из известных переменных, влияющих на оба.

Вот пример. В исследовании GLP-1 и травм костей исследователи контролировали возраст, пол, расу и употребление табака. Это означает, что они сравнивали травмы среди людей, подходящих под каждую из этих категорий, чтобы увидеть, существуют ли различия между теми, кто принимает GLP-1, и теми, кто нет. Например, предположим, что курильщики чаще принимают GLP-1, и что само курение независимо повышает риск травм костей. Если исследователи не контролируют курение, будет казаться, что использование GLP-1 связано с большим количеством травм костей просто потому, что многие пользователи GLP-1 также курят. Здесь «контроль» означает учёт элементов уже собранных данных, на которые исследователи не влияли.

В экспериментальном исследовании нового препарата учёные случайным образом определяют, кто получает лечение, а кто нет. Люди, не получающие лекарство, обычно получают плацебо, например, пустышку. Они составляют контрольную группу. Более того, если учёные знают, что определённые факторы могут повлиять на исход исследования, такие как тяжесть заболевания или другие принимаемые участниками лекарства, они могут рандомизировать лечение внутри таких групп. Это называется стратификацией; она предотвращает непреднамеренное назначение непропорционального числа участников с одним конкретным качеством в группу лечения или плацебо.

Например, одно экспериментальное исследование 2021 года изучало потерю веса среди людей с диабетом 2 типа, получавших препарат GLP-1. Исследователи позаботились о том, чтобы группы лечения и контроля состояли из случайно отобранных людей с разными исходными уровнями сахара в крови, а также тех, кто принимал разные лекарства от диабета. Так они менее склонны случайно назначить непропорциональное число участников, например, с самым высоким уровнем сахара, в группу плацебо. Этот шаг также помогает исследователям вычислить эффект лечения с большей точностью.

Участники экспериментального исследования могут не полностью представлять всё разнообразие людей, которые когда-либо могут получить одобренное лечение. Включить достаточно людей, чтобы охватить каждую вариацию, может быть невозможно или непомерно дорого. Эта проблема часто заставляет исследователей обращаться к обсервационным исследованиям, также называемым исследованиями реальных данных. В этих случаях исследователи используют существующие записи; рандомизация невозможна. Вместо этого они используют различные статистические инструменты для учёта факторов, которые могли повлиять на лечение и исходы.

Например, в обсервационном исследовании GLP-1 исследователи использовали базы данных медицинских записей и оценили, сколько веса потеряли люди, принимающие GLP-1, по сравнению с людьми, принимающими другие лекарства от диабета 2 типа. Для обсервационных исследований неспособность контролировать — учитывать — важные переменные может подорвать доверие к результатам. Например, обсервационное исследование могло сообщить о пользе для здоровья какой-либо пищевой добавки, не контролируя исходные различия в здоровье между пользователями и не-пользователями. В таких случаях более здоровые люди могли с большей вероятностью самостоятельно выбрать приём добавки, создавая впечатление, что добавка полезна для здоровья, даже когда это не так. Многие такие findings впоследствии не воспроизводятся в экспериментальных исследованиях, которые контролируют эти источники смещения через рандомизацию.

Попытка контролировать каждую возможную переменную тоже была бы проблемой. Если они на самом деле не связаны с интересующими переменными — а при проведении исследования учёные не знают наверняка, какие связаны, — больше контрольных переменных делает математические оценки менее точными. Контроль определённых переменных, называемых коллайдерами, может исказить эффект, который интересует исследование. Когда вы видите результаты обсервационных исследований, попробуйте подумать, не находится ли исследование на одной из этих крайностей — контроль слишком малого или слишком большого числа переменных.

Чтобы помочь людям разобраться в различных видах контроля, я подготовил онлайн-приложение, позволяющее сравнивать анализы в обсервационном и экспериментальном подходах с использованием смоделированных данных. Вам не нужно быть учёным, чтобы изучать исследования, которые вызывают у вас интерес. Но важно понимать, что даже такие, казалось бы, интуитивные термины, как «контролируемый», могут иметь совершенно разные значения. В следующий раз, когда вы встретите в СМИ историю о новом открытии, подумайте, было ли исследование обсервационным или экспериментальным, и что именно контролировали исследователи. Понимание этих различий поможет вам лучше судить, какие выводы доказательства могут уверенно поддерживать.

Итог: «Контроль переменных» — не магическое слово, повышающее достоверность. В экспериментах контроль означает рандомизацию и плацебо. В обсервационных исследованиях — статистический учёт известных факторов. И то, и другое важно, но не гарантирует истину. Слишком мало контроля — плохо, слишком много — тоже. В следующий раз, когда увидите заголовок «учёные контролировали возраст и пол», спросите себя: а что они не контролировали? И было ли это экспериментом или просто наблюдением?