Дети против академиков. Научная сага

Конечно, честнее было бы назвать этот пост «школьники против члена-корреспондента РАН», но так звучит красивее, а сути не меняет. Итак, недавно я ездил на Летнюю Школу с лекцией про псевдонаучные заблуждения. На следующий день мы с куратором биологического отделения решили провести для учеников интерактивный семинар, чтобы выяснить, смогут ли школьники-биологи самостоятельно найти и обосновать ошибки в статьях, опубликованных в международных рецензируемых научных журналах.

В том, что ошибки будут, я почти не сомневался. Доктор медицинских наук, член-корреспондент РАН Олег Эпштейн, работы которого предстояло анализировать, уже имеет три отозванных статьи и две статьи, отмеченные издательством как «вызывающие сомнения» (Notice of concern). Мы с коллегами разбирали и критиковали и другие его работы, посвященные так называемым релиз-активным препаратам или, как я люблю говорить, «стыдливой гомеопатии». «Стыдливой» потому, что когда-то препараты назывались гомеопатическими, но потом это слово исчезло из их описания. А вот действующего вещества не прибавилось – как были 12 последовательных сотенных разведений, так и остались. Желающие узнать подробности могут прочитать мою статью «Стыдливое мракобесие» (научно-популярный вариант) или нашу с коллегами работу «Drug discovery today: no molecules required» (Открытие лекарств сегодня: молекулы не нужны) в British Medical Journal Evidence Based Medicine.

По релиз-активным препаратам у Олега Эпштейна есть целый ряд статей, опубликованных в средненьких, но все же приличных научных журналах. Раз статьи вышли в свет, значит, ни авторы, ни рецензенты, ни редакторы проблем не увидели. А что насчет школьников?

Я отобрал четыре статьи, которые вышли последними и при этом не разбирались кем-либо ранее. В каждой из них школьники нашли серьезные ошибки. Не хочу раскрывать все карты, пока мы не отправим критику в сами журналы, но один яркий пример того, что школьники заметили, а различные доктора и кандидаты медицинских наук – нет, разберу.

Статья Олега Эпштейна в журнале Inflammation называется «Release-Active Dilutions of Diclofenac Enhance Anti-inflammatory Effect of Diclofenac in Carrageenan-Induced Rat Paw Edema Model», что переводится как «Релиз-активные разведения диклофенака усиливают противовоспалительный эффект диклофенака в модели эдемы лапки крысы, индуцированной каррагинаном». Эдема – это такое опухание тканей тела. Каррагинан – вещество, вызывающее воспаление. Не путать с Сарой Керриган, хотя Зерги тоже могут плодить «опухоли». С 2014 года статья цитировалась 27 раз (в основном самим Эпштейном, разумеется).

Идея статьи такая: если взять самый обычный противовоспалительный препарат диклофенак и добавить к нему еще диклофенака, но разведенного так, что на самом деле там не будет никакого лекарства, то действие препарата усилится. Уже забавно! Схема эксперимента такая:

1. Берем 9 групп по десять крыс;
2. Измеряем размер их лапок;
3. Через час даем им одну из комбинаций препаратов и/или пустышек;
4. Через час вводим им каррагинан ;
5. Измеряем размер опухающих лапок через 1, 2, 3, 4, 6 часов после, вычитаем исходный размер лапок и получаем объем воспаления;
6. Сравниваем группы между собой.

Какие девять групп использовались в эксперименте?

1. Релиз-активный диклофенак + диклофенак первого производителя 5mg/kg;
2. Плацебо + диклофенак первого производителя 5mg/kg;
3. Релиз-активный диклофенак + диклофенак второго производителя 5mg/kg;
4. Плацебо + диклофенак второго производителя 5mg/kg;
5. Релиз-активный диклофенак;
6. Плацебо;
7. Диклофенак 5mg/kg;
8. Диклофенак 20mg/kg;
9. Контроль (раствор для диклофенака).

В качестве плацебо выступает раствор, в котором разводили бы диклофенак, чтобы сделать его релиз-активным.

Что заметили школьники? Вместо того чтобы показать все девять групп на одном графике или на одной таблице, авторы делают странную и очень подозрительную вещь.

В одной таблице и на одном графике сравниваются группы 1,3,5,7,8,9. На другой 2,4,6,7,8,9. Обратите внимание, что при этом пропадают самые актуальные сравнения: релиз-активный препарат против плацебо и релиз-активный препарат + диклофенак против плацебо + диклофенак. Ведь если релиз-активность существует и работает так, как это воображает Эпштейн, то должна быть разница!

Давайте сравним эти цифры! Размер эдемы указан в миллилитрах ± стандартная ошибка. Напомню, что в каждой группе было 5 измерений воспаленной лапки: через 1, 2, 3, 4 и 6 часов.

Итак, сравним группу 1 и контроль к ней (группу 2):

Релиз-активность:
0.14 ± 0.01, 0.17 ± 0.02, 0.33 ± 0.05, 0.34 ± 0.04, 0.37 ± 0.03
Плацебо:
0.12 ± 0.02, 0.23 ± 0.03, 0.35 ± 0.05, 0.42 ± 0.06, 0.39 ± 0.04

Авторы пишут, что использовали тест ANOVA для оценки p-value (оценивается вероятность, что случайный шум в данных сам по себе даст такие или большие отличия между группами). Возможно, здесь это не самый правильный тест, но данных по отдельным животным у нас все равно нет, поэтому давайте применим их же критерии и пороги (p<0.05).

P-value в этих сравнениях: 0.3829; 0.1134; 0.7805; 0.2819; 0.6939.

Вы видите разницу? Я нет. Все отличия на уровне шума. А ведь мы даже не применяем поправку на множественные сравнения и используем очень мягкий порог (p < 0.05).

Сравним группу 3 и контроль к ней (группу 4).

Релиз-активность:
0.14 ± 0.02, 0.16 ± 0.03, 0.31 ± 0.05, 0.31 ± 0.05, 0.31 ± 0.05
Плацебо:
0.12 ± 0.01, 0.20 ± 0.03, 0.31 ± 0.04, 0.41 ± 0.03, 0.43 ± 0.04
P-value в этих сравнениях:
0.3829; 0.3583; 1; 0.1035; 0.0772

Сравним группу 5 и контроль к ней (группу 6).

Релиз-активность:
0.15 ± 0.02, 0.40 ± 0.05, 0.58 ± 0.05, 0.51 ± 0.04, 0.46 ± 0.03
Плацебо:
0.20 ± 0.03, 0.47 ± 0.03, 0.60 ± 0.03, 0.56 ± 0.04, 0.52 ± 0.04
P-value в этих сравнениях:
0.1825; 0.2455; 0.7356; 0.7813; 0.2457

Итак, ни в одном сравнении не получается даже пресловутый p<0.05. Релиз-активный диклофенак действует не лучше и не хуже, чем плацебо, а релиз-активный диклофенак плюс диклофенак не лучше и не хуже, чем просто диклофенак. Как и следовало ожидать, чудес не бывает, гомеопатия не работает.

Как обойти эту проблему авторам, которые зарабатывают миллиарды на сахарных шариках с релиз-активностью? Правильно, эти сравнения вообще не показывать и не обсуждать. Поэтому их и нет на графиках и в таблицах.

Зато авторы пишут, что «через два часа после применения релиз-активный диклофенак в сочетании с диклофенаком в концентрации 5mg/kg обладает противовоспалительной активностью, схожей с более высокой дозой диклофенака (20mg/kg)». И дальше рассуждают о том, что механизм, которым релиз-активный диклофенак усиливает обычный, пока не известен. И что релиз-активный диклофенак поможет использовать меньше диклофенака, снижая его токсичность. Что никак не следует из результатов.

Ну и вишенка на торте. Авторы прямым текстом пишут, что у них нет конфликта интересов («The authors have no competing interests or potential conflicts of interest to report»). При том, что один из авторов – владелец и директор компании, которая производит релиз-активные препараты. То есть это просто очередная попытка скрыть неудобные факты, чтобы рецензенты ничего не заподозрили.

Кстати, в трех других статьях такое же «веселье». Если вам интересно, напишу подробности в отдельном посте.

Вот и выходит, что мы живем в удивительное время. Школьники знают больше про научный метод, чем некоторые доктора наук, члены-корреспонденты РАН, главы департаментов исследований и разработки фармкомпаний (еще один соавтор статьи занимает такую должность в Materia Medica). Получается, вся надежда – на подрастающее поколение.

В этом я еще больше убедился после поездки в «Сириус», где я рецензировал научные проекты других школьников. Например, одна группа подростков прочитала и собрала полный геном винограда. Как вам такое? Другие проекты тоже были весьма достойные и интересные. Так что есть надежда на будущее. А вот торговцам сахаром давно пора уходить.

Выражаю благодарность школьникам и студентам, которые разбирали статьи:

Команда 1: Салимгареев Артём, Комаров Ярослав, Казаков Михаил, Мячина Арина, Ткаченко Елена, Ланевский Сергей.
Команда 2: Капицына Ольга, Чирков Николай, Царева Анастасия, Красавина Майя, Козлов Бронислав.
Команда 3: Новикова Полина, Слащев Федор, Сапарова Дарья, Куваева Елизавета, Астафьева Ангелина, Федотова Светлана, Сивоволенко Дария, Гостеева Ева, Евлахова Мария, Филина Анна.
Команда 4: Шевякова Варвара, Бушуева Софья, Француаза Ли, Дьяконов Фёдор, Литвинова Анастасия, Бабкина Ольга.

И их куратору Вере Копыловой, которая придумала такой проект.

Update: мы победили, статью отозвали.

Tags: гомеопатия, лженаука, мракобесие, научные анекдоты

Recent Posts from This Journal

«Биомонстры из США»: кто создал ВИЧ и SARS-CoV-2

14 ноября 1984 года. В немецкой газете Wechselwirkung появляется статья, согласно которой возбудитель СПИДа мог появиться из-за несоблюдения условий…
Свобода в социальных сетях

Не в первый раз встречаю людей, считающих, что, когда социальные сети банят кого-то за те или иные идеи или высказывания (не призывающие к насилию и…
Размножение как смысл жизни. В чём я не согласен со Станиславом Дробышевским

Станислав Дробышевский – замечательный лектор и антрополог, который привил огромному числу слушателей любовь к науке. Однако сейчас я планирую…

darkhon

July 27 2019, 21:21:22 UTC 1 year ago

Collapse
Expand
New comment

Мои крысы против!

congregatio

July 27 2019, 21:24:23 UTC 1 year ago

Collapse
Expand
New comment

Хорошее название для критической статьи на тему. "Крысы против!".

dmitriyfree

July 27 2019, 21:33:18 UTC 1 year ago Edited: July 27 2019, 21:34:42 UTC

Collapse
Expand
New comment

А что мешает то авторам таких статей просто тупо подгонять в статье приведенные данные экспериментов под требуемый результат, я все никак не пойму? То бишь указывать просто ложные данные