scinquisitor (scinquisitor) wrote,
scinquisitor
scinquisitor

Categories:

Дети против академиков. Научная сага

Конечно, честнее было бы назвать этот пост «школьники против члена-корреспондента РАН», но так звучит красивее, а сути не меняет. Итак, недавно я ездил на Летнюю Школу с лекцией про псевдонаучные заблуждения. На следующий день мы с куратором биологического отделения решили провести для учеников интерактивный семинар, чтобы выяснить, смогут ли школьники-биологи самостоятельно найти и обосновать ошибки в статьях, опубликованных в международных рецензируемых научных журналах.

В том, что ошибки будут, я почти не сомневался. Доктор медицинских наук, член-корреспондент РАН Олег Эпштейн, работы которого предстояло анализировать, уже имеет три отозванных статьи и две статьи, отмеченные издательством как «вызывающие сомнения» (Notice of concern). Мы с коллегами разбирали и критиковали и другие его работы, посвященные так называемым релиз-активным препаратам или, как я люблю говорить, «стыдливой гомеопатии». «Стыдливой» потому, что когда-то препараты назывались гомеопатическими, но потом это слово исчезло из их описания. А вот действующего вещества не прибавилось – как были 12 последовательных сотенных разведений, так и остались. Желающие узнать подробности могут прочитать мою статью «Стыдливое мракобесие» (научно-популярный вариант) или нашу с коллегами работу «Drug discovery today: no molecules required» (Открытие лекарств сегодня: молекулы не нужны) в British Medical Journal Evidence Based Medicine.

По релиз-активным препаратам у Олега Эпштейна есть целый ряд статей, опубликованных в средненьких, но все же приличных научных журналах. Раз статьи вышли в свет, значит, ни авторы, ни рецензенты, ни редакторы проблем не увидели. А что насчет школьников?

Я отобрал четыре статьи, которые вышли последними и при этом не разбирались кем-либо ранее. В каждой из них школьники нашли серьезные ошибки. Не хочу раскрывать все карты, пока мы не отправим критику в сами журналы, но один яркий пример того, что школьники заметили, а различные доктора и кандидаты медицинских наук – нет, разберу.





Статья Олега Эпштейна в журнале Inflammation называется «Release-Active Dilutions of Diclofenac Enhance Anti-inflammatory Effect of Diclofenac in Carrageenan-Induced Rat Paw Edema Model», что переводится как «Релиз-активные разведения диклофенака усиливают противовоспалительный эффект диклофенака в модели эдемы лапки крысы, индуцированной каррагинаном». Эдема – это такое опухание тканей тела. Каррагинан – вещество, вызывающее воспаление. Не путать с Сарой Керриган, хотя Зерги тоже могут плодить «опухоли». С 2014 года статья цитировалась 27 раз (в основном самим Эпштейном, разумеется).

Идея статьи такая: если взять самый обычный противовоспалительный препарат диклофенак и добавить к нему еще диклофенака, но разведенного так, что на самом деле там не будет никакого лекарства, то действие препарата усилится. Уже забавно! Схема эксперимента такая:

1. Берем 9 групп по десять крыс;
2. Измеряем размер их лапок;
3. Через час даем им одну из комбинаций препаратов и/или пустышек;
4. Через час вводим им каррагинан ;
5. Измеряем размер опухающих лапок через 1, 2, 3, 4, 6 часов после, вычитаем исходный размер лапок и получаем объем воспаления;
6. Сравниваем группы между собой.

Какие девять групп использовались в эксперименте?

1. Релиз-активный диклофенак + диклофенак первого производителя 5mg/kg;
2. Плацебо + диклофенак первого производителя 5mg/kg;
3. Релиз-активный диклофенак + диклофенак второго производителя 5mg/kg;
4. Плацебо + диклофенак второго производителя 5mg/kg;
5. Релиз-активный диклофенак;
6. Плацебо;
7. Диклофенак 5mg/kg;
8. Диклофенак 20mg/kg;
9. Контроль (раствор для диклофенака).

В качестве плацебо выступает раствор, в котором разводили бы диклофенак, чтобы сделать его релиз-активным.

Что заметили школьники? Вместо того чтобы показать все девять групп на одном графике или на одной таблице, авторы делают странную и очень подозрительную вещь.

В одной таблице и на одном графике сравниваются группы 1,3,5,7,8,9. На другой 2,4,6,7,8,9. Обратите внимание, что при этом пропадают самые актуальные сравнения: релиз-активный препарат против плацебо и релиз-активный препарат + диклофенак против плацебо + диклофенак. Ведь если релиз-активность существует и работает так, как это воображает Эпштейн, то должна быть разница!





Давайте сравним эти цифры! Размер эдемы указан в миллилитрах ± стандартная ошибка. Напомню, что в каждой группе было 5 измерений воспаленной лапки: через 1, 2, 3, 4 и 6 часов.

Итак, сравним группу 1 и контроль к ней (группу 2):

Релиз-активность:
0.14 ± 0.01, 0.17 ± 0.02, 0.33 ± 0.05, 0.34 ± 0.04, 0.37 ± 0.03
Плацебо:
0.12 ± 0.02, 0.23 ± 0.03, 0.35 ± 0.05, 0.42 ± 0.06, 0.39 ± 0.04

Авторы пишут, что использовали тест ANOVA для оценки p-value (оценивается вероятность, что случайный шум в данных сам по себе даст такие или большие отличия между группами). Возможно, здесь это не самый правильный тест, но данных по отдельным животным у нас все равно нет, поэтому давайте применим их же критерии и пороги (p<0.05).

P-value в этих сравнениях: 0.3829; 0.1134; 0.7805; 0.2819; 0.6939.

Вы видите разницу? Я нет. Все отличия на уровне шума. А ведь мы даже не применяем поправку на множественные сравнения и используем очень мягкий порог (p < 0.05).

Сравним группу 3 и контроль к ней (группу 4).

Релиз-активность:
0.14 ± 0.02, 0.16 ± 0.03, 0.31 ± 0.05, 0.31 ± 0.05, 0.31 ± 0.05
Плацебо:
0.12 ± 0.01, 0.20 ± 0.03, 0.31 ± 0.04, 0.41 ± 0.03, 0.43 ± 0.04
P-value в этих сравнениях:
0.3829; 0.3583; 1; 0.1035; 0.0772

Сравним группу 5 и контроль к ней (группу 6).

Релиз-активность:
0.15 ± 0.02, 0.40 ± 0.05, 0.58 ± 0.05, 0.51 ± 0.04, 0.46 ± 0.03
Плацебо:
0.20 ± 0.03, 0.47 ± 0.03, 0.60 ± 0.03, 0.56 ± 0.04, 0.52 ± 0.04
P-value в этих сравнениях:
0.1825; 0.2455; 0.7356; 0.7813; 0.2457

Итак, ни в одном сравнении не получается даже пресловутый p<0.05. Релиз-активный диклофенак действует не лучше и не хуже, чем плацебо, а релиз-активный диклофенак плюс диклофенак не лучше и не хуже, чем просто диклофенак. Как и следовало ожидать, чудес не бывает, гомеопатия не работает.

Как обойти эту проблему авторам, которые зарабатывают миллиарды на сахарных шариках с релиз-активностью? Правильно, эти сравнения вообще не показывать и не обсуждать. Поэтому их и нет на графиках и в таблицах.

Зато авторы пишут, что «через два часа после применения релиз-активный диклофенак в сочетании с диклофенаком в концентрации 5mg/kg обладает противовоспалительной активностью, схожей с более высокой дозой диклофенака (20mg/kg)». И дальше рассуждают о том, что механизм, которым релиз-активный диклофенак усиливает обычный, пока не известен. И что релиз-активный диклофенак поможет использовать меньше диклофенака, снижая его токсичность. Что никак не следует из результатов.

Ну и вишенка на торте. Авторы прямым текстом пишут, что у них нет конфликта интересов («The authors have no competing interests or potential conflicts of interest to report»). При том, что один из авторов – владелец и директор компании, которая производит релиз-активные препараты. То есть это просто очередная попытка скрыть неудобные факты, чтобы рецензенты ничего не заподозрили.

Кстати, в трех других статьях такое же «веселье». Если вам интересно, напишу подробности в отдельном посте.

Вот и выходит, что мы живем в удивительное время. Школьники знают больше про научный метод, чем некоторые доктора наук, члены-корреспонденты РАН, главы департаментов исследований и разработки фармкомпаний (еще один соавтор статьи занимает такую должность в Materia Medica). Получается, вся надежда – на подрастающее поколение.

В этом я еще больше убедился после поездки в «Сириус», где я рецензировал научные проекты других школьников. Например, одна группа подростков прочитала и собрала полный геном винограда. Как вам такое? Другие проекты тоже были весьма достойные и интересные. Так что есть надежда на будущее. А вот торговцам сахаром давно пора уходить.

Выражаю благодарность школьникам и студентам, которые разбирали статьи:

Команда 1: Салимгареев Артём, Комаров Ярослав, Казаков Михаил, Мячина Арина, Ткаченко Елена, Ланевский Сергей.
Команда 2: Капицына Ольга, Чирков Николай, Царева Анастасия, Красавина Майя, Козлов Бронислав.
Команда 3: Новикова Полина, Слащев Федор, Сапарова Дарья, Куваева Елизавета, Астафьева Ангелина, Федотова Светлана, Сивоволенко Дария, Гостеева Ева, Евлахова Мария, Филина Анна.
Команда 4: Шевякова Варвара, Бушуева Софья, Француаза Ли, Дьяконов Фёдор, Литвинова Анастасия, Бабкина Ольга.

И их куратору Вере Копыловой, которая придумала такой проект.

Update: мы победили, статью отозвали.

Tags: гомеопатия, лженаука, мракобесие, научные анекдоты
Subscribe

Recent Posts from This Journal

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 378 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Мои крысы против!
Хорошее название для критической статьи на тему. "Крысы против!".

dmitriyfree

July 27 2019, 21:33:18 UTC 1 year ago Edited:  July 27 2019, 21:34:42 UTC

А что мешает то авторам таких статей просто тупо подгонять в статье приведенные данные экспериментов под требуемый результат, я все никак не пойму? То бишь указывать просто ложные данные
Бывает и такое. Но ведь проверят потом и вон из профессии.

kincajou

1 year ago

dmitriyfree

1 year ago

pvp2008

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

scinquisitor

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

yazuchy

1 year ago

viajera_cansada

1 year ago

pvp2016

1 year ago

viajera_cansada

1 year ago

pvp2008

1 year ago

viajera_cansada

1 year ago

pvp2008

1 year ago

viajera_cansada

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

karlsson_sve

1 year ago

Антон Брилёв

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

Roman Lt

1 year ago

tarioll

1 year ago

the_toad

1 year ago

scinquisitor

1 year ago

is4umielofon

1 year ago

pvp2016

1 year ago

is4umielofon

1 year ago

rennug

1 year ago

Интересно, сколько релиз-активного этилового спирта нужно выпить Олегу Эпштейну за вечер, чтобы захмелеть ? Три ведра будет достаточно ? Хорошо бы понаблюдать за ходом этого эксперимента.
Также интересно, его жена обычным борщём кормит, или релиз-активным. Вот была бы экономия для семейного бюджета.

pvp2008

1 year ago

pvp2008

1 year ago

Пара дополнений/исправлений, хоть вы и биолог.

1. Не пишите "эдема". Стандартное понятие - это "тест с каррагинановым отеком".

2. Действительно, противоотечное действие противовоспалительных препаратов стандартно проверяют именно таким образом: сначала вводят препарат, потом вызывают отек. Это не Эпштейн придумал. То же самое касается болеутоляющего и жаропонижающего действия препаратов в доклинических испытаниях: сначала концентрация препарата в крови подопытного животного, а потом действие стимула. Связано, как я понимаю, с тем, что стандартизировать момент введения препарата на фоне УЖЕ РАЗВИВАЮЩЕГОСЯ повреждения сложнее, чем наоборот.

К основному вашему подходу вопросов, разумеется, нет, удачи в борьбе с жуликом Эпштейном и гомеопатическим мракобесием!
Спасибо за уточнения

scholarpunk

1 year ago

colonelrabin

1 year ago

scholarpunk

1 year ago

pvp2008

1 year ago

scholarpunk

1 year ago

karlsson_sve

1 year ago

scholarpunk

1 year ago

karlsson_sve

1 year ago

scholarpunk

1 year ago

Roman Lt

1 year ago

karlsson_sve

1 year ago

Roman Lt

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

а у вас была контрольная группа детей, которые искали ошибки в какой-нибудь нормальной статье?
гипотеза не в том, что в других статьях нет ошибок. А в том, что в этих статьях есть ошибки, которые могут найти даже школьники :)

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

karlsson_sve

1 year ago

ghj1

1 year ago

is4umielofon

1 year ago

ghj1

1 year ago

is4umielofon

1 year ago

ghj1

1 year ago

is4umielofon

1 year ago

ghj1

1 year ago

alwdis

1 year ago

А разве гомеопатию еще не запретили?
нет, и не собирались

beta_endorphine

1 year ago

djatlov_y

1 year ago

is4umielofon

1 year ago

djatlov_y

1 year ago

is4umielofon

1 year ago

Формально контроль есть в каждой таблице. Другое дело, что какой. По-хорошему - надо было контроль без введения вещества, на инъекцию-вкол. Но это придирки. Тут основная проблема не в сравнении групп, а в статистических методах. 10 животных в группе - только непараметрическая статистика. Не говоря уже о Фридмане и FDR. И еще - не имея нативных данных невозможно проверить р (это к вопросу об аргументах в высшие инстанции).
(мрачно) Нет и на них надежды. Вырастут, станут, в лучшем случае, членами малой группы с наукообразным мышлением. Но объективный подход потеряют в любом случае.
Но объективный подход потеряют в любом случае.
\\\
А можно подробностей хоть немного за этот объективный подход?

6_h_h

1 year ago

viajera_cansada

1 year ago

pvp2016

1 year ago

6_h_h

1 year ago

karlsson_sve

1 year ago

6_h_h

1 year ago

karlsson_sve

1 year ago

tarioll

1 year ago

6_h_h

1 year ago

is4umielofon

1 year ago

Roman Lt

1 year ago

zwilling

1 year ago

is4umielofon

1 year ago

6_h_h

1 year ago

is4umielofon

1 year ago

Устами младенца глаголет истина
Вапчета у младенца (т.е. у ребенка до года) с глаголеньем большие проблемы. Если он правильно называет сотню-другую предметов, то это просто замечательно. Ап какой-такой истине Вы ведете речь непонятно.

kpakoqu

1 year ago

is4umielofon

1 year ago

Пробема только в том, что гомеопатия работает... Очевидно, что не всегда.
На личном опыте...Был снят болевой синдром, который безуспешно пытались лечить обычными средсвами полгода.
эти же полгода не мог спать на спине.
Заработка ни у врача, ни у аптеки не было.
Врачу шоколадку, аптеке 30 рублей.
назначение- принимать 10 дней..
принимаю...
не проходит...
через две недели звонит врач узнать о результате лечения.
говорю, что пью, но не помогает...
предлагает прекратить прием.
прекращаю...
через 3 дня боль ушла...

Случай не единственный, но показательный...
Проблема гомеопатии в том, что она работает как и должна - не лучше пустышки.

>Случай не единственный, но показательный...

Действительно, показательный - он показывает, что при желании челоаек свяжет что угодно с чем угодно😃👆

slava2171

1 year ago

scinquisitor

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

Антон Брилёв

1 year ago

diletant_1322

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

scinquisitor

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

antiscientism

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

Антон Брилёв

1 year ago

karlsson_sve

1 year ago

Антон Брилёв

1 year ago

is4umielofon

1 year ago

scinquisitor

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

scinquisitor

1 year ago

slava2171

1 year ago

is4umielofon

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

is4umielofon

1 year ago

pvp2008

1 year ago

viajera_cansada

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

viajera_cansada

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

karlsson_sve

1 year ago

slava2171

1 year ago

is4umielofon

1 year ago

slava2171

1 year ago

swanq

1 year ago

is4umielofon

1 year ago

is4umielofon

1 year ago

Roman Lt

1 year ago

Абсолютно дебильный и ненаучный подход. А если да, то подсуньте этим типа вундеркиндам статьи не Эпштейна, а Эйнштейна - пущай и у него ошибки найдут...
Статобработка результатов - ненаучный? Ну-ну. Только вот три статьи Эпштейна отозваны уже именно из-за проблем с "ненаучным подxодом" и мелкого вранья.

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

karlsson_sve

1 year ago

pvp2016

1 year ago

is4umielofon

1 year ago

swanq

1 year ago

is4umielofon

1 year ago

diletant_1322

1 year ago

is4umielofon

1 year ago

если статьи вышли в "юрналах" - значит, у автора достаточно средств для спкуляции своими опусами, только и всего! Привт школьникам...и "науке".
Под "наукой" что имелось в виду?
Совецкие и российские академики - говно.
Есть академики, которые ведут себя как крупные госчиновники с "государственным мышлением". Может быть, таких даже большинство. Но есть и настоящие ученые.

Алекс Руллис

1 year ago

cuternion

1 year ago

<здесь был набор междометий, но все таки я решил его удалить>

Александр, вот по существу мероприятия всё вроде бы разумно (школьникам почитать статьи однозначно полезно), однако методика и выводы такие, что хоть стой, хоть падай.

Во-первых, школьники в такой организации не способны найти ошибку: они способны найти отличия от того, чему их ранее учили (если их учили правильно, тогда отличия скорее всего окажутся ошибками). Не более того, у них ещё не сформированы необходимые механизмы мышления для полноценного анализа. Т.е. это не научное, а учебное мероприятие по сути своей. И отсюда появляется вопрос, который Вы почему-то обошли: кто такие были эти школьники, где и чему они обучались? И лично от меня гораздо более интересный вопрос: сколько из них было из замкадового пространства?

Во-вторых, школьники очень сильно подвержены влиянию когнитивных искажений мышления. Это не 28 школьников нашли и указали на ошибки, это 28 школьников приняли участие в мероприятии, где кто-то из них нашел эти ошибки. Так вот сколько таких, кто действительно это сделал?

В-третьих, почему вдруг на основании этого мероприятия делается вывод, что школьники лучше знают научный метод? Почему делается вывод о том, что вся надежда - только на подрастающее поколение? Мне, скажем прямо, сейчас вспомнились рассуждения Геббельса про подростков с фауст-патронами, ну да это лирика.

<сарказм вкл>Это Вы что же: себя, Водовозова, Дробышевского и Соколова уже списали? РАН надо закрывать, ВАК разгонять, РИНЦ ликвидировать за ущербностью? Пусть школьники рулят российской наукой?

В-четвертых, это уже чисто из спортивного интереса: эти школьники и Вера Копылова в курсе, что Вы ими собираетесь атаковать медицинские науки, вместо того чтобы поднять вопрос о взятках и (или) некомпетентной работе отдельно взятых экспертов в отдельно взятых изданиях? Или хрен с ними, со школьниками, - свой интерес в публичном аргументе важнее?<сарказм выкл>

Ну а если серьезно и без сарказма... Повторюсь: хорошо, что школьникам такое дело было дано. Это полезно для них. Однако что Вы пишете как результат - от этого же оскомину бьет! Если это не выдача желаемого за действительное, тогда что же это?
Т.е. это не научное, а учебное мероприятие по сути своей.

Научно-учебное, конечно. Научный руководитель объяснил метод, поставил задачу и проверил результат. С этого в науке обычно все и начинается.

jarvis_meccorig

1 year ago

scinquisitor

1 year ago

jarvis_meccorig

1 year ago

karlsson_sve

1 year ago

jarvis_meccorig

1 year ago

karlsson_sve

1 year ago

scinquisitor

1 year ago

scinquisitor

1 year ago

jarvis_meccorig

1 year ago

dm_prokopenko

1 year ago

Это очень важно - выбрать направление поиска доказательств. На основании отсутствия доказательств больные с 2012 года лишены жизненно необходимого лекарства лиотиронин. Это утверждено Г.А. Мельниченеко и И.И. Дедовым. Это вам не шарики из сахара.
лиотиронин - это не гомеопатия?

karlsson_sve

1 year ago

swanq

1 year ago

alexfisich

1 year ago

Previous
← Ctrl ← Alt
Next
Ctrl → Alt →

Recent Posts from This Journal