January 29th, 2016

Ответ на критику критики работ о вреде ГМО

14 января в журнале Critical Reviews Biotechnology вышла наша статья, указывающая на существенные ошибки в статистической обработке результатов в шести наиболее нашумевших публикациях о генетических модифицированных организмах (ГМО). О нашей статье написали многие СМИ, например, Вести, ТАСС, МК, Чердак и другие.

Объединяет разобранные нами работы то, что они были опубликованы в рецензируемых научных журналах, содержали утверждения о нежелательных отличиях между ГМО и их аналогами и получили широкую огласку в СМИ. Основная ошибка, которая была обнаружена в этих работах, популярно проиллюстрирована одним из нас в пресс-релизе нашего института:

[Spoiler (click to open)]

Допустим, вы хотите доказать, что мармеладки опасны для здоровья. Вы берете две небольшие группы людей, человек по десять, одну из которых кормите мармеладками, а другую не кормите. Потом вы смотрите: не покрывались ли люди, евшие мармеладки, прыщами чаще обычного? Если такого не было, то проверяете: не было ли у них более частого насморка? Если снова мимо, делаете еще один анализ: не было ли у них боли в животе? Не было ли у них аллергии? Не было ли у них головной боли? Тошноты? Крови из носа? И так далее с десятками возможных нежелательных эффектов. Даже если на самом деле мармеладки абсолютно безопасны, рано или поздно найдется такой параметр, по которому группа людей, которым достались мармеладки, будет отличаться. Именно в изменении этого параметра и можно обвинить мармеладки. Только это будет некоторым жульничеством, ибо вы игнорируете еще 20 проанализированных параметров, по которым мармеладки вредными не оказались. Чем больше параметров, на которые вы смотрели, тем больше вероятность случайно получить ложноположительный эффект. И именно для учета этой проблемы придуманы «поправки на множественные сравнения».

Авторы разобранных нами работ не делали такой поправки при статистической обработке результатов или недооценивали число анализируемых параметров. В одной работе количество параметров, по которым сравнили две группы из 10 животных, превышало тысячу! Естественно, по каким-то параметрам нашлись отличия, которые ошибочно и выдали за «нежелательный эффект генной модификации». Если же учесть эти «множественные сравнения», то получается, что заявленные достоверные отличия между группами легко описываются случайными колебаниями в выборке, т.е. на основании этих работ никаких выводов делать нельзя.



Если кому-то интересно подробней разобраться в том, что такое множественные сравнения и какие именно ошибки были сделаны в обсуждаемых работах, прочитайте 7 главу книги «Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей».

В блоге «Общенациональной ассоциации генетической безопасности» (активистов в борьбе с ГМО в России) тоже были отмечены результаты нашей работы с рядом критических замечаний.

Сразу бросилось в глаза, что название нашей статьи в переводе ОАГБ неверно отражает оригинальное название и смысл работы. Чтобы оценить масштабы ошибки, сравните правильный перевод:

«Опубликованные исследования о ГМО не содержат свидетельств вреда (после поправки на множественные сравнения)».

И перевод ОАГБ:

«Множественное сравнение данных опубликованных исследований не обнаружило доказательств вреда ГМО».

Это огорчает, так как, несмотря на то, что мы старались писать кратко и внятно, текст оказался не понятен «экспертам ОАГБ» или слишком многословен для того, чтобы они смогли дочитать статью и понять, что «множественные сравнения» относятся к характеру обнаруженных недостатков проанализированных нами работ, а не к процессу анализа литературы. В связи с этим, не ясно, понимают ли эксперты ОАГБ, что такое «множественные сравнения».

Кроме того мы не ставили задачу сравнивать какие-либо исследования или анализировать все опубликованные исследования (это делалось до нас в других обзорах). Мы анализировали конкретные исследования на предмет методологических ошибок.

Теперь рассмотрим все пункты возражений, изложенных в исполнении ОАГБ:

Collapse )