scinquisitor (scinquisitor) wrote,
scinquisitor
scinquisitor

Сумма биотехнологии. Глава 7: Так говорил Сералини (Часть 1)

Сегодня у нас с коллегой вышел обзор о ГМО в научном журнале Critical Reviews Biotechnology (импакт фактор 7): Published GMO studies find no evidence of harm when corrected for multiple comparisons. Это совпало с известием, что моя книга "Сумма биотехнологии" отправляется на допечатку! В связи с этим привожу сокращенный вариант седьмой главы книги, которая пересекается с вышеупомянутым обзором. Она о том, как неправильное применение статистики приводит к ошибочным выводам.

Так говорил Сералини

“Статистика не всегда говорит правду, но может помочь понять результаты” – так ответил [124] французский исследователь Жиль-Эрик Сералини на один из ключевых пунктов критики, которая обрушилась на его статью о вреде генетически модифицированной кукурузы линии NK603125. Пятнадцать [126–140] писем от независимых исследователей, в том числе от меня, указывали на различные ошибки в этой нашумевшей публикации в научном журнале Food and Chemical Toxicology.

“В этих результатах нет ничего, кроме случайной ошибки, и любой компетентный рецензент немедленно это увидел бы”, – писал один из критиков Сералини профессор Энтони Тревавас, молекулярный биолог из Эдинбургского университета. Поддержка у Сералини со стороны коллег тоже имелась, но ее выразили лишь в одном письме [141]. Тем временем Россия отреагировала на исследование введением временного запрета на импорт генетически модифицированной (ГМ) кукурузы.

Сералини утверждал, что крысы, употреблявшие ГМ кукурузу NK603, погибали чаще и имели больше опухолей, чем крысы из контрольной группы, которые ели обычную кукурузу. Большинство специалистов, глядя на опубликованные результаты, возражали, что этот вывод не обоснован. В такой ситуации обычному человеку сложно понять, кому доверять: Сералини или тем, кто его критикует. Для этого желательно узнать, в чем, собственно, заключалась критика.

В этой главе представлен обзор аргументов в пользу безопасности использования уже существующих генетически улучшенных организмов в качестве продуктов питания. Это необычный обзор, потому что я опираюсь исключительно на данные, полученные теми, кто писал о возможной опасности ГМО, в том числе и на данные, полученные Сералини.

В значительной части работ, в которых было заявлено негативное действие ГМО на животных, выводы не соответствуют результатам. Это связано с тем, что в них присутствует одна и та же ошибка, которая заключается в некорректном применении аппарата математической статистики. После ее устранения полученные данные перестают свидетельствовать в пользу того, что ГМО опаснее обычных организмов. Следуя завету Сералини, давайте разберемся в том, как статистика помогает понять результаты исследований. Но сначала попробуем понять саму статистику.

В статистике существует понятие, которое называется нулевая гипотеза. Это понятие отражает позицию по умолчанию, утверждающую, что между двумя явлениями нет никакой связи. Она говорит, что орел или решка на монете выпадают равновероятно и независимо от погоды. Что рак легких не связан с курением. Что цвет глаз человека не зависит от его пола. Что число пропавших в течение недели носков не зависит от того, наблюдалось ли на небе НЛО. Что токсичность картошки не зависит от того, генетически модифицирована она или нет, и так далее. В некоторых случаях нулевая гипотеза верна, в других – нет. До появления доказательств обратного нулевая гипотеза считается верной по умолчанию, поэтому научные эксперименты сводятся к тому, что нулевую гипотезу пытаются опровергнуть.

Статистические тесты позволяют оценить, насколько высока вероятность получить некий результат при условии, что нулевая гипотеза верна. Допустим, что мы провели эксперимент, в котором подкинули монетку десять раз и все десять раз выпала решка. В данном случае за нулевую гипотезу можно принять равную вероятность выпадения орла и решки. При таком допущении вероятность выкинуть решку десять раз из десяти равна 1/2 в десятой степени, то есть менее одной тысячной. Полученная вероятность называется P-значение, или просто P, и это вероятность получить такое же или более существенное отклонение результата эксперимента от ожидаемого. Полученное P сравнивается с пороговым значением, уровнем значимости, обозначаемым а (альфа). Общепринятыми значениями а являются либо 0,05, либо 0,01, либо 0,001. Отметим, что 0,05 – самый мягкий порог, который можно встретить в научной литературе, хотя это лишь некоторая условность.

Если полученное значение P меньше, чем пороговое значение, мы считаем, что нулевая гипотеза отвергнута и можно принять альтернативную гипотезу. В случае с монеткой получилось так, что P < 0,001, а значит, есть основания полагать, что решка выпадает чаще орла. Чем меньше порог а, тем меньше вероятность, что мы получим ложноположительный результат, найдем закономерность там, где ее нет. Чем больше порог а, тем меньше вероятность, что мы получим ложноотрицательный результат, то есть не найдем закономерности там, где она есть. Правильно подобранные пороги позволяют соблюсти баланс между этими двумя типами ошибок.

Статистику полезно знать еще и потому, что она помогает знакомиться с девушками (или молодыми людьми), и я сейчас продемонстрирую как. Загадайте число от 1 до 20. Сделайте это, прежде чем читать дальше. Помните, что если вы симпатичная девушка и я угадаю ваше число, то с вас билет в кино. Итак, перед вами умная книга, наподобие дневника Тома Редла из “Гарри Поттера”, и она заранее знает, какое число вы загадаете. Обратитесь к калькулятору и поделите 23101096 на 1358888. Убедитесь, что я угадал правильно.

Секрет фокуса прост. Он работает только в одном случае из двадцати, и, скорее всего, я ваше число не угадал. Девятнадцать читателей из двадцати не будут впечатлены, но, возможно, именно с вами мне повезло, и вы на секунду удивились. Если повторять этот фокус много раз, каждый раз с новой девушкой (или читателем), с кем-нибудь он неизбежно сработает. Вероятность угадать в одном испытании равна 5 %, но вероятность угадать хотя бы раз, имея двадцать попыток, уже превышает 64 %. При ста испытаниях трюк удастся хотя бы раз с вероятностью 99,4 %!
Проблема “множественных сравнений” (или множественных испытаний) возникает в статистике, когда мы проверяем не одну гипотезу, а множество похожих. Для ее иллюстрации используется простая формула Y = (1,00-0,95^N)×100 %, где N обозначает число сравнений, а Y – вероятность того, что по случайным причинам хотя бы в одном из них будет обнаружено статистически достоверное отличие при пороге значимости 0,05.

На самом деле Беннет пытался привлечь внимание к важной проблеме. Стандартные приборы, измеряющие активность мозга, имеют погрешности в измерениях, шум. Если измерить активность мозга одновременно в огромном количестве независимых участков, в некоторых из них по случайным причинам может обнаружиться статистически достоверный сигнал, который можно ошибочно интерпретировать как признак мозговой активности (реакцию на изображения). Так Беннет продемонстрировал, что проблема множественных сравнений порой приводит к неожиданным биологическим результатам.

Самый простой способ учесть множественные сравнения – ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони [143]. Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости а, а против уровня значимости a/n.

Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, а = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, – я угадал ее число. Эта вероятность меньше, чем а = 0,05, а значит, есть основания полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог а = 0,05 мы делим на пять и получаем новый порог а = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.

Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам [144].

Во-первых, из современных представлений в области молекулярной генетики не следует никаких рисков, связанных с употреблением ГМО. Поэтому непонятно, как именно ГМО должны влиять на организм животных и каким может быть биологический механизм такого воздействия. Нет никаких четких гипотез о том, какие биологические показатели должны измениться, как сильно и в какую сторону. Скептически настроенные к ГМО исследователи проверяют все подряд, и любые отличия между ГМО и их аналогами признают потенциально опасными. Увеличение толщины кишечника опасно, но уменьшение тоже вредно! Настораживает как снижение, так и увеличение содержания каких-нибудь микроэлементов в ГМО или бактерий в кишечнике организмов на диете с ГМО. Если рассмотреть множество параметров, отличия по некоторым из них обязательно найдутся.

Второй аргумент в пользу поправки заключается в том, что обнаружение любых отклонений у организмов, питающихся ГМ кормом, моментально становится сенсацией, даже если это предварительный и никем еще не воспроизведенный результат. Эти сенсации приводят к серьезным политическим решениям и экономическим последствиям, введению ограничений импорта и даже к попыткам изменения законодательства. Поэтому ложноположительные результаты крайне нежелательны как для развития биотехнологий, так и для формирования объективной научной картины мира.

Одной из первых научных публикаций, создавших истерию вокруг возможной опасности генной инженерии, была статья 1999 года Арпада Пуштаи и Стенли Эвана [147] в журнале Lancet о том, что употребление генетически модифицированного картофеля, в геном которого встроен ген лектина, влияет на размер тощей кишки крыс (тощая кишка – средний отдел тонкой кишки). Эти результаты были интерпретированы как доказательство потенциальной опасности ГМО, хотя повышенная смертность крыс в работе заявлена не была и с ходу не очевидно, почему упомянутые изменения непременно вредны. Лектины – это белки, обладающие способностью специфично связывать углеводы на поверхности клеток и, как следствие, склеивать клетки друг с другом. Известно, что лектины в высоких концентрациях обладают токсичными свойствами [148, 149]. Употребление таких белков может приводить к нарушению усвоения питательных веществ, аллергическим реакциям и ожирению. Поэтому не ясно, зачем кому-то делать генетически модифицированную картошку с избытком лектина. И действительно, в коммерческих целях никто такие растения не производил.

Не было сомнений, что генетически модифицированное растение с геном лектина получится, мягко говоря, не очень полезным. Никто и не отрицает, что можно с помощью генной инженерии вывести токсичный сорт любого растения. Но Пуштаи проверял не токсичность лектина в картошке. Он хотел показать, что сама процедура создания трансгенного организма может нести в себе угрозу для здоровья и приводить к непредсказуемым последствиям в силу неизвестных молекулярным биологам факторов.

Пуштаи сравнивал крыс, которые ели обычную картошку, генетически модифицированную картошку, производящую лектин, и обычную картошку с белком лектина в качестве пищевой добавки. Логика была такой: если верны представления молекулярных биологов и синтез белка лектина является единственным существенным изменением генетически модифицированной картошки по сравнению с обычной, то она будет такой же, как обычная картошка, к которой добавили чистый лектин. Пуштаи обнаружил статистически достоверное (P = 0,041) отличие в размерах одного из анализированных органов у крыс, которые ели ГМО и обычную картошку с лектином, пусть и на грани самого мягкого порога статистической значимости 0,05.

По аналогии с примером про загаданное число, которое я пытался отгадать, у Пуштаи было как минимум пять подопытных “девушек". Этих “девушек" звали: желудок, тощая кишка, подвздошная кишка, слепая кишка и прямая кишка. Если сделать поправку на пять множественных сравнений, оказывается, что между группами крыс в работе Пуштаи, которые питались генетически модифицированной картошкой и картошкой с добавлением лектина, различия не выходят за рамки ожидаемого случайного разброса. С поправкой Бонферрони самый мягкий порог статистической значимости теперь не а = 0,05, а а = 0,01, и это меньше, чем полученное значение P, равное 0,041. На самом деле в экспериментах Пуштаи “девушек" было еще больше: не все признаки, которые он исследовал, вошли в статью, хотя это уже не так существенно.

Зато разница между вареной и невареной картошкой в работе Пуштаи осталась значимой даже после учета поправки на множественные сравнения. И действительно, варка обезвреживает лектины, поэтому вареная картошка оказывает на организм крыс иное воздействие, чем сырая. Стоит отметить, что другие множественные сравнения, возникшие в результате того, что изучались отличия между вареной картошкой и сырой, с лектином и без лектина, генетически модифицированной и немодифицированной, были учтены в использованном стандартном статистическом тесте.
Британское королевское общество провело независимую экспертизу работы Пуштаи [150] с участием шести независимых специалистов, чьи области знаний покрывали сферы статистики, клинических испытаний, физиологии, вопросов питания, генетики, развития и иммунологии. Эти и другие эксперты отметили [151], что эксперименты Пуштаи не были слепыми, то есть экспериментатор мог повлиять на результаты, и нашли в них ряд других изъянов. Однако достаточно сделать аккуратный статистический анализ, чтобы показать, что, даже несмотря на всевозможные огрехи, данные, полученные Пуштаи, скорее показывают отсутствие значимых отличий между ГМ и не ГМ картошкой.

На почве вызванного данным исследованием скандала Пуштаи был отстранен от должности в институте, где он работал. С одной стороны, мне бы хотелось заступиться за него: ошибки, допущенные в ходе исследования и в интерпретации результатов, не обязательно указывают на его недобросовестность. С другой стороны, причина устранения Пуштаи была не в том, что он получил “неугодные научные результаты" или плохо работал.

Еще до того, как обсуждаемая статья прошла рецензию и была опубликована, Пуштаи выступил на телевидении, где высказал свои подозрения о вреде ГМО. То, что выступление на ТВ предшествовало публикации научной статьи, негативно отразилось на репутации института, в который посыпались звонки от журналистов, государственных деятелей, представителей индустрии и возмущенных ученых. Публичное выступление оказало влияние и на принятие статьи в журнал. Один из рецензентов статьи Пуштаи написал, что работа содержит существенные недостатки, но “чтобы избежать подозрения в заговоре против Пуштаи и дать коллегам возможность увидеть данные собственными глазами", ее стоит опубликовать [152].

Перейдем к следующему исследованию, в котором было заявлено о возможном нежелательном эффекте ГМО. Оно было опубликовано в 2011 году в Journal of Food Sciences [153] и тоже получило широкую общественную огласку. В статье утверждалось, что бактерии рода Lactobacillus (молочнокислые бактерии) обнаруживаются в большем количестве в слепой кишке самцов крыс, которых кормили обычным рисом, по сравнению с кишкой самцов крыс, у которых 70 % корма составлял ГМ рис (P < 0,05). На самках крыс эффект не воспроизводился. В этой работе имело место 42 множественных сравнения: независимо рассмотрели два пола крыс (у самок эффекта не обнаружили), семь микробиологических параметров, три разных схемы питания ГМ рисом.

Применив поправку Бонферрони, пересчитав уровень значимости и P, мы приходим к следующему выводу: никаких статистически достоверных отличий между крысами, которых кормили обычным и ГМ рисом, не обнаружено. Мы не можем принять выводы авторов о том, что “ГМ рис оказывает комплексное влияние на микрофлору слепой кишки и это может иметь отношение к здоровью организма”. Но взглянем на это по-другому: авторы перебрали кучу микробиологических параметров и достоверных эффектов, связанных с употреблением ГМ корма, продемонстрировать не смогли.

Авторы еще одной работы [154] утверждали, что самки свиней, которых кормили генетически модифицированной кукурузой, имеют более крупные (в среднем на 25 % по массе) матки по сравнению со свиньями, которые ели обычную кукурузу (P = 0,025). Авторы также сравнивали вес почек, сердца, печени, селезенки, легких, желудка и яичников. Это значит, что множественных сравнений было восемь и порог статистической значимости должен быть а = 0,05/8 = 0,00625. То есть наблюдаемые отличия статистически не достоверны.

Авторы также заявляют, что у свиней, которых кормили ГМ кормом, в 2,6 раза чаще встречалось серьезное воспаление желудка (P = 0,004) по сравнению с контрольной группой. Если рассмотреть отдельно самцов и самок, эффект был статистически достоверным в случае обоих полов. У самцов серьезное воспаление случалось в 4 раза чаще (P = 0,041), а у самок в 2,2 раза чаще (P = 0,034). В ходе исследования независимо рассматривались патологии почек, сердца, печени, селезенки, кишечника, яичника, легочная пневмония, перикардит и абнормальные лимфатические узлы. Потребовалось разделение патологий на несколько групп: легкие, умеренные и серьезные воспаления желудка, эрозия и три типа язв. Причем такое разделение было важным для авторов, ведь если объединить случаи умеренного и серьезного воспаления желудка, достоверные отличия между группами свиней исчезают даже при пороге значимости а = 0,05.

В итоге было проведено как минимум 17 попарных сравнений. В лучшем случае исправленное значение а = 0,05/17 = 0,0029, и даже значение P = 0,004, полученное для серьезного воспаления желудка, оказывается статистически недостоверным. Любопытно, что авторы также измеряли 17 биохимических показателей, но никаких существенных отличий между группами свиней не обнаружили (то есть множественных сравнений было еще больше). Мы приходим к выводу, что исследователи не смогли продемонстрировать никаких достоверных отличий между свиньями, которые ели и не ели ГМ корм.

В 2014 году была опубликована статья, авторы которой сравнили содержание питательных веществ и микроэлементов в генетически модифицированной, обычной и “натуральной” (органической) сое [155]. Согласно их данным, в “натуральной” сое по сравнению с ГМ соей было больше белка (P = 0,003), неорганических соединений (P = 0,005), всех незаменимых аминокислот (P = 0,037) и из них в отдельности лизина (P = 0,002). Кроме того, в “натуральной” сое было больше аргинина (P = 0,04), бария (P = 0,00005) и цинка (P = 0,0002), но меньше пальмитиновой кислоты (P = 0,046), насыщенных жирных кислот (P = 0,001), линолевой кислоты (P = 0,01) и селена (P = 0,0003). Всего в работе приводилось 35 сравнений, которые необходимо учесть. После поправки уровень значимости а становится равным 0,05/35 = 0,00142, и остаются только четыре статистически достоверных отличия.

Во всех случаях достоверных отличий (и в целом) ГМ соя оказалась намного ближе к обычной сое, чем “натуральная". То есть мы говорим об отличиях между “натуральным” и обычным продуктом, а не об особых качествах ГМ сои. В “натуральной” сое по сравнению с ГМ и обычной соей больше бария. Этот достоверный результат в статье не обсуждается. Можно предположить, что барий не стали обсуждать в связи с некоторыми его сомнительными качествами. В высоких дозах этот элемент считается токсичным [156], способным вызывать нарушения сердечного ритма [157] и паралич [158]. Это происходит потому, что барий умеет нарушать работу клеточных каналов [159], которые играют важную роль в работе нервных клеток. Впрочем, справедливости ради отметим, что количество бария в такой сое все равно невелико, поэтому едва ли подобные отличия имеют значение для потребителей. Как говорил Парацельс: “Все есть яд, и ничто не лишено ядовитости, одна лишь доза делает яд незаметным”.

В “натуральной” сое больше цинка, который тоже может быть токсичен в высоких концентрациях [160], а еще в ней меньше селена, который, согласно некоторым исследованиям, полезен, так как имеет противораковые свойства [161]. Эти потенциально негативные качества органической сои в статье тоже не обсуждаются. Полезно ли употреблять продукт со сниженным содержанием насыщенных жирных кислот – вопрос, на который пока нет четкого ответа в научной литературе [162, 163].

Поправка на множественные сравнения отсутствовала в еще одной работе, на которую часто ссылаются противники ГМО. В 2008 году Мануэла Малатеста [164] и ее соавторы опубликовали статью о том, что у мышей, которые на протяжении двух лет (от рождения) ели ГМ сою, отмечены изменения в белковом составе печени по сравнению с контрольной группой. Все мыши, которые ели ГМО, дожили до конца эксперимента. Более того: никаких значительных патологий печени не было обнаружено ни у одной мыши.

Но авторы решили на этом не останавливаться и проанализировали содержание в печени более тысячи различных белков и еще несколько десятков других параметров. Сравнив некоторые проанализированные параметры, они нашли статистические отличия между группами (вплоть до P < 0,001). После поправки на множественные сравнения все эти различия перестают быть достоверными. Но даже если бы нашлись какие-то достоверные отличия между группами крыс – что с того? Допустим, состав пищи немного изменился, и печень, участвующая в обмене веществ, изменила характер своей работы. Сравните мышей, которые ели два сорта сои, и возможно, что без всяких ГМО вы получите куда большую разницу.

Продолжение поста читайте во второй части: http://scinquisitor.livejournal.com/81073.html

Tags: ГМО
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic
  • 22 comments