Жил-был воробей. Все лето воробей чирикал-чирикал, запасов не делал, в теплые страны не собирался. Тут пришла зима и стало воробью холодно-холодно. Замерз воробей и с ветки на землю упал, окоченелый. А мимо шла корова. Проходя под деревом, она, сама того не думая, взяла да и наложила кучу большую-пребольшую прямо на замерзшего воробья. Куча была теплой и воробей согрелся под ней. Он высунул голову из кучи и снова стал чирикать-чирикать, радуясь теплу. Но чириканье услышал кот. Он прибежал на звук, вытащил лапой воробья из кучи и съел его.
У басни есть три морали:
- Не всяк тот враг, кто на тебя насрет.
- Не всяк тот друг, кто тебя из дерьма вытащит.
- Попал в дерьмо - не чирикай.
Пример первый. Крысы и телепатия
Поскольку мне часто приходится пересказывать эту историю во всевозможных дискуссиях, я решил разместить ее в блоге. Историю рассказываю так, как рассказывали ее мне, основываясь на реальных событиях, но без конкретных имен и названий.
Эксперимент
Жил-был институт N, в котором помимо всего прочего изучали телепатию крыс. Но это не были современные фрики, которые ничего не смыслят в научном методе и не дружат с логикой и не шарлатаны, желающие легкой славы или денег. Это были вполне честные и разумные ученые, критически мыслящие, которые столкнулись с вполне интересным явлением не имеющими очевидного объяснения.
Эксперимент заключался в следующем. Бралась группа крыс (4*N особей). Крысы сажались в клетки парами (2*N пар). Парам давали некоторое время, чтобы они пожили вместе, привыкли друг к другу. Затем пары разносили в две отдельные клетки (4*N клеток), полностью изолированные друг от друга. Исключалась передача запахов, звуков, визуальный контакт. Одна клетка из каждой пары назначалась для наблюдений (2*N клеток). Вторая клетка из каждой пары назначалась для экспериментального вмешательства (2*N клеток).
Крысы (2*N), живущие в клетках для наблюдений получали неограниченное количество еды. Наблюдалось, сколько еды, по массе съедают эти крысы в единицу времени.
Крысы (2*N), живущие в клетках для вмешательства, делились на две группы. Первая группа (N крыс) получала много еды. Вторую группу (N крыс) - морили голодом.
Эти эксперименты воспроизводились много раз и каждый раз было одно и то же наблюдение. Если бывшего "партнера по клетке" крысы из группы наблюдения морили голодом, то она ела больше. Этот результат был статистически значим и легко повторялся, что наводило ученых на мысль о новом способе передачи информации, науке не известном. В данном случае как-то передавалось чувство голода. Неужели телепатия и правда существует? Как Вы думаете? Подумайте, а потом читайте отгадку.
Отгадка
Ученые из института N, потрясенные своим открытием написали письмо в другой, более известный институт с описанием своих экспериментов. В ответ на письмо в институт N отправили человека для расследования, чтобы тот пронаблюдал за экспериментами лично. Ученого со стороны приняли с большим удовольствием. Уверенные в безупречности исследования ученые из института N стали проводить опыты заново, под контролем скептика.
- "Вот сейчас мы возьмем этих двух кпыс и поселим их в одну клетку"
- "Постойте. А почему именно этих двух? Давайте устроим жребий!"
- "Без проблем!"
- "А теперь мы будем использовать вот эту группу клеток для наблюдений, а этих для вмешательства"
- "Постойте. А почему именно эти клетки? Давайте и это определим случайным жребием!"
- "Ну почему бы нет?"
- "А теперь мы будем вот этих крыс морить голодом, а этих кормить нормально"
- "Ну вы уже догадались о чем я попрошу?"
- "Конечно! Мы разобьем крыс на группы жребием!"
После трех упомянутых процедур рандомизации, эксперимент показал отрицательный результат. Никакой разницы в количестве поглощаемой пищи между крысами, чьих партнеров морили или не морили голодом не было. Объяснение этой истории очень простое: в отсутствии рандомизации, ученые из института N, желавшие интересных результатов, без какого-либо осознанного злого умысла, помещали более худых и толстых крыс в клетки из разных групп. Именно этот артефакт привел к столь существенному искажению результатов, которые однозначно свидетельствовали в пользу существования телепатии.
Приезжий ученый вернулся в свой большой институт, а ученые из института N еще какое-то время пробовали воспроизвести свои результаты по новой методике, с использованием рандомизации. Наконец они прислали в большой институт письмо, в котором признали, что эксперименты не воспроизводится и телепатии у крыс найти не удается. "Испортили нам всю науку" - жаловались они в письме. Разумеется они были расстроены, но их способность воспринять критику, столь не свойственная современным представителям альтернативной "науки" заслуживает глубокого уважения.
Мораль этой басни такова: даже если ты уверен в собственной честности, даже если знаешь, что не хочешь исказить результаты исследования, только эксперимент, исключающий возможность субъективного фактора влиять на результат, может быть надежным.
Coffeе break
Сидит чукча на дереве и пилит сук, на котором сидит. Мимо проходит человек и говорит: "Что же ты пилишь сук, на котором сидишь? Ты же упадешь!". Чукча лишь покрыл прохожего матом и продолжил пилить сук. Прохожий ушел, грустно мотая головой. Чукча допилил сук и грохнулся с дерева, больно ударяя голову. "Уууу! Шаман проклятый!" - завопил чукча.
Пример второй. Мыши и информационное поле
Снова буду рассказывать без конкретных имен, как анекдот.
Эксперимент
Жил был ученый N, который исследовал мышей. Исследовал он, как мыши обучаются проходить лабиринт. И пробовал он сначала скрещивать самых умных мышей друг с другом и увидел, что потомки этих умных мышей еще умнее и еще лучше проходят лабиринт, что было прямо-таки прекрасным доказательством теории эволюции в действии.
Но кроме того, скрещивал он и самых глупых, безмозглых мышей, ожидая, что их потомки будут еще глупее и безобразней. Но результат был просто удивительным: потомки самых глупых и безмозглых мышей, хоть и были глупее потомков умных мышей, но и они "умнели" из поколения в поколение, а не глупели, как следовало бы ожидать. Ведь в популяции глупых мышей отбор был направлен в сторону не-умения проходить лабиринт! Получалось, что "умнели" ВСЕ мыши, не важно в какую сторону была направлена селекция.
И возникла на фоне этого и других экспериментов идея, что существует некоторое информационное поле, благодаря которому, обучая умных мышей ходить по лабиринту, мы автоматических обучаем ВСЕХ (да именно всех, существующих и еще не существующих) мышей ходить по лабиринту. И попали эти опыты в книгу некого фрика, как пример, подтверждающий эту гипотезу информационного поля (там у него другое название, но не суть).
Разумеется, эти опыты с мышами удивили ученых. А Вас? Кто уже догадался? Подумайте, а потом читайте отгадку.
Отгадка
И снова здравый смысл конечно же победил. Кто-то из ученых догадался приехать и провести очень простой контроль: как следует помыть лабиринт и избавить его от запахов. Дело в том, что во всех исследованиях использовался один и тот же лабиринт. Умные мыши, бегая по лабиринту, оставляли свои запахи. Запахов было больше там, где чаще бегали мыши, а чаще они бегали в правильном направлении. Поэтому даже самая тупая мышь со временем все лучше и лучше ориентировалась по запаху. А эволюционные факторы играли очень малую роль, ведь чтобы серьезно отобрать умных или глупых мышей, надо много поколений.
Не удивительно, что когда лабиринт помыли, ВСЕ мыши "поглупели", особенно самые "глупые".
Мораль басни такова: не ищите сложных объяснений, пока не исключил все простые. Простые объяснения есть почти всегда, просто не всем охота думать и напрягать мозги. Порой намного проще все "объяснить" волшебством или каким-нибудь "полем", но это лишь путь невежества от нежелания разобраться.
Coffee break
Магия. Приворот, отворот, предсказание судьбы. Гарантия 100%. Если не сбывается - возвращаем деньги.
Пример 3. Крысы - жертвы множественных проверок
Эксперимент
Жил-был ученый, который решил исследовать действие вещества на крыс. Не будем вдаваться в подробности, ведь это лишь образовательный анекдот. Взял ученый шесть крыс и еще шесть крыс. Первых шесть крыс кормил веществом, других не кормил и потом зарезал бедняжек. Вскрытие показало, что некоторые изменения в кишечнике были почти у всех крыс, которых кормили веществом и не было у крыс, которых не кормили веществом. Результат был статистически значимый и поэтому ученым был сделан вывод о влиянии вещества на кишечник крыс.
Нормальное научное исследование не так ли?
Отгадка.
Но проблема была глубже. Дело в том, что данный ученый, как он честно признается в отчетах, исследовал не только заявленное изменение в кишечнике, но еще несколько десятков вариабельных параметров крыс и конкретной гипотезы, какой именно параметр и как должен изменяться под действием вещества ученый до исследования не имел. Практически по всем параметрам крысы, которые ели вещество и не ели вещество были одинаковы, а в кишечнике нашлось отличие.
В эксперименте было много конкретных ошибок, но они менее интересны, кроме того требуют специальных знаний. Но одну ошибку ученого можно понять не обладая ничем, кроме логики. Заключается ошибка в том, что если взять 6 крыс и еще 6 крыс и измерить то огромное количество параметров, которое ученый измерил и сравнил (более пятидесяти), просто неизбежно, что хотя бы по одному из них первые 6 крыс будут статистически значимо отличаться от других 6 крыс.
Проиллюстрировать это легко. Представьте себе, что я скажу Вам, что я вытащу подряд два туза из колоды в 36 карт. Вытащу из разных мест перемешанной новой колоды. Удивит ли Вас, если мне это удастся? Наверно, ведь угадать такое случайно можно лишь 1 раз из 100, а это вполне маловероятно. Допустим, мне удалось. Можно предположить, что я использовал какой-то хитрый фокус?
А теперь представьте себе, что Вы не первый человек, которому я показываю этот фокус. А на самом деле этот фокус я показываю уже в сотый раз, причем до этого я еще ни разу не угадал двух тузов, а с Вами мне просто повезло. Действительно если повторить этот трюк 100 раз с сотней разных людей, один раз такой трюк получится почти наверняка и человек, не подозревающий об остальных 99 "испытуемых", на которых фокус провалился будет озадачен и восхищен. То же самое получилось в данном опыте с крысами, который получил неоправданную огласку.
В современной науке в таких ситуациях вносят "поправку на множественные проверки". Очень ценное достижение научного метода. Незнание о такой поправке неизбежно приведет к ложным результатам, как в случае с крысами, но мало кто знает о ней и мало кто ее использует. Я встречал ошибки такого рода во вполне серьезных научных изданиях. Не стоит говорить о том, что она повсеместно встречается в работах "альтернативных" ученых.
Другой пример про множественные проверки
Все знают иллюзиониста Ури Геллера. Поразивший многих людей трюк заключался в следующем: в прямой трансляции по телевизору, Ури Геллер предложил телезрителям достать свои старые, остановившиеся часы. Затем, пока он "колдовал", следовало трясти часы в руках и смотреть в телевизор. Зрителей предупредили, что Ури Геллер сможет починить часы лишь некоторых зрителей, но кто-то лично убедиться в том, что его часы запустятся и сможет лицезреть "чудо", о котором просили впоследствии сообщить. Тут же посыпались звонки, примерно такого содержания: "мои часы стояли 8 лет, но теперь заработали! Я в шоке!" Объяснение явлению простое: некоторый очень небольшой процент "не работающих часов" на самом деле испытывают легкую неисправность, которую можно починить простой встряской. Таких часов немного, но если часы потрясут миллион зрителей, обязательно найдется хотя бы десяток, у которых была ничтожная неисправность в механизме, вроде камушка между шестеренками или отошедшего контакта. Казалось бы просто магия, а в действительности - магия цифр. Очень многие "чудеса" имеют именно такое объяснение.
Заключение
В заключении я бы хотел привести еще несколько очень любопытных статей, относящихся к теме:
- Роберт Вуд и N-лучи: ssop.kspu.ru/z_fiz.htm
- Ричард Фейнман и "наука самолетопоклонников": www.skeptik.net/pseudo/feynman1.htm
Суть этих и многих других примеров в том, что они показывают, как легко люди приходят к ложным выводам. Мы ищем причинно-следственные связи там, где их нет. Об этом очень красиво рассказывает Майкел Шермер: www.youtube.com/watch
Бурхус Скиннер показал на примере голубей, как у животных легко возникают предрассудки - неправильно установленные причинно-следственные связи. Нейрофизиологи рассказывают нам о болезнях, которые нарушают способность человека отличать причину от псевдо-причины или просто независимого явления. Подробней - обо всем этом в обзоре scinquisitor.livejournal.com/1922.html
Но складывается впечатление, что люди еще не так далеко ушли от животных в своей эволюции и без помощи сложных теоретических инструментов, таких как наука, порой только и могут, что приходить к ложным выводам. Об этом свидетельствует растущее количество паранауки и параученых: астрологов, гомеопатов, целителей, уринотерапевтов, креационистов, изобретателей "вечных двигателей", уфологов, "волновых генетиков" и так далее. Антисциентисты, которые отворачиваются от научных методов, направленных на объективность, честность и чистоту познания проявляют глубочайшее невежество и нежелание разобраться в том, как все устроено на самом деле; довольствуются псевдо-объяснениями и иллюзиями понимания; не желают подвергнуть свои идеи и взгляды критической проверке. Мне кажется просто необходимым обучать в школах основам научного метода - благо есть множество красочных примеров того как надо и как не надо делать науку.
- Mood:accomplished

Comments
К сожалению неправильное отношение к эксперименту порой закладывается с института. В институте, где я учусь лаборатория по физике не в самом лучшем техническом состоянии. Многие эксперименты можно провести только "зная заранее" конечный результат (например внимательно прочтя методику). Постепенно это формирует соответствующее отношение к лабораторным.
не закончено
1) Не каждый, кто положит на тебя - твой враг.
2) Не каждый, кто вытащит тебя из дерьма - твой друг.
3) Если тебе хорошо, то сиди и не чирикай.
offtopic
И на счет экспериментов, не знаю, было ли такое на самом деле. Вроде попалось в виде шутки при сравнении людей с крысами (кажется, в одной из НЛП книжек). Вкратце суть такова, что мыши бегали по лабиринту в поисках сыра. Студентов заманивали в лабиринт 5$ долларовыми купюрами. Успешность поисков среди студентов и крыс по сути не различалась (то есть грубо говоря одинаково "умные" в данном смысле). Было интересно другое. После того как сыр убрали, крысы перестали бегать по лабиринту. А когда убрали из лабиринта деньги, студенты ещё долго по нему ходили в поисках заветной бумажки :)
Скептицизм сам по себе может быть тоже вреден для науки. Вспомнить только неприятие всего нового, много раз имевшее место быть в науке, - когда "знающие как надо" были убеждены что чего-то не может быть, и легко опровергали это правильным экспериментом.
Надо всё таки иметь Правильный Скептицизм:)
А опыт касательно "крысиной телепатии" должен был получить продолжение уже у психологов. Так было бы интересней:)
Плохо, когда скептики сами не владеют научным методом - тогда можно получить ложное опровержение хорошей теории (и такое бывает) или хорошего исследования. Скептицизм должен быть разумен, а главное обоснован, основан на идеях качественного научного исследования.
В принципе одна из идей правильного скептицизма - это то, что идеи нужно сравнивать по количеству и качеству подтверждающих идею фактов, а не по тому какого мнения придерживаются те или иные люди.
"Крысиная телепатия" - действительно интересный психологический феномен, который довольно часто встречается. Может и изучают - не знаю :)
Ну почему же "рано или поздно":) Эта ситуация как-раз с радостью будет переведена и правильным и неправильным скептиком в разряд "хорошей науки".
Едва ли легко опровергнуть правильным, с научной точки зрения, экспериментом верное утверждение, так что тут я не согласен.
Как сказать. Вот, например, при росте гриба наблюдаются антимикробные свойства. Скептик, не разобравшись в вопросе (т.е. неправильный скептик) кричит - а вы пробирки хорошо мыли!? Моются хорошо пробирки, и никакого эффекта уже не наблюдается.
А виноват, возможно, был случайно занесённый в одну из пробирок шмамм гриба, который методами скептика будет искаться ещё сто лет.
Вообще, скептицизм такого рода может помешать лишь в работах, где случайно найдена некая информация, которую современная скептику наука объяснить не может. Такие проявления обычно очень хрупки, и требуют одновременного выполнения многих неочевидных условий.
_____
Нет, я однозначно за скептицизм!:) Но как говорится (не помню точно): всё должно быть умеренным, даже умеренность:) И к скептицизму нужно тоже относится с скептицизмом:) Быть может упомянутые вами случай есть лишь описанием уничтожения прорывных експериментов в области телепатии, информационного поля и гмо. Но нет, шучу конечно:)
(4/36)*(3/35)
Основы научного метода преподавать было бы неплохо, особенно с учетом последних образовательных тенденций, когда "правильный ответ" преобладает над "логикой рассуждения" (ЕГЭ).
А вообще часть успеха "превдоученых" как раз в том, что они-то не гнушаются довольно подробно разжевать свою бредятину, сослаться на какой-нибудь авторитет (мнимый), завоевать доверие парой-тройкой фокусов с использованием как раз "магии цифр", пользуясь тем, что большинство проверить их информацию никак не сможет.
действительно, если вы сопоставляете две группы по 20 параметрам, то p<0.05 для параметра Х отличия не доказывает. Должно быть, условно говоря, p<0.0025.
НО!!! Если две группы ДЕЙСТВИТЕЛЬНО отличаются по параметру Х отличие вполне может быть таким, что обеспечит только p<0.05 для параметра Х. То есть в реальности надо ставить второй эксперимент (желательно в другой лаборатории), в котором (хотя бы условно!) изучается только параметр Х.
Эта проблема особенно критична для клинических испытаний на людях. Подобрали редкую группу больных, ввели ей некий (вдруг опасный!) препарат - так хочется зарегистрировать сотню параметров! И давление, и анализ крови, и биохимию хитрую, и... Второй возможности может и не представиться.
Получаем p<0.05 для параметра Х, хотим опубликовать, чтоб другие проверили. А (не)умный редактор говорит: низя. Результаты не достоверны.
Ни математический, ни логический аппарат разрешения таких коллизий еще не отработаны.
... хотя, конечно, 90% российских медицинских диссертаций место на помойке, поскольку базируются они как раз на эффектах multiple comparisons.
ый>>Бурхус Скиннер показал на примере голубей, как у животных легко возникают предрассудки - неправильно установленные причинно-следственные связи.
Вот здесь есть статья интересная по тематике: http://forum.ethology.ru/showthread.p
У Лоренца в "Агрессии" есть тоже интересное наблюдение за гусыней Мартиной.
Вот, кстати, иллюстрация к третьему примеру: http://www.xkcd.com/628/
http://books.google.com/books?id=mMgMHQR
Алсо отключить анонимные комменты по-моему пользователей не уважать. Опенайди толком не работает, твиттер работает через пень колоду, а регистрироваться в ЖЖ помойке я однозначно не хочу.
Анонимные комменты ранее приводили к неконтролируемому количеству спама. Но можно попробовать еще раз.
А все остальное объясняется немытыми лабиринтами.
Все это я где-то читал, когда, как раз заинтересовался этим самым "полем", но я уже не помню где. Была статья какая-то научно-популярная.
Ну, на мой взгляд вы слишком категоричны. Кто знает, вдруг Шелдрейк действительно в чем-то (или может даже во всем) прав. Если рассматривать только факты, то данные опыты говорят в его пользу, а ваши опровержения всего лишь возможное (может быть самое вероятное, с вашей точки зрения наверняка самое простое, но только возможное) объяснение т.к. они не доказаны. С другой стороны, эксперименты многодесятилетней давности не выглядят очень убедительным доказательством тоже. Я к тому, что Шелдрейку и его критикам стоило бы повторить данный эксперимент самим, тут бы все немытые лабиринты и всплыли бы. Впрочем может кто-то что-то такое и делал, я о его теории и ее критике знаю только в самых общих чертах.
Ладно, я наверное слишком резко на вас в соседнем треде про десять заблуждений напал, уж очень меня разозлило отнесение Юнга к лженауке. Даже если бы вам действительно удалось бы подвергнуть критике всю его теорию, а не только одно из доказательств, которые он приводил в свою пользу, это могло бы сделать его теорию опровергнутой, но не лженаучной. Приятно было с вами побеседовать.