Достаточно широко в интернетах и даже с привлечением тяжелой артиллерии в виде Дубынина, обсуждаются полезные свойства т.н. молока А2. В качестве безусловного доказательства его преимуществ часто приводится ссылка на великое китайское исследование. В связи с чем возникло желание наконец разобраться, что же там так, а что не так, и почему и Дубынину, и никому другому, не следует позориться в этой теме. Даже если за деньги.
Полную версию разбора полетов, изящно исполненную тов. Водовозовым, можно прочитать здесь. Обязательно почитайте.
Мне же особливо традиционно интересен не столько сам буллшит в его конечном проявлении, а механизм его генерации в научных изданиях. Позволю себе разместить свою скромную часть, вошедшую врезкой с сочинение деды Леши, в которой мы наблюдаем замечательный пример «слишком хорошо, чтобы быть правдой».
Про буллшит в науке
К сожалению, современная научная литература переполнена ошибочными и порой намеренно вводящими в заблуждение исследованиями. Эти исследования часто проводятся или используются в экономических целях различными бизнес-структурами. У нас же всегда возникает вопрос, как же определить, достойно ли исследование внимания, или нет.
Скажу сразу, что все внешние признаки ерунды в этой статье есть: работа выполнена на деньги производителя в подтверждение сомнительной (с точки зрения науки) идеи. Заказчик ссылается на то, что возможности влиять на процесс у него было, так как исследование зарегистрировано должным образом. Однако уже это ложь- зарегистрировано исследование ретроспективно, то есть уже и возможного согласования результатов.
Но это все-таки внешние признаки, ими нельзя аргументировать. Давайте отроем и почитаем, что же там внутри.
Немного совсем базового теорвера
Прежде немножко вспомним теорию вероятностей и ответим на вопрос: какова вероятность выбросить ровно 1 орел за 2 броска честной монеты?
Достаточно легко перебрать в уме вероятные исходы двух бросков и предположить 50%. Какова вероятность выбросить 2 орла за 4 броска монеты? Уже сложнее, но это вовсе не 50, а 37.5%. Какова вероятность, что у вас выпадет ровно 50 орлов в серии из 100 бросков монет? Чуть меньше 8%.
Какова вероятность бросить монету 200 раз и получить ровно 100 орлов?
5.6%
Какова вероятность того, что вы делаете 3 серии по 200 бросков и у вас выпадают ровно 100 орлов в каждой серии?
Чуть ниже 0.02%.
Теперь поставьте себя в такую ситуацию.
К вам приходит человек и рассказывает, что он сделал 3 серии бросков по 200 и в каждой у него выпало ровно 100 орлов. Поверите ли вы ему на слово, потребуете ли от дополнительных доказательств и заподозрите ли вы его в нечестности, если таких доказательств у него не будет?
Запомните свой ответ.
Посмотрим в работу
Мы не будем сейчас даже смотреть данные о том, у кого и как улучшилось самочувствие после приема молока А2. Если эти данные кто-то подделывал, то скорее всего это сделано достаточно хорошо, чтобы не вызвать сомнений у рецензентов. Мы будем смотреть туда, где данные обычно подгоняются наименее качественно и где прокалываются большинство фальсификаторов. В данные, которые вроде бы неважны и не влияют на выводы. В данном случае это статистики исследуемых групп людей (все рецензии доступны здесь, и ни в одной из них вопрос отбора субъектов не поднимается, так как эту часть традиционно никто не читает).
Что мы здесь видим?
A total of 1200 subjects were initially screened and 642 started the study, 230 in Beijing, 210 in Guangzhou, and 202 in Shanghai. In Beijing, 13 subjects discontinued the study and questionnaires were not completed by 17 subjects. In addition, 10 subjects in Guangzhou and 2 in Shanghai discontinued the study. Therefore, data were available for 600 subjects (200 per site).
Мы видим, что в исследовании 3 центра: 3 группы в разных городах.
Всего в 3 городах изначально приняли в работу 1200 человек. Под параметры исследования подходили только 642. Пока все хорошо. Из них в Пекине жило 230 но 30 не смогли окончить исследование. В Гуанчжоу из 210 не дошло 10. В Шанхае набрали 202 но до конца двое не дошли.
Итого из 1200 подошло ровно 600 которые совершенно, разумеется, случайно, распределились в 3 группы по 200.
Дальше мы видим, как каждую группу из 200 субъектов разбивали на 2 возрастные подгруппы: по 20–35 лет и 36–50 лет. Снова совершенно случайно все три группы поделились ровно пополам, по 100. Это тот самый момент, где пора вспомнить свой ответ на задачку про серийное бросание монет и начать задумываться о том, что же на самом деле происходит и могли ли такие красивые числа в группах получиться без вмешательства исследователя.
Ничто так не способствует успеху в науке, как умелое придумывание результатов
Но чудеса продолжаются и дальше.
Каждую территориально-возрастную сотню (числом 6 штук) авторы работы «рандомизируют» на две подгруппы по характеру предполагаемой интервенции: одной предполагается давать нормальное молоко, другой — то самое А2. И в каждой из этих случайно созданных под-подгрупп обнаруживается ровно по 50 человек. Это, конечно, не обязательно проблема. Рандомизацию действительно можно устроить так, чтобы поделить группы поровну. Но в хорошей научной практике так не делается, вы редко найдете исследования в которой количество субъектов в контрольной и изучаемой группе одинаковы.
В любом случае, то ли в Китае теория вероятностей не работает, то ли работает особенным образом, то ли на исследователей полоса везения напала, то ли авторы просто все придумали.
Прости меня, читатель, но я ставлю на последнее. Я слишком много читал разных научных исследований, чтобы сохранить наивность. Учитывая и другие «красные флажки», я не вижу вообще никакого смысла не только воспринимать всерьез результаты этой работы, и даже читать ее. Это совершенно неважно, какие результаты обнаружились у субъектов исследования, если сами субъекты придуманы.
И в завершение еще одно наблюдение. Средний возраст в 39.8 лет в таблице обнаруживается в группе, в которой должно быть 20–35 лет), что, возможно, является просто опиской. Но все равно смешно.
В таблице вы можете увидеть и крайне маловероятное распределение субъектов по группам, и ошибку при подсчете (или выдумывании) среднего возраста одной из подгрупп, которая, однако, ни на что не влияет.
Данный материал был опубликован в блоге Сергея Белкова, 22.08.2018.