Неврологи регулярно проводять величезну кількість порівнянь. При виконанні функціональної МРТ тривимірне зображення мозку отримується до і після виконання деякого завдання досліджуваною людиною. Томограми показують кровотік у мозку, виявляючи, які частини мозку є найбільш активними при виконанні тих чи інших завдань. Але як вирішити, які з частин мозку активізуються при виконанні завдання? Простий метод - поділити томограму на маленькі кубики, які називають вокселями. Тоді воксель у томограмі “до активності” порівнюють із тим самим вокселем на томограмі “після активності”, і якщо відмінність у кровотоці значима, робимо висновок, що ця частина мозку задіяна при виконанні завдання. А проблема в тому, що вокселів для порівняння - тисячі, що дає купу можливостей зловити хибнопозитивний результат. Так, один експеримент досліджував вплив “відкритого розумового завдання” на учасників. Учасникам показували “серію фотографій, які відображали людські особистості у соціальних умовах зі визначеною емоційною валентністю”, і просили визначити, “які емоції відчуває особистість, зображена на фотографі”. В принципі, можна уявити, як різні емоційні і логічні центри мозку задіюються при вирішенні даної задачі. Отримані дані були проаналізовані, і знайдена зміна активності деяких областей мозку. Порівняння томограм до завдання та після виявило відмінність із \(р=0.001\) у \(81mm^3\) кластері мозку. Хто були учасниками дослідження? Ні, не студенти молодших курсів, яким платять по 10$ за витрачений час, як це традиційно робилось. Досліджуваним суб’єктом був атлантичний лосось, який “ще до сканування вже не подавав ознак життєдіяльності” [15]. Звичайно, більшість неврологічних досліджень не такі примітивні, як це; існуючі методи шукають кластери (групи) вокселів, які змінюються разом, а також використовуються прийоми для контролю частки хибних відкриттів навіть якщо виконуються тисячі статистичних тестів. Ці меотди широко поширені у сучасній літературі, і зовсім мало статей роблять такі прості помилки, як тут описано. Але, на жаль, майже кожна з публікацій підходить до проблеми по різному; огляд 241 фМРТ досліджень виявив, що в них використано 223 різних стратегій аналізу даних, які, як ми розглянемо пізніше, дають досліджнику достатньо гнучкості щоб досягнути статистично значимих результатів [16].
<a name="Carp", id="anchor">[16] J. Carp. The secret lives of experiments: methods reporting in the fMRI literature. Neuroimage, 63:289–300, 2012. </a>