Багато наукових проектів намагаються зібрати більше даних шляхом відтворення (реплікації). Повторюючи проведені вимірювання за участю додаткових пацієнтів чи вибірок, можна більше впевнитись у отриманих результатах і виявити слабкі зв’язки, які були непомітні з першого погляду. Ми вже бачили, що додаткові дані підвищують статистичну потужність і дають змогу підтвердити незначні за розміром відмінності. Але що саме слід розуміти за відтворенням?

Повернемось до медичного прикладу. Нехай маємо дві групи пацієнтів, що приймають різні ліки, і задача полягає у виявленні, котрий з препаратів краще знижує артеріальний тиск. Кожна група приймала свій препарат протягом місяця, щоб дія ліків встигла проявитись в повну силу. Після цього лікарі спостерігали за пацієнтами протягом 10 днів, кожного дня вимірюючи рівень артеріального тиску. Тепер у нас є 10 точок для кожного пацієнта, а разом всіх точок - 1000. Чудово! 1000 точок - це є досить багато, і ми можемо досить легко встановити, котрий з препаратів кращий. Обчислюючи статистичну значимість, ми легко знаходимо значимий результат.

Якби не так! Само собою, що вимірюючи рівень тиску у пацієнта 10 разів, ми отримаємо 10 дуже подібних результатів. Якщо один з пацієнтів генетично схильний до низького тиску, ми порахуємо його генетику 10 разів. От якби ми зібрали дані з 1000 різних пацієнтів, замість повторного тестування сотні, то можна було б говорити про більшу впевненість у тому, що відмінність між групами зумовлена препаратами, а не генетикою та випадковістю. Отже, ми заявляли про велику вибірку, яка дає велику потужність і статистично значимі результати, а виявилось, що заява ця хибна.

Така ситуація відома під назвою псевдовідтворення (псевдореплікація), і є досить поширеною [11]. Після проведення експерименту над клітинами із деякої культури, біолог може відтворити отриманий результат, провівши експеримент додатковими клітинами з тієї ж самої культури. Неврологи можуть дослідити багато нейронів всього однієї тварини, і хибно зайвляти, що у них велика вибірка, адже вони дослідили сотні нейронів. Правда, всього у двох мишей.

Мовою статистики, псевдовідтворення трапляється тоді, коли має місце взаємна залежність окремих спостережень одне від одного. Артеріальний тиск у пацієнта досить сильно пов’язаний з тиском, який в нього був вчора, а склад грунту досить добре корелює із дослідженнями грунту за два метри вбік. Існує декілька шляхів врахувати цю залежність при проведенні статистичного аналізу:

1. Усереднити залежні дані. Наприклад, взяти для кожного пацієнта замість 10 результатів - їх середнє арифметичне. Але це не зовсім хороший шлях. Якщо одних пацієнтів досліджували частіше, ніж інших, це не знайде свого відображення у середньому числі. Для цього потрібен метод, що враховував би, що чим більше маємо повторюваних вимірювань, тим надійніші є отримані середні числа.
2. Аналізувати кожну залежну точку окремо. Наприклад, для аналізу взяти рівень тиску у всіх пацієнтів на п’ятий день спостереження. Таким чином, для кожного пацієнта тепер враховується лише одне число. Але слід бути обачним: якщо робити таке для кожного з днів, то попадемо в іншу халепу, яка називається множинні порівняння, про які буде згадано далі.
3. Використовувати статистичну модель, яка враховує залежність даних. Наприклад, ієрархічні, або змішані моделі.

Важливо обміркувати кожнен з варіантів перед тим, як братись до аналізу даних, оскільки кожен з методів підходить до різних ситуацій. Псевдовідтворення дозволяє легко досягнути значимості, хоча, насправді, кількість додаткової інформації, отриманої при псевдовідтворенні, - невелика. Дослідникам слід бути обачними, і не роздувати свої вибірки штучно, перепровіряючи одні й ті самі об’єкти. ___