Пояснення внутрішньої валідності (з прикладами з реального життя)

Великий Альберт Ейнштейн якось сказав: "Якби ми знали, що ми робимо, це не називалося б дослідженням, чи не так?"

Це стосується більшості дослідницьких випадків. Коли ви плануєте експерименти і ставите правильні запитання, ви на правильному шляху.

Але якщо ваші результати не можуть довести причину (без того, щоб інші змінні не зіпсували вечірку), то ви отримаєте заплутану плутанину, а не висновок.

Ласкаво просимо у світ внутрішньої достовірності.

Це ваше альтер-его, ваша совість, ваш власний Джиміні Крикет. Якщо ваш експеримент каже: "Це успіх", перше, про що запитує внутрішня валідність: Чи все ж таки це сталося? Це різниця між "Я думаю, що це спрацювало" і "Я знаю, що це спрацювало, і ось чому".

Але внутрішня валідність потрібна не лише науковцям та дослідникам. Фахівці з маркетингу, які тестують ефективність кампаній, розробники продуктів, які проводять A/B-тести, і навіть звичайні люди, які оцінюють заяви про здоров'я, - усі вони потребують цієї навички.

Здатність визначити, чи дійсно X спричинив Y (а не якийсь прихований фактор Z), є дуже важливою в нашому світі, що керується даними.

Давайте розпакуємо все, що вам потрібно знати про внутрішню валідність. Ми з'ясуємо, що це таке, чому вона важлива і як посилити її у власному дослідженні.

А головне, ми переведемо складні концепції на реальні приклади, які мають сенс.

Що таке внутрішня валідність?

Внутрішня валідність - це ступінь, до якого ви можете довіряти тому, що результати вашого дослідження точно відображають причинно-наслідкові зв'язки.

Простіше кажучи, він відповідає на таке запитання: "Чи можу я бути впевненим, що моя незалежна змінна дійсно спричинила зміни, які я спостерігав у моїй залежній змінній?"

Внутрішня валідність - це як "детектор правди" для висновків вашого дослідження.

Висока внутрішня валідність означає, що ви успішно виключили альтернативні пояснення ваших результатів.

Ви створили дослідницьке середовище, в якому інші змінні не можуть прокрастися і заплутати ваші результати.

Візьмемо класичний приклад: Дослідник хоче визначити, чи покращує новий метод навчання результати тестування.

Учні, які навчаються за новою методикою, отримують вищі бали на випускних іспитах. 

Але чи спричинив це покращення метод викладання? Чи це сталося тому, що викладач несвідомо приділяв більше уваги експериментальній групі? Можливо, студенти, які отримали новий метод, вже були сильнішими в академічному плані? 

Ці питання спрямовані на внутрішню валідність дослідження.

Внутрішня валідність не з'являється випадково. Вона вимагає ретельного планування, скрупульозного виконання та чесного аналізу потенційних недоліків.

Метою є не досконалість, оскільки жодне дослідження не застраховане від усіх загроз, а максимізація довіри до ваших висновків за допомогою ретельний дизайн дослідження яка надає пріоритет контролю над змінними, що змішують.

Чому внутрішня валідність має значення

Чому ви повинні дбати про внутрішню валідність?

Тому що без цього висновки вашого дослідження не мають сенсу.

Сильна внутрішня валідність відокремлює справжні інсайти від оманливих кореляцій.

Наприклад, фармацевтичні компанії витрачають мільярди на тестування нових ліків. Без внутрішньої валідності вони можуть схвалити ліки, які насправді не працюють, або пропустити небезпечні побічні ефекти.

Політики покладаються на дослідження приймати рішення, що впливають на мільйони життів. Освітні реформи, ініціативи у сфері охорони здоров'я та економічна політика залежать від достовірних висновків досліджень.

Навіть у бізнесі внутрішня обґрунтованість має значення. Компанія може пояснити зростання продажів новою маркетинговою кампанією, тоді як справжньою причиною були сезонні особливості купівлі.

Без уваги до внутрішньої валідності компанії роблять дорогі помилки, засновані на хибних припущеннях.

Навіть складання проекту переможна дослідницька пропозиціяЯ несу відповідальність за те, щоб показати, як ви будете контролювати змінні і виключати альтернативні пояснення, тому що сильні ідеї нічого не значать, якщо дизайн не може їх підкріпити.

Ключові характеристики високої внутрішньої валідності

Як виглядає дослідження з високою внутрішньою валідністю?

Ось відмінні риси:

• Чітка часова послідовність: Причина повинна передувати наслідку. Це здається очевидним, але це може бути складно в обсерваційних дослідженнях, де не завжди зрозуміло, що сталося першим.
• Послідовні, міцні відносини: Чим сильніший і послідовніший зв'язок між змінними, тим більше впевненості ми можемо мати в причинно-наслідковому зв'язку.
• Відповідна контрольна група: Добре підібрана контрольна група, яка відрізняється лише впливом незалежної змінної, посилює внутрішню валідність.
• Випадковий розподіл: Коли учасники випадковим чином розподіляються за умовами експерименту, попередні відмінності розподіляються порівну між групами.
• Експериментальний контроль: Дослідник зберігає жорсткий контроль над середовищем дослідження, мінімізуючи зовнішні впливи.
• Врахування змінних, що змішуються: Якісне дослідження визначає і враховує змінні, які можуть заплутати зв'язок між причиною і наслідком.
• Обґрунтованість статистичних висновків: Відповідні статистичні тести та адекватні розміри вибірки гарантують, що виявлені ефекти є реальними, а не випадковими.

Висока внутрішня валідність не буває випадковою.

Це вимагає продуманого дизайну дослідження з самого початку, а не контролю після збору даних.

Загрози внутрішній валідності

Навіть найбільш ретельно сплановані дослідження стикаються із загрозами для внутрішньої валідності. Розпізнати ці загрози - половина справи.

Ось основні винуватці:

1. Історія: Зовнішні події, що відбуваються під час навчання, можуть вплинути на його результати. Якщо ви вивчаєте ефективність нового методу навчання під час пандемії, яка порушує нормальний навчальний процес, зовнішні фактори можуть вплинути на ваші результати.
2. Дозрівання: Природні зміни, що відбуваються з учасниками з плином часу, можуть бути помилково прийняті за наслідки лікування. Діти природним чином розвивають мовні навички з віком, тому дослідження засвоєння мови повинно враховувати цей нормальний розвиток.
3. Тестування ефектів: Проходження попереднього тесту може вплинути на результати пост-тесту, незалежно від будь-якого втручання. Учасники можуть показати кращі результати просто тому, що вони бачили подібні запитання раніше.
4. Інструментарій: Зміни в інструментах вимірювання або спостерігачах можуть створювати штучні відмінності в результатах. Якщо ви переходите від одного стандартизованого тесту до іншого в середині дослідження, різниця в результатах може відображати зміни у вимірюванні, а не реальний вплив.
5. Статистична регресія: Коли учасники відбираються на основі екстремальних результатів, вони, природно, мають тенденцію отримувати результати ближче до середнього в наступних тестах. Цей "регрес до середнього" може бути неправильно інтерпретований як ефект лікування.
6. Упередженість відбору: Якщо експериментальні та контрольні групи систематично відрізняються до втручання, ці відмінності (а не ваша незалежна змінна) можуть пояснювати відмінності в результатах.
7. Експериментальна смертність (виснаження): Вихід учасників з дослідження може спотворити результати, особливо якщо рівень відсіву відрізняється в експериментальній та контрольній групах. Якщо найтяжче хворі пацієнти випадають з випробування ліків, препарат може здаватися більш ефективним, ніж він є насправді.
8. Дифузія або імітація лікування: У деяких дослідженнях учасники контрольної групи можуть піддаватися впливу деяких аспектів експериментального лікування, що зменшує групові відмінності.

Усвідомлення цих загроз не усуває їх автоматично.

Але це дозволяє дослідникам розробляти дослідження, які мінімізують їхній вплив або враховують його під час аналізу.

Як підвищити внутрішню валідність

Зміцнення внутрішньої валідності полягає не лише в уникненні загроз, але й в активному впровадженні методів, які посилюють причинно-наслідкові зв'язки.

Ось як підвищити внутрішню валідність вашого дослідження:

• Рандомізація: Випадковий розподіл учасників на експериментальну та контрольну групи. Це рівномірно розподіляє потенційні змінні, що можуть вплинути на результати, між групами. Наприклад, у клінічному дослідженні випадковий розподіл допомагає збалансувати такі фактори, як вік, попередні стани здоров'я та спосіб життя, між групами лікування.
• Контрольні групи: Включіть відповідні контрольні або порівняльні групи, які не отримують жодних втручань або плацебо. Це дозволить вам ізолювати вплив вашої незалежної змінної. Золотий стандарт медичних досліджень - рандомізоване контрольоване дослідження - отримує більшу частину своєї сили завдяки добре спланованим контрольним групам.
• Засліплення: Ні учасники, ні дослідники, ні ті, ні інші (подвійне сліпе дослідження) не повинні знати, хто з них отримував те чи інше лікування. Це запобігає впливу ефекту очікування на результати. У випробуваннях ліків і пацієнти, і лікарі часто не знають, хто отримує активні ліки, а хто плацебо.
• Стандартизовані процедури: Створіть детальні протоколи для кожного аспекту вашого дослідження і навчіть всіх дослідників точно їх дотримуватися. Це зменшує варіативність, спричинену непослідовними методами.
• Кілька заходів: Використовуйте кілька різних методів для вимірювання залежної змінної. Якщо всі вимірювання показують схожі результати, ви можете бути більш впевненими у своїх висновках.
• Статистичний контроль: Використовуйте статистичні методи, щоб врахувати потенційні змінні, які можуть заважати. Такі методи, як ANCOVA, зіставлення балів схильності або регресійний аналіз можуть допомогти виокремити вплив вашої незалежної змінної.
• Заходи до/після: Зберіть базові дані до початку втручання, щоб врахувати початкові відмінності між групами. Це дозволить вам виміряти зміни, а не лише кінцевий стан.
• Пілотне тестування: Проведіть невеликі тести ваших процедур перед основним дослідженням, щоб виявити та виправити потенційні проблеми. Таким чином, ви заощадите час і ресурси, одночасно зміцнивши свій дизайн.
• Перевірка маніпуляцій: Переконайтеся, що ваша маніпуляція з незалежною змінною дійсно спрацювала так, як ви планували. Наприклад, якщо ви вивчаєте вплив індукованого стресу, переконайтеся, що учасники, які перебували в стресовому стані, дійсно відчували більший стрес.

Пам'ятайте, що підвищення внутрішньої валідності часто вимагає компромісів з іншими цілями дослідження.

Наприклад, суворо контрольовані лабораторні дослідження можуть мати сильну внутрішню валідність, але слабшу зовнішню валідність (можливість узагальнення в реальних умовах).

Внутрішня та зовнішня валідність

Внутрішня та зовнішня валідність - це дві сторони медалі якості дослідження. Хоча їх часто обговорюють разом, вони стосуються принципово різних питань:

Внутрішня валідність запитує: "Чи можу я вважати, що моя незалежна змінна спричинила спостережувані зміни в моїй залежній змінній?"

Зовнішня валідність запитує: "Чи можу я узагальнити ці висновки за межами цього конкретного дослідження на інших людей, умови та ситуації?"

Ці дві форми валідності часто конфліктують. Дослідження, проведені в суворо контрольованих лабораторних умовах, можуть мати чудову внутрішню валідність, коли ви можете бути впевнені в причинно-наслідкових зв'язках. Але штучні умови обмежують можливість перенесення результатів у реальний контекст, знижуючи зовнішню валідність.

На противагу цьому, польові дослідження, проведені в природних умовах, можуть мати сильну зовнішню валідність. Отримані результати з більшою ймовірністю можуть бути застосовані до реальних ситуацій.

Однак відсутність контролю над зовнішніми змінними послаблює внутрішню валідність, особливо якщо вона значною мірою ґрунтується на даних спостережень або єдине першоджерело без реплікації.

Розглянемо ці відмінності:

Внутрішня валідність	Зовнішня дійсність
Фокусується на причинно-наслідкових зв'язках	Фокусується на узагальнюваності
Покращено завдяки контрольованому середовищу	Покращено реалістичними налаштуваннями
Посилено випадковим розподілом	Посилено репрезентативною вибіркою
Загроза заплутаних змінних	Під загрозою через штучні умови утримання
Запитує: "Чи спричинив X причину Y?"	Запитує: "Чи спричинить X Y в іншому місці?"

Ідеальна дослідницька програма балансує між обома типами валідності. Ви можете почати з ретельно контрольованих лабораторних експериментів для встановлення причинно-наслідкових зв'язків (внутрішня валідність).

Потім ви поступово перевіряєте свої висновки в більш природних умовах, щоб встановити можливість узагальнення (зовнішню валідність).

Жоден з типів валідності за своєю суттю не є важливішим за інший. Їх відносна важливість залежить від цілей вашого дослідження.

Якщо ви розробляєте фундаментальні теорії про людську поведінку, внутрішня валідність може бути пріоритетною.

Якщо ви тестуєте інтервенцію, призначену для широкого впровадження, зовнішня валідність набуває особливого значення.

Реальні приклади внутрішньої валідності

Абстрактні дискусії про валідність можуть здаватися відірваними від повсякденних дослідницьких викликів.

Розглянемо приклади з реального життя, які ілюструють концепцію внутрішньої валідності:

Приклад 1: Стенфордський тюремний експеримент

Сумнозвісне дослідження Філіпа Зімбардо 1971 року страждало від кількох внутрішніх проблем з валідністю. Дослідник виконував подвійну роль - начальника в'язниці та головного дослідника, що призводило до упередженості експериментатора.

Контрольної групи для порівняння не було. Учасники були обізнані з цілями дослідження, створенням характеристик попиту.

Ці питання ускладнюють висновок про те, що саме тюремне середовище спричинило спостережувані поведінкові зміни.

Приклад 2: Випробування ефективності вакцин

Випробування вакцини проти COVID-19 продемонстрував сильну внутрішню валідність завдяки кільком елементам дизайну:

• Великі розміри вибірки (десятки тисяч учасників)
• Випадковий розподіл до груп вакцини або плацебо
• Подвійне сліпе дослідження (ні учасники, ні дослідники не знали, хто отримав реальну вакцину)
• Чіткі, об'єктивні показники результатів (лабораторно підтверджені випадки COVID-19)
• Попередньо зареєстровані плани аналізу

Ці особливості дозволили дослідникам впевнено пов'язати відмінності в рівнях захворюваності з самими вакцинами, а не з іншими факторами.

Як інструменти штучного інтелекту можуть допомогти в дизайні досліджень

Інструменти ШІ, такі як від Undetectable AI, стають все більш цінними для підвищення достовірності досліджень у таких сферах, як написання наукових робіт.

Ці інструменти допомагають дослідникам виявляти потенційні загрози валідності та розробляти більш надійні дослідження.

Чат ШІ, який неможливо виявити пропонує пропозиції щодо дизайну дослідження, які зменшують упередженість. Цей інструмент може:

• Проаналізуйте запропоновані методології на предмет потенційних змінних, що можуть впливати на результати
• Створюйте збалансовані експериментальні дизайни з відповідним контролем
• Запропонуйте стратегії рандомізації, адаптовані до конкретних питань дослідження
• Визначте можливі джерела похибки вимірювання
• Рекомендувати статистичні підходи для контролю сторонніх змінних

Наприклад, дослідник, який планує дослідження продуктивності праці на робочому місці, може попросити AI Chat оцінити його дизайн.

Інструмент може виявити потенційні загрози в історії (наприклад, сезонні коливання бізнесу), які дослідник не врахував.

Тоді можна запропонувати збалансований дизайн, який контролює ці фактори, пов'язані з часом.

Хоча ці інструменти не можуть замінити експертизу дослідника, вони слугують цінними партнерами для мислення.

Вони допомагають виявити недоліки дизайну до початку збору даних, коли їх ще можна виправити.

Зацікавилися нашими AI-детектором і гуманізатором? Спробуйте їх у віджеті нижче!

Немає дійсності - немає вироку

Внутрішня валідність - це ключ до достовірного дослідження. Без неї ми не можемо впевнено пов'язати причину та наслідок.

Хоча бездоганний дизайн зустрічається рідко, ретельне планування може зменшити упередженість і зміцнити ваші висновки.

Ключові нагадування:

• Внутрішня обґрунтованість визначає, наскільки ми можемо довіряти причинно-наслідковим твердженням.
• Такі загрози, як упередженість відбору, дозрівання та ефекти тестування, можуть спотворити результати.
• Такі інструменти, як рандомізація, контрольні групи та засліплення, допомагають захиститися від цих загроз.
• Баланс між внутрішньою та зовнішньою достовірністю часто є компромісом.
• Реальні дослідження показують, наскільки важливою є внутрішня валідність, чи то в лабораторіях, чи то в політиці громадського здоров'я.

Коли ви розробляєте або переглядаєте дослідження, надавайте пріоритет внутрішній валідності, оскільки саме вона відокремлює реальні висновки від оманливих тверджень.

Потрібна допомога з перевіркою роботи? Використовуйте Інструменти ШІ, які неможливо виявити зміцнити свою методологію, прояснити логіку і писати більш точно і авторитетно.