Объяснение внутренней валидности (с примерами из реального мира)

Великий Альберт Эйнштейн однажды сказал: "Если бы мы знали, что делаем, это не называлось бы исследованием, не так ли?".

В большинстве исследовательских случаев это применимо. Если вы ставите эксперименты и задаете правильные вопросы, вы на верном пути.

Но если ваши результаты не могут доказать причину (без других переменных, разрушающих вечеринку), то вы получаете путаницу, а не вывод.

Добро пожаловать в мир внутренней достоверности.

Это ваше альтер эго, ваша совесть, ваш собственный Джимини Крикет. Если ваш эксперимент говорит: "Это успех", первое, о чем спросит внутренняя валидность, - это: А так ли это? Это разница между "Я думаю, что это сработало" и "Я знаю, что это сработало, и вот почему".

Но внутренняя валидность нужна не только ученым и исследователям. Этот навык нужен и маркетологам, проверяющим эффективность кампаний, и разработчикам продуктов, проводящим A/B-тесты, и даже обычным людям, оценивающим утверждения о здоровье.

Возможность определить, действительно ли X вызвал Y (а не какой-то скрытый фактор Z), очень важна в нашем мире, основанном на данных.

Давайте узнаем все, что вам нужно знать о внутренней валидности. Мы узнаем, что это такое, почему она важна и как усилить ее в ваших собственных исследованиях.

А самое главное - мы переведем сложные понятия в реальные примеры, которые будут иметь смысл.

Что такое внутренняя валидность?

Внутренняя валидность - это степень, в которой вы можете доверять тому, что результаты исследования точно отражают причинно-следственные связи.

Проще говоря, это ответ на вопрос: "Могу ли я быть уверен, что моя независимая переменная действительно вызвала изменения, которые я наблюдал в моей зависимой переменной?"

Внутренняя валидность - это как "детектор правды" для выводов вашего исследования.

Высокая внутренняя валидность означает, что вы успешно исключили альтернативные объяснения своих результатов.

Вы создали условия для исследования, в которых другие переменные не смогут прокрасться и запутать ваши выводы.

Возьмем классический пример: Исследователь хочет выяснить, улучшает ли новый метод обучения результаты тестов.

Студенты, получившие новый метод, показывают более высокие результаты на экзаменах. 

Но вызвал ли метод обучения это улучшение? Или все дело в том, что учитель бессознательно уделял больше внимания экспериментальной группе? Возможно, студенты, получившие новый метод, уже были сильнее в академическом плане? 

Эти вопросы направлены на обеспечение внутренней валидности исследования.

Внутренняя валидность не возникает случайно. Она требует тщательного планирования, скрупулезного исполнения и честного анализа потенциальных недостатков.

Цель - не совершенство, поскольку ни одно исследование не защищено от всех угроз, а максимальная уверенность в своих выводах с помощью тщательный дизайн исследования в котором приоритет отдается контролю над сопутствующими переменными.

Почему внутренняя валидность имеет значение

Почему вы должны заботиться о внутренней валидности?

Потому что без этого выводы вашего исследования, по сути, бессмысленны.

Сильная внутренняя валидность отделяет подлинные выводы от вводящих в заблуждение корреляций.

Например, фармацевтические компании тратят миллиарды на тестирование новых лекарств. Без внутренней обоснованности они могут одобрить лекарства, которые на самом деле не работают или не имеют опасных побочных эффектов.

Разработчики политики полагаются на исследования для принятия решений, влияющих на миллионы жизней. Реформы образования, инициативы в области здравоохранения и экономическая политика - все это зависит от достоверных выводов исследований.

Даже в бизнесе внутренняя достоверность имеет значение. Компания может приписать увеличение продаж новой маркетинговой кампании, в то время как на самом деле причина кроется в сезонных особенностях покупок.

Не уделяя внимания внутренней валидности, компании совершают дорогостоящие ошибки, основанные на ложных предположениях.

Даже составление выигрышное исследовательское предложениеВ этом случае вам придется показать, как вы будете контролировать переменные и исключать альтернативные объяснения, потому что сильные идеи ничего не значат, если их нельзя подкрепить разработкой.

Основные характеристики высокой внутренней валидности

Как выглядят исследования с высокой внутренней валидностью?

Вот отличительные признаки:

• Четкая временная последовательность: Причина должна предшествовать следствию. Это кажется очевидным, но может быть сложным в наблюдательных исследованиях, где не всегда ясно, что произошло первым.
• Последовательные, прочные отношения: Чем сильнее и устойчивее связь между переменными, тем больше уверенности в причинно-следственной связи.
• Соответствующая контрольная группа: Хорошо подобранная контрольная группа, отличающаяся только воздействием независимой переменной, усиливает внутреннюю валидность.
• Случайное распределение: Когда участники случайным образом распределяются по экспериментальным условиям, ранее существовавшие различия распределяются по группам в равной степени.
• Экспериментальный контроль: Исследователь строго контролирует условия проведения исследования, сводя к минимуму внешнее влияние.
• Учет сопутствующих переменных: Хорошее исследование выявляет и учитывает переменные, которые могут нарушить связь между причиной и следствием.
• Достоверность статистических выводов: Соответствующие статистические тесты и адекватные размеры выборки гарантируют, что обнаруженные эффекты реальны, а не обусловлены случайностью.

Высокая внутренняя валидность не возникает случайно.

Это требует продуманного планирования исследования с самого начала, а не контроля ущерба после сбора данных.

Угрозы внутренней валидности

Даже самые тщательно спланированные исследования сталкиваются с угрозами внутренней валидности. Распознать эти угрозы - половина успеха.

Вот основные виновники:

1. История: Внешние события, происходящие в период исследования, могут повлиять на результаты. Если вы изучаете эффективность нового метода обучения во время пандемии, которая нарушает нормальный процесс обучения, внешние факторы могут повлиять на результаты.
2. Созревание: Естественные изменения в участниках с течением времени могут быть ошибочно приняты за эффект лечения. С возрастом у детей естественным образом развиваются языковые навыки, поэтому в исследованиях, посвященных овладению языком, необходимо учитывать это нормальное развитие.
3. Эффекты тестирования: Прохождение предварительного теста может повлиять на результаты выполнения посттестовых заданий, независимо от вмешательства. Участники могут показать лучшие результаты просто потому, что они уже встречались с подобными вопросами.
4. Приборы: Изменения в инструментах измерения или наблюдателях могут создать искусственные различия в результатах. Если в середине исследования вы переходите от одного стандартизированного теста к другому, разница в баллах может отражать изменения в измерениях, а не реальные эффекты.
5. Статистическая регрессия: Когда участники отбираются по экстремальным показателям, они, естественно, стремятся получить более близкие к средним результаты на последующих тестах. Такой "регресс к среднему" может быть неверно истолкован как эффект лечения.
6. Предвзятость отбора: Когда экспериментальная и контрольная группы систематически различаются до вмешательства, эти ранее существовавшие различия (а не ваша независимая переменная) могут объяснить различия в результатах.
7. Экспериментальная смертность (выбытие): Выбытие участников из исследования может исказить результаты, особенно если показатели выбытия отличаются в экспериментальной и контрольной группах. Если из исследования лекарств выбывают наиболее тяжелобольные пациенты, препарат может показаться более эффективным, чем он есть на самом деле.
8. Распространение или имитация методов лечения: В некоторых исследованиях участники контрольной группы могут подвергаться воздействию некоторых аспектов экспериментального лечения, что размывает различия между группами.

Осознание этих угроз не приводит к их автоматическому устранению.

Однако это позволяет ученым разрабатывать исследования, которые минимизируют их влияние или учитывают их в ходе анализа.

Как повысить внутреннюю валидность

Усиление внутренней валидности - это не только предотвращение угроз, но и активное внедрение методов, улучшающих вывод причинно-следственных связей.

Вот как повысить внутреннюю валидность ваших исследований:

• Рандомизация: Случайным образом распределите участников на экспериментальную и контрольную группы. Это позволяет распределить потенциальные сбивающие переменные по группам в равной степени. Например, в клинических испытаниях случайное распределение помогает гарантировать, что такие факторы, как возраст, состояние здоровья и образ жизни, будут сбалансированы между группами лечения.
• Контрольные группы: Включите соответствующие контрольные группы или группы сравнения, которые не получают никакого вмешательства или получают плацебо. Это позволит вам изолировать влияние независимой переменной. Золотой стандарт медицинских исследований - рандомизированное контролируемое исследование - во многом опирается на хорошо продуманные контрольные группы.
• Ослепление: Чтобы участники, исследователи или оба (двойное ослепление) не знали, кто получил то или иное лечение. Это предотвращает влияние эффекта ожидания на результаты. В испытаниях лекарств и пациенты, и врачи часто не знают, кто получает активное лекарство, а кто - плацебо.
• Стандартизированные процедуры: Создайте подробные протоколы для каждого аспекта вашего исследования и обучите всех исследователей точно следовать им. Это уменьшит вариативность, возникающую из-за непоследовательности методов.
• Множественные меры: Используйте несколько различных методов для измерения зависимой переменной. Если все измерения покажут схожие результаты, вы можете быть более уверены в своих выводах.
• Статистический контроль: Используйте статистические методы для учета потенциальных сопутствующих переменных. Такие методы, как ANCOVAВлияние независимых переменных можно выделить с помощью регрессионного анализа, сопоставления показателей склонности или регрессионного анализа.
• Предварительные и последующие измерения: Соберите исходные данные до начала вмешательства, чтобы учесть начальные различия между группами. Это позволит вам измерить изменения, а не просто конечные состояния.
• Пилотное тестирование: Проведите небольшие испытания ваших процедур до начала основного исследования, чтобы выявить и устранить потенциальные проблемы. Таким образом, вы сэкономите время и ресурсы и одновременно укрепите свой дизайн.
• Проверки манипуляций: Убедитесь, что манипуляция с независимой переменной действительно сработала так, как было задумано. Например, если вы изучаете эффект индуцированного стресса, убедитесь, что участники в состоянии стресса действительно испытывали больший стресс.

Помните, что повышение внутренней валидности часто требует компромисса с другими целями исследования.

Например, жестко контролируемые лабораторные исследования могут обладать высокой внутренней валидностью, но слабой внешней валидностью (обобщенностью в реальных условиях).

Внутренняя и внешняя валидность

Внутренняя и внешняя валидность представляют собой две стороны медали качества исследования. Хотя их часто обсуждают вместе, они затрагивают принципиально разные вопросы:

Внутренняя валидность спрашивает: "Могу ли я доверять тому, что моя независимая переменная вызвала наблюдаемые изменения в моей зависимой переменной?"

Внешняя валидность спрашивает: "Могу ли я обобщить эти выводы, выходящие за рамки данного конкретного исследования, на других людей, обстановку и ситуации?"

Эти две формы валидности часто противоречат друг другу. Исследования, проведенные в строго контролируемых лабораторных условиях, могут иметь отличную внутреннюю валидность, когда вы можете быть уверены в причинно-следственной связи. Однако искусственные условия ограничивают возможности переноса полученных результатов на реальный мир, что снижает внешнюю валидность.

Напротив, полевые исследования, проводимые в естественных условиях, могут обладать высокой внешней валидностью. Полученные результаты с большей вероятностью будут применимы к реальным ситуациям.

Однако отсутствие контроля над внешними переменными ослабляет внутреннюю валидность, особенно если в значительной степени опираться на данные наблюдений или единственный первоисточник без репликации.

Рассмотрим эти различия:

Внутренняя валидность	Внешняя валидность
Фокусируется на причинно-следственных связях	Фокусируется на обобщаемости
Усиливается благодаря контролируемой среде	Дополненная реалистичными декорациями
Усиление благодаря случайному распределению	Укрепляется благодаря репрезентативной выборке
Угроза сопряженных переменных	Угроза искусственных условий
Спрашивает: "Стал ли X причиной Y?".	Спрашивает: "Может ли X вызвать Y в другом месте?".

Идеальная исследовательская программа балансирует между обоими типами достоверности. Вы можете начать с жестко контролируемых лабораторных экспериментов, чтобы установить причинно-следственные связи (внутренняя валидность).

Затем вы постепенно проверяете полученные результаты в более естественных условиях, чтобы установить их обобщаемость (внешнюю валидность).

Ни один из видов валидности не является более важным, чем другой. Их относительная важность зависит от целей вашего исследования.

Если вы разрабатываете фундаментальные теории о поведении человека, внутренняя валидность может быть приоритетной.

Если вы тестируете вмешательство, предназначенное для повсеместного применения, внешняя валидность приобретает особое значение.

Примеры внутренней валидности в реальной жизни

Абстрактные дискуссии о валидности могут показаться далекими от повседневных исследовательских задач.

Давайте рассмотрим реальные примеры, иллюстрирующие концепции внутренней валидности:

Пример 1: Стэнфордский тюремный эксперимент

Печально известное исследование Филипа Зимбардо 1971 года В ходе исследования возникло несколько проблем с внутренней валидностью. Исследователь играл двойную роль - начальника тюрьмы и основного исследователя, что привносило предвзятость экспериментатора.

Контрольной группы для сравнения не было. Участники были осведомлены о целях исследования, создавая характеристики спроса.

Эти проблемы не позволяют сделать вывод о том, что только тюремная обстановка вызвала наблюдаемые изменения в поведении.

Пример 2: Испытания эффективности вакцин

Испытания вакцины COVID-19 продемонстрировал высокую внутреннюю валидность благодаря нескольким элементам дизайна:

• Большие объемы выборки (десятки тысяч участников)
• Случайное распределение в группы вакцины или плацебо
• Двойное ослепление (ни участники, ни исследователи не знали, кто именно получил вакцину)
• Четкие, объективные показатели результатов (лабораторно подтвержденные случаи COVID-19)
• Предварительно зарегистрированные планы анализа

Эти особенности позволили исследователям с уверенностью отнести различия в уровне инфицирования к самим вакцинам, а не к другим факторам.

Как инструменты искусственного интеллекта могут помочь в разработке исследований

Инструменты искусственного интеллекта, подобные тем, что предлагает Undetectable AI, становятся все более ценными для повышения достоверности исследований в написание научной статьи.

Эти инструменты помогают исследователям выявить потенциальные угрозы достоверности и разработать более надежные исследования.

Чат искусственного интеллекта Undetectable AI предлагает рекомендации по дизайну исследования, которые уменьшают предвзятость. Этот инструмент может:

• Анализ предлагаемых методик на предмет потенциальных сопутствующих переменных
• Создавайте сбалансированные экспериментальные схемы с соответствующим контролем
• Предложите стратегии рандомизации с учетом конкретных вопросов исследования
• Определите возможные источники погрешности измерений
• Рекомендовать статистические подходы для контроля посторонних переменных

Например, исследователь, планирующий провести исследование продуктивности рабочего места, может попросить ИИ Chat оценить его дизайн.

Инструмент может выявить потенциальные угрозы истории (например, сезонные колебания в бизнесе), которые исследователь не учел.

В этом случае можно предложить сбалансированный дизайн, который контролирует эти факторы, связанные со временем.

Хотя эти инструменты не могут заменить опыт исследователя, они служат ценными помощниками в размышлениях.

Они помогают выявить недостатки конструкции до начала сбора данных, когда еще можно внести исправления.

Вам интересно узнать о наших детекторах искусственного интеллекта и гуманизаторах? Попробуйте их в виджете ниже!

Нет достоверности, нет вердикта

Внутренняя валидность - ключ к достоверности исследования. Без нее мы не можем с уверенностью связать причину и следствие.

Хотя безупречный дизайн встречается редко, тщательное планирование может уменьшить предвзятость и укрепить ваши выводы.

Ключевые напоминания:

• Внутренняя валидность определяет, насколько мы можем доверять утверждениям о причинно-следственных связях.
• Такие угрозы, как предвзятость отбора, эффект взросления и тестирования, могут исказить результаты.
• Такие инструменты, как рандомизация, контрольные группы и ослепление, помогают защититься от этих угроз.
• Баланс между внутренней и внешней валидностью часто является компромиссом.
• Исследования в реальном мире показывают, насколько важна внутренняя валидность, будь то в лабораториях или в политике общественного здравоохранения.

Разрабатывая или анализируя исследования, отдавайте предпочтение внутренней валидности, поскольку именно она отделяет реальные выводы от вводящих в заблуждение утверждений.

Нужна помощь в проверке вашей работы? Используйте Инструменты искусственного интеллекта Undetectable AI чтобы укрепить свою методологию, прояснить логику и писать более точно и авторитетно.