Interne validiteit uitgelegd (met voorbeelden uit de praktijk)

De grote Albert Einstein zei ooit: "Als we wisten wat we deden, zou het geen onderzoek heten, toch?"

In de meeste onderzoeksgevallen is dit van toepassing. Als je experimenten ontwerpt en de juiste vragen stelt, zit je op het goede spoor.

Maar als je resultaten geen reden kunnen bewijzen (zonder dat andere variabelen het feestje verstoren), dan heb je een verwarrende puinhoop, geen conclusie.

Welkom in de wereld van interne validiteit.

Het is je alter ego, je geweten, je eigen Jiminy Cricket. Als je experiment zegt "Dit is een succes", is het eerste wat de interne validiteit vraagt: Heeft het wel gewerkt? Het is het verschil tussen "Ik denk dat het werkte" en "Ik weet dat het werkte, en hier is waarom".

Maar interne validiteit is niet alleen iets voor academici en onderzoekers. Marketingprofessionals die de effectiviteit van campagnes testen, productontwikkelaars die A/B-tests uitvoeren en zelfs gewone mensen die gezondheidsclaims beoordelen, hebben deze vaardigheid allemaal nodig.

De mogelijkheid om te bepalen of X echt Y heeft veroorzaakt (in plaats van een verborgen factor Z) is essentieel in onze datagestuurde wereld.

Laten we alles uitpakken wat je moet weten over interne validiteit. We onderzoeken wat het is, waarom het belangrijk is en hoe je het kunt versterken in je eigen onderzoek.

En het beste van alles is dat we complexe concepten vertalen naar voorbeelden uit de praktijk die zinvol zijn.

Wat is interne validiteit?

Interne validiteit is de mate waarin je erop kunt vertrouwen dat de bevindingen van je onderzoek een accurate weergave zijn van oorzaak-en-gevolgrelaties.

Eenvoudiger gezegd, het beantwoordt deze vraag: "Kan ik erop vertrouwen dat mijn onafhankelijke variabele daadwerkelijk de veranderingen heeft veroorzaakt die ik heb waargenomen in mijn afhankelijke variabele?"

Interne validiteit is als het ware de "waarheidsdetector" voor je onderzoeksconclusies.

Een hoge interne validiteit betekent dat je alternatieve verklaringen voor je resultaten met succes hebt uitgesloten.

Je hebt een onderzoeksomgeving gecreëerd waarin andere variabelen niet kunnen binnensluipen en je bevindingen in de war kunnen sturen.

Neem een klassiek voorbeeld: Een onderzoeker wil bepalen of een nieuwe lesmethode de testscores verbetert.

Studenten die de nieuwe methode krijgen, scoren hoger op hun eindexamens. 

Maar heeft de lesmethode deze verbetering veroorzaakt? Of was het omdat de docent onbewust meer aandacht gaf aan de experimentele groep? Misschien waren de studenten die de nieuwe methode kregen al academisch sterker? 

Deze vragen zijn gericht op de interne validiteit van het onderzoek.

Interne validiteit ontstaat niet per ongeluk. Het vereist zorgvuldige planning, nauwgezette uitvoering en eerlijke analyse van mogelijke fouten.

Het doel is niet perfectie, want geen enkel onderzoek is immuun voor alle bedreigingen, maar wel het maximaliseren van het vertrouwen in je conclusies door middel van rigoureus onderzoeksdesign die controle over verstorende variabelen prioriteit geeft.

Waarom interne validiteit belangrijk is

Waarom zou je je zorgen maken over interne validiteit?

Want zonder dat zijn je onderzoeksconclusies in wezen zinloos.

Een sterke interne validiteit scheidt echte inzichten van misleidende correlaties.

Bijvoorbeeld farmaceutische bedrijven miljarden uitgeven aan het testen van nieuwe medicijnen. Zonder interne validiteit zouden ze medicijnen kunnen goedkeuren die eigenlijk niet werken of gevaarlijke bijwerkingen missen.

Beleidsmakers vertrouwen op onderzoek om beslissingen te nemen die miljoenen levens beïnvloeden. Onderwijshervormingen, volksgezondheidsinitiatieven en economisch beleid zijn allemaal afhankelijk van geldige onderzoeksconclusies.

Zelfs in zakelijke omgevingen is interne validiteit van belang. Een bedrijf kan een verhoogde verkoop toeschrijven aan een nieuwe marketingcampagne terwijl de echte oorzaak seizoensgebonden aankooppatronen waren.

Zonder aandacht voor interne validiteit maken bedrijven dure fouten op basis van verkeerde aannames.

Zelfs het opstellen van een winnend onderzoeksvoorstell komt met de verantwoordelijkheid om te laten zien hoe je controleert op variabelen en alternatieve verklaringen uitsluit, want sterke ideeën betekenen niets als het ontwerp ze niet kan onderbouwen.

Belangrijkste kenmerken van hoge interne validiteit

Hoe ziet onderzoek met een sterke interne validiteit eruit?

Dit zijn de kenmerken:

• Duidelijke tijdsvolgorde: De oorzaak moet voorafgaan aan het gevolg. Dit lijkt voor de hand liggend, maar kan lastig zijn bij observationele studies, waarbij het niet altijd duidelijk is wat er eerst gebeurde.
• Consistente, sterke relatie: Hoe sterker en consistenter de relatie tussen variabelen, hoe meer vertrouwen we kunnen hebben in causaliteit.
• Passende controlegroep: Een goed gematchte controlegroep die alleen verschilt in blootstelling aan de onafhankelijke variabele versterkt de interne validiteit.
• Willekeurige toewijzing: Wanneer deelnemers willekeurig worden toegewezen aan experimentele condities, worden reeds bestaande verschillen gelijk verdeeld over de groepen.
• Experimentele controle: De onderzoeker houdt strenge controle over de onderzoeksomgeving en minimaliseert invloeden van buitenaf.
• Rekening houden met verstorende variabelen: Goed onderzoek identificeert en houdt rekening met variabelen die de relatie tussen oorzaak en gevolg kunnen verstoren.
• Statistische conclusie geldigheid: Passende statistische tests en adequate steekproefgrootten garanderen dat gedetecteerde effecten echt zijn en niet het gevolg van toeval.

Een hoge interne validiteit is geen toeval.

Het vereist een doordacht onderzoeksontwerp vanaf het begin, geen schadebeperking na het verzamelen van gegevens.

Bedreigingen voor interne validiteit

Zelfs de meest zorgvuldig opgezette onderzoeken hebben te maken met bedreigingen voor de interne validiteit. Het herkennen van deze bedreigingen is de helft van de strijd.

Dit zijn de grootste boosdoeners:

1. Geschiedenis: Externe gebeurtenissen tijdens de studieperiode kunnen de resultaten beïnvloeden. Als je de effectiviteit van een nieuwe lesmethode bestudeert tijdens een pandemie die het normale leren verstoort, kunnen externe factoren je resultaten beïnvloeden.
2. Rijping: Natuurlijke veranderingen bij deelnemers in de loop van de tijd kunnen verward worden met behandelingseffecten. Kinderen ontwikkelen van nature taalvaardigheden naarmate ze ouder worden, dus een onderzoek naar taalverwerving moet rekening houden met deze normale ontwikkeling.
3. Effecten testen: Het maken van een pre-test kan de prestaties op post-tests beïnvloeden, ongeacht welke interventie dan ook. Deelnemers kunnen beter presteren omdat ze soortgelijke vragen eerder hebben gezien.
4. Instrumentatie: Veranderingen in meetinstrumenten of waarnemers kunnen kunstmatige verschillen in resultaten veroorzaken. Als je halverwege een onderzoek overschakelt van de ene gestandaardiseerde test naar de andere, kunnen scoreverschillen eerder veranderingen in de meting weerspiegelen dan echte effecten.
5. Statistische regressie: Wanneer deelnemers worden geselecteerd op basis van extreme scores, hebben ze de natuurlijke neiging om op latere tests dichter bij het gemiddelde te scoren. Deze "regressie naar het gemiddelde" kan verkeerd geïnterpreteerd worden als behandelingseffecten.
6. Selectievooroordeel: Wanneer experimentele en controlegroepen systematisch verschillen vóór de interventie, kunnen deze reeds bestaande verschillen (niet je onafhankelijke variabele) verschillen in uitkomst verklaren.
7. Experimentele sterfte (uitval): Deelnemers die uit een onderzoek stappen, kunnen de resultaten vertekenen, vooral als de uitval tussen experimentele en controlegroepen verschilt. Als de ernstigste patiënten uit een medicijnstudie vallen, kan het medicijn effectiever lijken dan het in werkelijkheid is.
8. Verspreiding of imitatie van behandelingen: In sommige onderzoeken kunnen deelnemers uit de controlegroep worden blootgesteld aan aspecten van de experimentele behandeling, waardoor de groepsverschillen afnemen.

Bewustwording van deze bedreigingen neemt ze niet automatisch weg.

Maar het stelt onderzoekers wel in staat om onderzoeken te ontwerpen die hun impact minimaliseren of er rekening mee houden tijdens de analyse.

Interne validiteit verbeteren

Het versterken van de interne validiteit gaat niet alleen over het vermijden van bedreigingen, maar over het actief implementeren van technieken die causale gevolgtrekkingen verbeteren.

Hier lees je hoe je de interne validiteit van je onderzoek kunt vergroten:

• Randomisatie: Deelnemers willekeurig toewijzen aan experimentele en controlegroepen. Dit verdeelt potentiële verstorende variabelen gelijkmatig over de groepen. In een klinisch onderzoek helpt willekeurige toewijzing bijvoorbeeld om ervoor te zorgen dat factoren zoals leeftijd, eerdere gezondheidstoestanden en levensstijlgewoonten evenwichtig verdeeld zijn over de behandelingsgroepen.
• Controlegroepen: Neem geschikte controle- of vergelijkingsgroepen op die geen interventie of een placebo krijgen. Hierdoor kun je de effecten van je onafhankelijke variabele isoleren. De gouden standaard in medisch onderzoek - de gerandomiseerde gecontroleerde trial - ontleent veel van zijn kracht aan goed ontworpen controlegroepen.
• Verblindend: Laat deelnemers, onderzoekers of beiden (dubbelblind) niet weten wie welke behandeling kreeg. Dit voorkomt dat verwachtingseffecten de resultaten beïnvloeden. Bij geneesmiddelenonderzoek weten zowel patiënten als artsen vaak niet wie actieve medicatie krijgt versus een placebo.
• Gestandaardiseerde procedures: Maak gedetailleerde protocollen voor elk aspect van je onderzoek en train alle onderzoekers om ze precies te volgen. Dit vermindert de variabiliteit die wordt veroorzaakt door inconsistente methoden.
• Meerdere maatregelen: Gebruik verschillende methoden om je afhankelijke variabele te meten. Als alle metingen vergelijkbare resultaten laten zien, kun je meer vertrouwen hebben in je bevindingen.
• Statistische controles: Gebruik statistische technieken om rekening te houden met mogelijke verstorende variabelen. Methoden zoals ANCOVApropensity score matching of regressieanalyse kan helpen om de effecten van uw onafhankelijke variabele te isoleren.
• Pre-/postmaatregelen: Verzamel basisgegevens voorafgaand aan je interventie om rekening te houden met initiële verschillen tussen groepen. Hierdoor kun je verandering meten in plaats van alleen eindtoestanden.
• Testen: Test je procedures op kleine schaal vóór het hoofdonderzoek om mogelijke problemen te identificeren en te corrigeren. Op die manier bespaart u tijd en middelen en versterkt u tegelijkertijd uw ontwerp.
• Manipulatie controles: Controleer of de manipulatie van je onafhankelijke variabele daadwerkelijk werkte zoals bedoeld. Als je bijvoorbeeld het effect van geïnduceerde stress bestudeert, controleer dan of deelnemers in de stressconditie zich ook echt meer gestrest voelden.

Onthoud dat het verbeteren van de interne validiteit vaak compromissen met andere onderzoeksdoelen vereist.

Strak gecontroleerde laboratoriumstudies kunnen bijvoorbeeld een sterke interne validiteit hebben, maar een zwakkere externe validiteit (generaliseerbaarheid naar de echte wereld).

Interne versus externe validiteit

Interne en externe validiteit zijn twee zijden van de medaille voor onderzoekskwaliteit. Hoewel ze vaak samen worden besproken, hebben ze betrekking op fundamenteel verschillende vragen:

Interne validiteit vraagt: "Kan ik erop vertrouwen dat mijn onafhankelijke variabele de waargenomen veranderingen in mijn afhankelijke variabele heeft veroorzaakt?"

Externe validiteit vraagt: "Kan ik deze bevindingen buiten dit specifieke onderzoek generaliseren naar andere mensen, omgevingen en situaties?".

Deze twee vormen van validiteit zijn vaak tegenstrijdig. Studies die zijn uitgevoerd in zeer gecontroleerde laboratoriumomgevingen kunnen een uitstekende interne validiteit hebben, waarbij je zeker kunt zijn van causaliteit. Maar de kunstmatige setting beperkt hoe goed de bevindingen te vertalen zijn naar de echte wereld, wat de externe validiteit vermindert.

Veldstudies die worden uitgevoerd in natuurlijke omgevingen kunnen daarentegen een sterke externe validiteit hebben. Het is waarschijnlijker dat de bevindingen van toepassing zijn op situaties in de echte wereld.

Het gebrek aan controle over externe variabelen verzwakt echter de interne validiteit, vooral wanneer sterk vertrouwd wordt op observationele gegevens of een enige primaire bron zonder replicatie.

Overweeg deze verschillen:

Interne validiteit	Externe geldigheid
Richt zich op causale verbanden	Richt zich op generaliseerbaarheid
Verbeterd door gecontroleerde omgevingen	Verbeterd door realistische instellingen
Versterkt door willekeurige toewijzing	Versterkt door representatieve steekproeven
Bedreigd door verstorende variabelen	Bedreigd door kunstmatige omstandigheden
Vraagt: "Heeft X Y veroorzaakt?"	Vraagt: "Zou X ergens anders Y veroorzaken?"

Het ideale onderzoeksprogramma houdt beide soorten validiteit in evenwicht. Je zou kunnen beginnen met streng gecontroleerde laboratoriumexperimenten om causaliteit vast te stellen (interne validiteit).

Vervolgens test je geleidelijk je bevindingen in meer natuurlijke omgevingen om generaliseerbaarheid (externe validiteit) vast te stellen.

Geen van beide soorten validiteit is inherent belangrijker dan de andere. Hun relatieve belang hangt af van je onderzoeksdoelen.

Als je fundamentele theorieën over menselijk gedrag ontwikkelt, kan interne validiteit prioriteit krijgen.

Als je een interventie test die bedoeld is voor wijdverspreide implementatie, wordt externe validiteit extra belangrijk.

Voorbeelden van interne validiteit uit de praktijk

Abstracte discussies over validiteit kunnen ver afstaan van alledaagse onderzoeksuitdagingen.

Laten we eens kijken naar voorbeelden uit de praktijk die de concepten van interne validiteit illustreren:

Voorbeeld 1: Het Stanford Gevangenisexperiment

De beruchte studie van Philip Zimbardo uit 1971 leed aan verschillende interne validiteitsproblemen. De onderzoeker vervulde een dubbele rol als gevangenisdirecteur en hoofdonderzoeker, waardoor hij beïnvloed werd door het experiment.

Er was geen controlegroep ter vergelijking. Deelnemers waren op de hoogte van de doelen van het onderzoek, waardoor kenmerken van de vraag ontstonden.

Deze problemen maken het moeilijk om te concluderen dat de gevangenissetting alleen de waargenomen gedragsveranderingen heeft veroorzaakt.

Voorbeeld 2: Proeven naar werkzaamheid van vaccins

Proeven met COVID-19 vaccin toonde een sterke interne validiteit door verschillende ontwerpelementen:

• Grote steekproefgrootten (tienduizenden deelnemers)
• Willekeurige toewijzing aan vaccin- of placebogroepen
• Dubbele blindering (deelnemers noch onderzoekers wisten wie het eigenlijke vaccin kreeg)
• Duidelijke, objectieve uitkomstmaten (COVID-19-gevallen met laboratoriumbevestiging)
• Vooraf geregistreerde analyseplannen

Dankzij deze kenmerken konden de onderzoekers de verschillen in infectiepercentages met zekerheid toeschrijven aan de vaccins zelf in plaats van aan andere factoren.

Hoe AI-tools kunnen helpen bij het ontwerpen van onderzoek

AI-tools zoals die van Undetectable AI worden steeds waardevoller voor het versterken van de onderzoeksvaliditeit in schrijven van een onderzoeksartikel.

Deze hulpmiddelen helpen onderzoekers potentiële bedreigingen voor de validiteit te identificeren en robuustere onderzoeken te ontwerpen.

De AI-chat van Undetectable AI biedt suggesties voor onderzoeksopzetten die vertekening verminderen. Dit hulpmiddel kan:

• Analyseer voorgestelde methodologieën op mogelijke verstorende variabelen
• Gebalanceerde experimentele ontwerpen maken met geschikte controles
• Stel randomisatiestrategieën voor die zijn afgestemd op specifieke onderzoeksvragen
• Mogelijke bronnen van meetfouten identificeren
• Statistische benaderingen aanbevelen voor het controleren van externe variabelen

Een onderzoeker die een onderzoek naar productiviteit op de werkplek plant, kan bijvoorbeeld AI Chat vragen om hun ontwerp te evalueren.

De tool kan potentiële bedreigingen voor de geschiedenis signaleren (zoals seizoensgebonden bedrijfsschommelingen) waar de onderzoeker geen rekening mee had gehouden.

Het zou dan een gebalanceerd ontwerp kunnen voorstellen dat controleert voor deze tijdsgerelateerde factoren.

Hoewel deze hulpmiddelen de expertise van onderzoekers niet kunnen vervangen, dienen ze wel als waardevolle denkpartners.

Ze helpen ontwerpfouten op te sporen voordat het verzamelen van gegevens begint, wanneer correcties nog mogelijk zijn.

Nieuwsgierig naar onze AI Detector en Humanizer? Probeer ze uit in de widget hieronder!

Geen geldigheid, geen oordeel

Interne validiteit is de sleutel tot geloofwaardig onderzoek. Zonder interne validiteit kunnen we oorzaak en gevolg niet met vertrouwen aan elkaar koppelen.

Hoewel een foutloos ontwerp zeldzaam is, kan zorgvuldige planning vooroordelen verminderen en je conclusies versterken.

Belangrijke herinneringen:

• Interne validiteit bepaalt in hoeverre we causale claims kunnen vertrouwen.
• Bedreigingen zoals selectievertekening, rijping en testeffecten kunnen de resultaten vertekenen.
• Hulpmiddelen zoals randomisatie, controlegroepen en blindering helpen deze bedreigingen te voorkomen.
• Het afwegen van interne en externe validiteit is vaak een afweging.
• Onderzoeken in de echte wereld laten zien hoe belangrijk interne validiteit is, zowel in laboratoria als in het volksgezondheidsbeleid.

Als je onderzoeken ontwerpt of beoordeelt, geef dan prioriteit aan interne validiteit, omdat dit het verschil maakt tussen echte inzichten en misleidende beweringen.

Hulp nodig bij het controleren van je werk? Gebruik De AI-tools van Undetectable AI om je methodologie te versterken, je logica te verduidelijken en met meer precisie en autoriteit te schrijven.