Classificatie effectiviteit

Een interventie is theoretisch goed onderbouwd als deze op z'n minst goed beschreven is en als aannemelijk is gemaakt dat met die interventie het gestelde doel kan worden bereikt. Een interventie is effectief als uit onderzoek naar voren komt dat er in de praktijk bepaalde doelen beter mee worden bereikt dan met andere interventies of met niets doen. Daarbij wordt een onderscheid gemaakt tussen ‘waarschijnlijk effectief’ en ‘bewezen effectief’. Is er weinig onderzoek of onderzoek met beperkte bewijskracht dan is er bij positieve resultaten sprake van ‘waarschijnlijk effectief’. Wanneer er meer onderzoek is of onderzoek met meer bewijskracht, dan komt een interventie bij positieve resultaten in aanmerking voor ‘bewezen effectief’. Bijvoorbeeld: een stimuleringsprogramma om de onderwijskansen van kinderen te vergroten is waarschijnlijk effectief als een eenvoudig onderzoek aanwijzingen oplevert voor betere schoolprestaties. Het is bewezen effectief als een meer geavanceerd onderzoek laat zien dat kinderen die dit programma volgen beter presteren op school dan kinderen die dat niet doen.

Alle interventies die in de databank zijn opgenomen zijn op z'n minst theoretisch goed onderbouwd. Maar hoe effectief zijn ze werkelijk? Landelijk en internationaal bestaan er verschillende classificaties om de effectiviteit van interventies te karakteriseren. De Erkenningscommissie (Jeugd)Interventies beoordeelt de effectiviteit van interventies op een uniforme manier. De oordelen van deze commissie bepalen welke interventies een plaats in de databank verdienen.

Typering van onderzoek: bewijskracht
De Erkenningscommissie en de databank onderscheiden bij onderzoek naar de effectiviteit van interventies verschillende niveaus van bewijskracht.

Onderzoek met:

• zeer sterke bewijskracht: staat voor onderzoek waarbij de subjecten a-select zijn toegewezen aan een experimentele en een controlegroep, dat in de praktijk is uitgevoerd en dat een follow-up na minimaal zes maanden heeft.
• sterke bewijskracht: staat voor onderzoek met een (quasi-)experimentele en een controlegroep of een herhaald N=1 design of een ander, vergelijkbaar design dat in de praktijk is uitgevoerd en dat een follow-up na minimaal zes maanden heeft.
• vrij sterke bewijskracht: staat voor onderzoek met een (quasi-)experimentele en een controlegroep of een herhaald N=1 design of een ander, vergelijkbaar design dat in de praktijk is uitgevoerd.
• redelijke bewijskracht: staat voor onderzoek met een (quasi-)experimentele en een controlegroep of een herhaald N=1 design of een ander, vergelijkbaar design dat niet in de praktijk is uitgevoerd.
• matige bewijskracht: staat voor onderzoek met een voor- en een nameting dat met betrouwbare en valide instrumenten is uitgevoerd en dat repliceerbaar is, waarvan de resultaten zijn vergeleken met ander onderzoek naar de effecten van care-as-usual.
• zwakke bewijskracht: staat voor onderzoek met een voor- en een nameting dat met betrouwbare en valide instrumenten is uitgevoerd en dat repliceerbaar is.
• zeer zwakke bewijskracht: staat voor onderzoek dat niet voldoet aan de minimale eisen die gelden voor effectonderzoek.

Typering van onderzoek: resultaten
De Erkenningscommissie en de databank werken ook met een vaste typering van de resultaten van onderzoek.

• Positieve resultaten: het onderzoek rapporteert positieve effecten.
• Geen effecten: het onderzoek rapporteert dat er geen effecten zijn op de doelen van de interventie.
• Negatieve resultaten: het onderzoek rapporteert negatieve effecten.
• Positieve en negatieve resultaten: het onderzoek rapporteert positieve en negatieve effecten op de verschillende   doelen van de interventie.

Een positief resultaat betekent dat een of meer doelen van de interventie (deels) worden gerealiseerd en dat deze winst statistisch significant is. Geen effect houdt in dat een doel van de interventie niet of deels wordt gerealiseerd maar dat deze winst niet statistisch significant is.  Een negatief resultaat betekent dat de interventie - statistisch significant - averechts werkt of ernstige, duidelijk aantoonbare ‘bijwerkingen’ heeft.

Samenvattende kwalificatie
De effectiviteit van een interventie wordt samengevat in een globale kwalificatie, die het type onderzoek weergeeft dat naar de interventie verricht is. Daarnaast laat de kwalificatie zien wat voor resultaten het onderzoek heeft opgeleverd.
Dat kan bijvoorbeeld de volgende vorm aannemen: 'positieve resultaten uit Nederlands onderzoek met zeer sterke bewijskracht'. Dit houdt in dat een onderzoek laat zien dat een doel van de interventie (deels)gerealiseerd wordt, dat in dit onderzoek de subjecten a-select zijn toegewezen aan een experimentele en een controlegroep, dat het in de praktijk is uitgevoerd en dat het een follow-up kent na minimaal zes maanden.

Meer informatie over effectiviteit en effectonderzoek vindt u de site van het Nederlands Jeugdinstituut in het dossier Effectiviteit van jeugdinterventies.