Handleiding Toolkits

De beide toolkits zijn ontwikkeld ter ondersteuning van leraren en schoolleiders die beslissingen nemen over hoe ze de leerprestaties kunnen verbeteren, met name van leerlingen met een sociaal-economische achterstand

Samen bevatten de toolkits ruim veertig aanpakken om het leren en lesgeven te verbeteren, waarbij iedere aanpak is samengevat in:

• het gemiddelde effect op de leerprestaties in maanden leerwinst;
• de sterkte van het onderliggende bewijs (bewijskracht);
• de kosten van de aanpak.

De toolkits doen geen harde uitspraken over wat werkt om de leerresultaten op een bepaalde school te verbeteren, maar bieden kwalitatief hoogwaardige informatie over wat waarschijnlijk een positief effect zal hebben op basis van bestaand bewijs. 

Beide toolkits zijn dynamische bronnen die regelmatig worden bijgewerkt wanneer nieuwe bevindingen uit kwalitatief hoogwaardig onderzoek beschikbaar komen, onder andere uit door de EEF gefinancierde projecten. 

De toolkits zijn ontwikkeld ter ondersteuning van leraren en schoolleiders die beslissingen nemen over hoe ze de leerprestaties kunnen verbeteren. De bevindingen die in de toolkits worden gepresenteerd, zijn gebaseerd op gegevens uit de praktijk en laten per gekozen aanpak zien wat er gebeurde toen deze op scholen werd toegepast.

De toolkits geven geen pasklare antwoorden en moeten dan ook niet als een opzichzelfstaand instrument worden gebruikt. Als je met de informatie in de toolkits tot een goed onderbouwde beslissing wilt komen over wat in jouw school het beste werkt, moet je ook je eigen expertise en professionele oordeel daarin meenemen.

De beste tips om het meeste uit de toolkits te halen

1. Kijk verder dan de samenvattende koptekst. Elke aanpak heeft een eigen pagina in de toolkits, waar wordt uitgelegd wat de aanpak inhoudt, wat de kosten zijn en welke effecten je mag verwachten. Deze extra informatie is echt van belang. Elk onderwerp heeft ook een gedeelte 'Achter het gemiddelde', waarin je meer informatie vindt over de verschillende effecten van de betreffende aanpak voor verschillende leeftijdsgroepen of vakken. Voor sommige aanpakken kan het effect nogal variëren. Bij het inzetten van onderwijsassistenten bestaat er bijvoorbeeld een aanzienlijk verschil tussen het effect van algemene ondersteuning in de klas en getrainde onderwijsassistenten die gerichte activiteiten uitvoeren.
2. Denk behalve over het effect ook na over de kosten en het bewijs. De aanpakken met het grootste effect bieden niet altijd de meeste waar voor je geld. Zo is bijvoorbeeld aangetoond dat klassenverkleining een positief effect heeft op de vooruitgang van leerlingen (gemiddeld twee maanden leerwinst), maar vereist wel extra leraren. Dat maakt het een dure aanpak. Er zijn andere aanpakken die hetzelfde effect hebben en minder kosten. Het is ook belangrijk om te kijken naar hoe overtuigend het bewijs is. De schatting is dat huiswerk in het voortgezet onderwijs vijf maanden leerwinst oplevert. Maar de bewijskracht voor deze aanpak is zeer beperkt, wat betekent dat die schatting minder betrouwbaar kan zijn dan van andere onderwerpen in de Toolkit waarvoor het bewijs sterker is.
3. Vertrouw op je professionele expertise. De toolkits kunnen je vertellen of een aanpak een goed trackrecord heeft, maar jouw professionele expertise en inzicht in de specifieke context van jouw school zijn ook belangrijk om weloverwogen beslissingen voor jouw leerlingen te kunnen nemen. Zo hebben aanpakken die gericht zijn op ouderbetrokkenheid een gemiddeld effect van drie maanden leerwinst. Maar uit de onderzoeksresultaten blijkt ook dat het moeilijk is om ouders bij nieuwe programma's te betrekken. Je moet dus rekening houden met de specifieke situatie op jouw school voordat je kunt beslissen of een bepaalde aanpak voor meer ouderbetrokkenheid haalbaar is.

Systematische samenvatting van bewijs in de toolkits

De toolkits bevatten een schat aan wetenschappelijke onderzoeksresultaten die normaal gesproken achter een betaalmuur zit. Om te voorkomen dat alleen bekende studies of studies met een positieve uitkomst worden geselecteerd, werkt de Toolkit met een methode die bekendstaat als systematische review. Dat betekent dat de criteria om te kunnen worden opgenomen in de Toolkit van tevoren zijn vastgelegd. Alle studies die aan de criteria voldoen, worden opgenomen. Studies kunnen niet worden uitgesloten omdat ze het effect vergroten of verkleinen of omdat de onderzoekers niet blij zijn met de resultaten.

Effect (in maanden leerwinst)

De effectgrootte geeft aan hoeveel maanden leerwinst gemiddeld is geboekt door kinderen en jongeren bij wie de aanpak is toegepast, ten opzichte van vergelijkbare kinderen en jongeren bij de aanpak niet is ingezet.

De aanpak Feedback laat bijvoorbeeld zien dat volgens de onderzoeken in de Toolkit Leren en Lesgeven verbetering van de kwaliteit van feedback gemiddeld zes maanden leerwinst opleverde. Dit betekent dat leerlingen in de klassen waar de feedbackaanpak werd toegepast gemiddeld zes maanden meer vooruitgang boekten dan vergelijkbare leerlingen in andere klassen. De geschatte maanden leerwinst zijn gebaseerd op 'effectgrootten' die worden vermeld in internationaal onderzoek. De effectgrootte beschrijft op een gestandaardiseerde en vergelijkbare manier hoe groot het verschil tussen twee groepen is. Het kan echter lastig zijn om inzichtelijk te maken wat een bepaalde effectgrootte in de praktijk betekent voor de vooruitgang van kinderen en jongeren. Daarom drukt de EEF de effectgrootte uit in maanden leerwinst, zoals weergegeven in de tabel hieronder.

Bewijskracht

De toolkits geven voor iedere aanpak aan hoe sterk het bewijs is. In de toolkits wordt dit weergegeven met een aantal hangslotjes. Het wordt dan ook wel de 'slotjesscore' genoemd. Deze score geeft een algemene schatting van de bewijskracht, om professionele besluitvorming op scholen te ondersteunen. De slotjes worden aan de aanpakken toegekend op basis van het aantal onderzoeken dat voldoet aan de criteria om te worden opgenomen in de toolkits. Een onderwerp kan vervolgens slotjes kwijtraken omdat er een aantal mogelijke bedreigingen is voor de bewijskracht.

De onderzoeken in de toolkits zijn allemaal uitgevoerd op scholen en niet in een laboratorium, met gebruik van een controlegroep (er werden dus niet simpelweg leerlingen voor en na de aanpak getest) en voldoen aan de definitie van het onderwerp.

De score voor bewijskracht is:

Wanneer er minder dan 10 studies zijn die voldoen aan de opnamecriteria, wordt een score van 0 slotjes toegekend en wordt geen leerwinst vermeld.

Een onderwerp kan een slotje kwijtraken om de volgende redenen:

• Slechts een klein percentage van de onderzoeken is recent uitgevoerd. Dat kan betekenen dat het onderzoek niet representatief is voor de huidige praktijk.
• Een groot percentage van de opgenomen onderzoeken vertegenwoordigt geen gerandomiseerde gecontroleerde onderzoeken. Hoewel een andere onderzoeksopzet zeker belangrijke informatie kan opleveren over de effectiviteit van een aanpak, bestaat het risico dat de resultaten zijn beïnvloed door onbekende factoren die geen deel uitmaken van de aanpak.
• Een groot percentage van de onderzoeken is uitgevoerd in andere omstandigheden dan een reguliere schoolsetting. Alle onderzoeken die in de Toolkit zijn opgenomen, zijn uitgevoerd in het klaslokaal en niet in een laboratorium. Onderzoek dat is uitgevoerd door onderzoekers en niet door leraren vertellen ons echter minder over hoe een aanpak wordt toegepast.
• Een groot percentage van de onderzoeken is niet onafhankelijk geëvalueerd. Evaluaties die zijn uitgevoerd door organisaties die betrokken zijn bij de aanpak, commerciële aanbieders bijvoorbeeld, laten vaak een groter effect zien. Dat kan van invloed zijn op het totale effect van de aanpak.
• De resultaten voor dit onderwerp laten een grote variatie zien, waarvoor geen verklaring is. Alle reviews laten enige variatie in de resultaten zien. Daarom is het belangrijk om achter het gemiddelde te kijken. Onverklaarde variatie (of heterogeniteit) maakt de resultaten onzekerder. We hebben deze onzekerheid niet kunnen wegnemen door te onderzoeken in hoeverre de context, de methodologie of de uitvoering invloed heeft op het effect.

Kosten

De kostenramingen in de Toolkit zijn gebaseerd op de gemiddelde kosten voor het toepassen van de aanpak. Elk onderwerp geeft ook een indicatie van het bereik van de mogelijke kosten. Veel aanpakken worden bijvoorbeeld duurder wanneer er kosten worden gemaakt voor de training van medewerkers om een goede uitvoering van de aanpak te garanderen.

De kostenraming kan onder andere het volgende omvatten:

• de kosten voor nieuwe middelen, zoals hardware of software;
• de kosten voor trainingen of bijscholingen die nodig zijn om de aanpak te kunnen toepassen en de kosten voor invallers die het mogelijk maken dat leraren de training kunnen volgen;
• de kosten voor activiteiten voor leerlingen, zoals programma's voor leren in de buitenlucht of muziekonderwijs.

In de kostenramingen zijn geen middelen opgenomen die weliswaar nodig zijn voor het uitvoeren van de aanpak, maar waarvan wordt verwacht dat scholen hier al over beschikken, zoals interactieve digiborden of leraren (tenzij een extra leraar nodig is om de aanpak uit te voeren). De reden hiervoor is dat we denken dat schoolleiders die moeten beslissen over de toewijzing van budgetten vooral geïnteresseerd zijn in de extra kosten van een aanpak.

Door voor ieder onderwerp in de Toolkit de kosten weer te geven, kunnen scholen de kosteneffectiviteit en het effect van verschillende aanpakken vergelijken. Bijvoorbeeld: een-op-een-begeleiding en leren van en met medeleerlingen leveren beide gemiddeld vijf maanden leerwinst op. Maar een-op-een-begeleiding is gemiddeld aanzienlijk duurder.

De kostenramingen zijn gebaseerd op een vijfpuntsschaal die hieronder is weergegeven: Voor meer informatie over hoe de kostenramingen tot stand komen kun je de Toolkit Manual raadplegen.