Leerdoelen, leerresultaten en opbrengstgericht werken

Zoals op de pagina 'Wettelijke eisen en onderwijs dat past bij de school' wordt toegelicht, hebben scholen veel ruimte om de opdracht tot bevordering van burgerschap naar eigen inzicht in te vullen. Scholen kunnen grotendeels zelf bepalen welke invulling ze aan burgerschap geven, zelf de leerdoelen en inhoud van de lessen kiezen, en invullen hoe ze daarbij uitwerking geven aan de missie en levensbeschouwelijke uitgangspunten van de school, ook in samenhang met het schoolklimaat dat de school nastreeft en de pedagogische en didactische keuzes die ze daarbij maakt. De formulering van leerdoelen vormt daarbij een centrale stap: daarin worden de idealen van de school concreet en op basis daarvan worden leerstof en aanpak gekozen. Ook bepalen de leerdoelen de informatie die nodig is om het resultaat van het onderwijs te evalueren en, vooral, om na te gaan in hoeverre het lukt de idealen van de school te realiseren. Leerdoelen, aanbod en inzicht in resultaten vormen daarmee de vertrekpunten voor de ontwikkeling van effectief burgerschapsonderwijs. Ze hangen ook nauw samen en krijgen vooral in hun onderlinge verband betekenis. Leerdoelen, aanbod en inzicht vormen zo de belangrijkste ingrediënten van wat ook wel opbrengstgericht burgerschapsonderwijs wordt genoemd. 

Opbrengstgericht burgerschapsonderwijs

Bij de vormgeving van burgerschapsonderwijs kan aan de leerdoelen die de school bereiken wil een sturende rol worden gegeven. Dat geldt ook voor informatie over de leerresultaten. Leerresultaten zijn (mede) uitkomst van het leerproces: de opbrengsten van onderwijs. Bij bevordering van burgerschap bestaat informatie over leerresultaten doorgaans uit inzicht in de mate waarin leerlingen over burgerschapscompetenties beschikken. Met burgerschapscompetenties wordt vaak verwezen naar de kennis, attituden en vaardigheden die mensen in staat stellen om vanuit democratische beginselen constructief met anderen samen te leven (Dijkstra, 2012). Ook de wettelijke burgerschapsopdracht vraagt aandacht voor deze componenten. Burgerschapscompetenties zijn van belang om aan de samenleving en groepen waarin mensen leven mee te kunnen doen, en verwijzen naar bijvoorbeeld het op een constructieve manier omgaan met diversiteit, het leveren van bijdragen aan het algemeen belang en het maken van keuzes die recht doen aan eigen en algemene doelen, op inzicht in het functioneren van samenleving en democratie, evenals op democratische waarden.

Bij burgerschapskennis wordt vaak verwezen naar zaken zoals kennis en begrip van democratische principes en het vreedzaam samenleven van (groepen) individuen met verschillende geloven, culturen, leefstijlen, politieke ideeën e.a. (Ten Dam et al., 2011). Ook gaat het om kennis over aspecten van de democratische samenleving (bijvoorbeeld de rechtsstaat), over de onderliggende democratische principes (bijvoorbeeld het uitgangspunt dat alle burgers van gelijke waarde zijn) en over concrete uitwerkingen daarvan (zoals verkiezingen) (Munniksma et al., 2017; Schulz et al., 2018).

Bij burgerschapsattituden gaat het om de opstelling ten opzichte van democratische beginselen, ook als uitgangspunt voor het eigen handelen (bijvoorbeeld het toekennen van gelijke rechten voor allen), het ruimte willen geven aan diversiteit, of de bereidheid tot moreel verantwoord handelen (Ten Dam et al., 2011; Dijkstra, 2012). Ook worden daarbij wel de opvattingen betrokken over wat mensen onder ‘goed’ burgerschap verstaan (bijvoorbeeld vrijwilligerswerk of meningen over collectieve vraagstukken zoals veiligheid, ongelijkheid of bescherming van het natuurlijk leefmilieu) of vertrouwen in maatschappelijke instituties zoals overheid, rechtbank en media (Munniksma et al., 2017; Schulz et al., 2018).

Burgerschapsvaardigheden hebben betrekking op het vermogen tot handelen. Denk aan het vormen van een eigen mening en het luisteren naar die van anderen, het vermogen om van perspectief te kunnen wisselen of om met verschillen en conflict om te kunnen gaan (Ten Dam et al., 2011). Ook het kunnen volgen van nieuws en debat over maatschappelijke en politieke onderwerpen, eigen argumenten naar voren kunnen brengen, of het kunnen bijdragen aan politieke en maatschappelijke activiteiten (zoals vrijwilligerswerk of een demonstratie) zijn daar illustraties van (Munniksma et al., 2017; Schulz et al., 2018).
 Om dit te illustreren schetsen we een voorbeeld.

Het verschil tussen school A en B zal duidelijk zijn. School A heeft inzicht in de ontwikkeling van de burgerschapscompetenties van leerlingen, en benut die kennis om na te denken over de inrichting van het curriculum. De beslissing om, naast de lessen op school, een scholierenverkiezing te organiseren en een bezoek aan het parlement te brengen om de democratie ‘dichterbij’ de leerlingen te brengen, lijkt te werken. Wat de school niet wist, maar waarover ze vanwege de meting gaat nadenken, is dat niet alle leerlingen van de keuzes van de school lijken te profiteren; zouden andere invullingen beter zijn? School B weet eigenlijk niet of het curriculum bijdraagt aan het behalen van de leerdoelen. De keuze om een scholierenverkiezing te organiseren en op excursie naar de Tweede Kamer te gaan werd op pragmatische gronden genomen, de bijdrage van die activiteiten aan het bereiken van de leerdoelen is niet uitgewerkt, en gegevens die inzicht geven in de vraag welke leerlingen wat leren, ontbreken.

Daarmee wordt duidelijk dat het verzamelen van gegevens over de burgerschapscompetenties van leerlingen relevant is als bouwsteen om tot goed onderwijs te komen, en daarmee een belangrijk onderdeel van een opbrengstgerichte aanpak van bevordering van burgerschap (Hoek et al., 2022). Hoek, L., Munniksma, A., & Dijkstra, A. B. (2022). Improving citizenship competences: Towards an output-driven approach in citizenship education. Journal of Social Science Education, 21(3). 
https://doi.org/10.11576/JSSE-4303
 Een opbrengstgerichte aanpak is doorgaans een cyclisch proces waarbij verschillende stappen worden doorlopen (Kippers et al., 2018; Kippers, W., Poortman, C., Schildkamp, K., & Visscher, A. (2018). Data literacy: What do educators learn and struggle with during a data use intervention? Studies in Educational Evaluation, 56, 21–31. 
https://doi.org/10.1016/j.stueduc.2017.11.001
 Ledoux et al., 2009). Ledoux, G., Blok, H., Boogaard, M., & Kruger, M. (2009). Opbrengstgericht werken: Over de waarde van meetgestuurd onderwijs. Kohnstamm Instituut. 

https://pure.uva.nl/ws/files/897050/75629_312998.pdf
 Hoewel deze stappen in de wetenschappelijke literatuur soms wisselen in volgorde, compositie en benaming, kunnen op hoofdlijnen vijf stappen worden onderscheiden:

De cyclus start met het formuleren van een visie (Hilbers et al., 2010) Hilbers, G., Dekkers, H., & Dijkstra, A. B. (2010). De ontwikkeling van burgerschapsonderwijs op scholen voor primair en voortgezet onderwijs. In J. Peschar, H. Hooghoff, A. B. Dijkstra, & G. Ten Dam (Eds.), Scholen voor burgerschap. Naar een kennisbasis voor burgerschapsonderwijs (pp. 43–60). Garant.
 die wordt vertaald naar concrete leerdoelen (Van der Kleij et al., 2015). Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., & Eggen, T. J. H. M. (2015). Integrating data-based decision making, Assessment for Learning and diagnostic testing in formative assessment. Assessment in Education: Principles, Policy & Practice, 22(3), 324–343.

https://doi.org/10.1080/0969594X.2014.999024
 Deze leerdoelen vormen het uitgangspunt voor de inrichting van het curriculum (Leeman et al., 2020). Leeman, Y., Nieveen, N., Beer, F., & Steen, J. (2020). Teachers as curriculum‐makers: The case of citizenship education in Dutch schools. The Curriculum Journal, 31(3), 495–516. https://doi.org/10.1002/curj.21
 Vervolgens kunnen de leerresultaten in kaart worden gebracht om te beoordelen in hoeverre de leerdoelen zijn gerealiseerd (Kippers et al., 2018; Kippers, W., Poortman, C., Schildkamp, K., & Visscher, A. (2018). Data literacy: What do educators learn and struggle with during a data use intervention? Studies in Educational Evaluation, 56, 21–31. https://doi.org/10.1016/j.stueduc.2017.11.001
 Van der Kleij et al., 2015). Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., & Eggen, T. J. H. M. (2015). Integrating data-based decision making, Assessment for Learning and diagnostic testing in formative assessment. Assessment in Education: Principles, Policy & Practice, 22(3), 324–343.

https://doi.org/10.1080/0969594X.2014.999024
 Tot slot wordt geëvalueerd welke vervolgstappen wenselijk zijn.

Ook bij de formulering van leerdoelen is het onderscheid tussen kennis, houdingen en vaardigheden van belang. In de regel zijn specificatie en concretisering nuttig bij de formulering daarvan. Om bijvoorbeeld welke kennis gaat het precies (is het leerdoel zo geformuleerd, dat duidelijk is wanneer een leerling daaraan voldoet?) en voor welke groep leerlingen geldt dit leerdoel? De invulling van het curriculum volgt naar zowel inhoud als pedagogische en didactische aanpak die leerdoelen: welke stof is nodig, en hoe wordt die overgebracht? Dat geldt ook voor de gegevens die verzameld worden over de resultaten van het onderwijs: over welke kennis, houdingen en vaardigheden zijn gegevens nodig om te kunnen beoordelen in hoeverre leerlingen de leerdoelen beheersen? De informatie die de meting van de burgerschapscompetenties oplevert, kan vervolgens gebruikt worden voor evaluatie van het onderwijs van de school (draagt deze activiteit bijvoorbeeld bij aan realisering van de doelen die we willen bereiken?) en voor afstemming van het aanbod op wat leerlingen nodig hebben (geven de uitkomsten bijvoorbeeld aanleiding om bepaalde inhouden anders of opnieuw aan te bieden?).

Een opbrengstgerichte aanpak is allerminst nieuw. In een opbrengst- of resultaatgerichte werkwijze wordt inzicht in leerresultaten op systematische wijze benut als basis voor onderwijskundige beslissingen gericht op optimalisering van het leerproces (Kippers et al., 2018; Kippers, W., Poortman, C., Schildkamp, K., & Visscher, A. (2018). Data literacy: What do educators learn and struggle with during a data use intervention? Studies in Educational Evaluation, 56, 21–31. https://doi.org/10.1016/j.stueduc.2017.11.001
 Staman et al., 2017; Staman, L., Timmermans, A. C., & Visscher, A. (2017). Effects of a data-based decision making intervention on student achievement. Studies in Educational Evaluation, 55, 58–67. https://doi.org/10.1016/j.stueduc.2017.07.002
 Visscher & Ehren, 2011). Visscher, A. J., & Ehren, M. C. M. (2011). De eenvoud en complexiteit van Opbrengstgericht Werken. Universiteit Twente, Vakgroep Onderwijsorganisatie en -management. https://open.overheid.nl/Details/ronl-archief-d0782236-75a5-4405-b842-bc0728128f02/1?hit=33&organisatie_filter=mnre1109&sort=date-asc&thema_filter=c_c232ae4a&informatiesoort_filter=c_3300f29a&page=1&count=50
 Voor taal- en rekenonderwijs, waar een opbrengstgerichte aanpak vaak wordt toegepast en onderzocht, betekent dit bijvoorbeeld dat de leerkracht de scores op een rekentoets gebruikt om te beoordelen in hoeverre de leerdoelen worden behaald en aanpassingen in het onderwijs nodig zijn, en bijvoorbeeld de inrichting van de instructie bijsturing vraagt om een hoger beheersingsniveau te bereiken. Onderzoek laat overwegend positieve effecten van zo’n opbrengstgerichte aanpak op de leerresultaten van leerlingen zien (Van Geel et al., 2016; Van Geel, M., Keuning, T., Visscher, A., & Fox, J. (2016). Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools. American Educational Research Journal, 53(2), 360–394. 
https://doi.org/10.3102/0002831216637346


 Van Kuijk et al., 2016). Van Kuijk, M. F., Deunk, M. I., Bosker, R. J., & Ritzema, E. S. (2016). Goals, data use, and instruction: The effect of a teacher professional development program on reading achievement. School Effectiveness and School Improvement, 27(2), 135–156. https://doi.org/10.1080/09243453.2015.1026268

De ontwikkeling van instrumenten voor meting van burgerschapscompetenties is nog jong (Dijkstra, 2012; Dijkstra, A. B. (2012). Sociale opbrengsten van onderwijs. Amsterdam: Vossiuspers. 
https://pure.uva.nl/ws/files/1615318/122688_PDF_7303Dijkstra_webversie.pdf
 Dijkstra, 2015; Dijkstra, A. B. (2015). Moeilijk meetbare onderwijsresultaten op het sociale en maatschappelijke domein. Verkennende notitie voor de Onderwijsraad. Universiteit van Amsterdam. https://www.onderwijsraad.nl/binaries/onderwijsraad/documenten/rapporten/2016/05/10/

studie-moeilijk-meetbare-onderwijsresultaten-op-het-sociale-en-maatschappelijke-domein/Het-zichtbaar-maken-van-moeilijk-meetbare-onderwijsresultaten-2.pdf
 Onderwijsraad, 2015) Onderwijsraad (2015). De volle breedte van onderwijskwaliteit. Van smal beoordelen naar breed verantwoorden. Onderwijsraad. De volle breedte van onderwijskwaliteit | Onderwijsraad
 en zeker een opbrengstgerichte aanpak staat nog in de kinderschoenen (Hoek et al., 2022). Hoek, L., Munniksma, A., & Dijkstra, A. B. (2022). Improving citizenship competences: Towards an output-driven approach in citizenship education. Journal of Social Science Education, 21(3). https://doi.org/10.11576/JSSE-4303
 De positieve effecten, zoals gebleken voor vakken als taal en rekenen (Van Geel et al., 2016; Van Geel, M., Keuning, T., Visscher, A., & Fox, J. (2016). Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools. American Educational Research Journal, 53(2), 360–394. 
https://doi.org/10.3102/0002831216637346


 Van Kuijk et al., 2016), Van Kuijk, M. F., Deunk, M. I., Bosker, R. J., & Ritzema, E. S. (2016). Goals, data use, and instruction: The effect of a teacher professional development program on reading achievement. School Effectiveness and School Improvement, 27(2), 135–156. https://doi.org/10.1080/09243453.2015.1026268
 maken een opbrengstgerichte aanpak vooralsnog ook voor bevordering van burgerschap een zinvolle aanpak. Zo heeft school A in het genoemde voorbeeld meer inzicht in de competenties van leerlingen en is in staat tot een beter geïnformeerde weging van de bereikte leerresultaten (in hoeverre voldoen deze aan de verwachtingen?) en de relatie tussen de inrichting van het onderwijs en de competenties van leerlingen, dan school B. Dergelijke inzichten leveren aanknopingspunten voor keuzes rond de aansluiting van het curriculum en het pedagogisch-didactisch handelen bij de leerbehoefte van de leerlingen.

Meetinstrumenten en hun kenmerken

Er zijn verschillende manieren om burgerschapscompetenties van leerlingen in kaart te brengen. Hoewel daarvoor ook observaties, rapportcijfers of beoordelingen van opdrachten gebruikt kunnen worden, bieden vooralsnog vooral gestandaardiseerde toetsen en vragenlijsten, evenals portfolio’s, vignettes en rubrics meer systematische aanpakken om de kennis, houdingen en vaardigheden van leerlingen te evalueren (Daas et al., 2016; Daas, R., Ten Dam, G., & Dijkstra, A. B. (2016). Contemplating modes of assessing citizenship competences. Studies in Educational Evaluation, 51, 88–95. 

https://doi.org/10.1016/j.stueduc.2016.10.003
 2019; Daas, R., Dijkstra, A. B., & De Kort, I. (2019). Verkenning instrumenten opbrengstgericht burgerschapsonderwijs. Voorstudie naar ontsluiting van meetinstrumenten als randvoorwaarde voor opbrengstgericht burgerschapsonderwijs. Universiteit van Amsterdam. 

https://pure.uva.nl/ws/files/39848731/Rapport_meetinstrumenten_burgerschap_DEF.pdf
 2020; Daas, R., Dijkstra, A. B., Roelofs, E., & Sluijter, C. (2020). Het meten van skills: Verkenning van mogelijkheden voor een skills module gekoppeld aan het Nationaal Cohortonderzoek Onderwijs. Universiteit van Amsterdam & Cito.  https://pure.uva.nl/ws/files/49681904/Daas_ea_2020_Het_meten_van_skills_Volledig_rapport.pdf
 Dijkstra, 2015; Dijkstra, A. B. (2015). Moeilijk meetbare onderwijsresultaten op het sociale en maatschappelijke domein. Verkennende notitie voor de Onderwijsraad. Universiteit van Amsterdam. https://www.onderwijsraad.nl/binaries/onderwijsraad/documenten/rapporten/2016/05/10/studie-moeilijk-meetbare-onderwijsresultaten-op-het-sociale-en-maatschappelijke-domein/Het-zichtbaar-maken-van-moeilijk-meetbare-onderwijsresultaten-2.pdf
 Ledoux et al., 2013). Ledoux, G., Blok, H., Boogaard, M., & Kruger, M. (2009). Opbrengstgericht werken: Over de waarde van meetgestuurd onderwijs. Kohnstamm Instituut. 

https://pure.uva.nl/ws/files/897050/75629_312998.pdf
 Met name gestandaardiseerde kennistoetsen en vragenlijsten die ontwikkeld zijn voor meting van houdingen en vaardigheden worden veel gebruikt en zijn beproefd in wetenschappelijk onderzoek. In een op dergelijke instrumenten gebaseerde aanpak beantwoorden leerlingen kennisvragen (waarvan het antwoord al of niet correct is) of vragen waarbij ze aangeven in hoeverre een uitspraak wordt onderschreven (attitude) of in hoeverre ze iets denken te kunnen (vaardigheid). Portfolio’s komen in verschillende vormen voor, maar doorgaans bestaat deze aanpak er in hoofdlijnen uit dat leerlingen hun werk bundelen en reflecteren op de geleverde inspanning, voortgang en/of resultaten op (soms zelfgekozen) leerdoelen. Een vignette is een korte situatieschets waarover leerlingen aan de hand van een vraag hun oordeel of interpretatie geven, zodat inzicht ontstaat in hoe leerlingen over een onderwerp denken en tot een antwoord komen. Rubrics bestaan in de kern uit een tabel met twee dimensies: een voor de aspecten die worden geëvalueerd (bijvoorbeeld kennis over democratische besluitvorming) en een voor de mate waarin de evaluator (vaak de leerling, maar dat kan ook de leraar zijn) vindt dat het betreffende aspect wordt beheerst. Daarbij is elke combinatie voorzien van een beschrijving die het mogelijke resultaat weergeeft, geordend naar (oplopende) beheersingsniveaus, zoals dat van beginner, intermediate en gevorderde (Daas et al., 2019). Daas, R., Dijkstra, A. B., & De Kort, I. (2019). Verkenning instrumenten opbrengstgericht burgerschapsonderwijs. Voorstudie naar ontsluiting van meetinstrumenten als randvoorwaarde voor opbrengstgericht burgerschapsonderwijs. Universiteit van Amsterdam. 

https://pure.uva.nl/ws/files/39848731/Rapport_meetinstrumenten_burgerschap_DEF.pdf

Vaak wordt voor een gestandaardiseerde wijze van meten gekozen. De primaire eigenschap van gestandaardiseerde instrumenten, die digitaal of schriftelijk worden afgenomen, is de in alle situaties identieke werkwijze (in inhoud, vorm en wijze van afname). Hoewel ook van open vragen gebruik wordt gemaakt, gaat het vaak om bevraging waarbij leerlingen verschillende antwoordmogelijkheden worden voorgelegd. De vragen en antwoorden, en de manier waarop die worden aangeboden en gescoord, is in beginsel voor alle leerlingen gelijk. Dat geldt ook voor de verwerking en analyse van de gegevens en de beoordeling van antwoorden. Niet-gestandaardiseerde methoden waarmee burgerschapscompetenties in kaart worden gebracht kunnen bijvoorbeeld bestaan uit een portfolio-opdracht waarin leerlingen met persoonlijke leerdoelen werken en in het portfolio zichtbaar maken over welke competenties ze beschikken. De gegevens die worden verzameld en de manier waarop dat gebeurt verschillen bij een dergelijke aanpak van leerling tot leerling, en daarmee ook de analyse en wijze waarop het oordeel wordt opgebouwd en de normen die daarbij worden toegepast.

De uiteenlopende manieren waarmee een beeld gegeven kan worden van burgerschapscompetenties en de ontwikkeling daarvan kennen elk hun eigen sterke punten (Daas et al., 2019; Daas, R., Dijkstra, A. B., & De Kort, I. (2019). Verkenning instrumenten opbrengstgericht burgerschapsonderwijs. Voorstudie naar ontsluiting van meetinstrumenten als randvoorwaarde voor opbrengstgericht burgerschapsonderwijs. Universiteit van Amsterdam. 

https://pure.uva.nl/ws/files/39848731/Rapport_meetinstrumenten_burgerschap_DEF.pdf
 Dijkstra, 2012; Dijkstra, A. B. (2012). Sociale opbrengsten van onderwijs. Amsterdam: Vossiuspers. https://pure.uva.nl/ws/files/1615318/122688_PDF_7303Dijkstra_webversie.pdf
 2015). Dijkstra, A. B. (2015). Moeilijk meetbare onderwijsresultaten op het sociale en maatschappelijke domein. Verkennende notitie voor de Onderwijsraad. Universiteit van Amsterdam. https://www.onderwijsraad.nl/binaries/onderwijsraad/documenten/rapporten/2016/05/10/studie-moeilijk-meetbare-onderwijsresultaten-op-het-sociale-en-maatschappelijke-domein/Het-zichtbaar-maken-van-moeilijk-meetbare-onderwijsresultaten-2.pdf
 De voordelen van een gestandaardiseerde wijze van meten hangen op veel punten samen met het voornaamste kenmerk daarvan zoals dat al ter sprake kwam: de identieke vorm van bevraging, verwerking en analyse en beoordeling van de gegevens die een beeld geven van de competenties van leerlingen. Dat maakt het mogelijk de validiteit en betrouwbaarheid van het instrument nauwgezet in kaart te brengen, te optimaliseren en te bewaken. Van een instrument dat betrouwbaar is, is vastgesteld dat aangenomen kan worden dat herhaalde metingen tot vergelijkbare uitkomsten leiden, zodat de uitkomst geen toevalstreffer is. Een meetinstrument dat valide is, meet wat het beoogt te meten: als het instrument bijvoorbeeld kennis over democratische besluitvorming in kaart wil brengen, meet het daarbij niet onbedoeld ook andere elementen, zoals kennis over politiek. Deze borging van de kwaliteit van het meetinstrument is belangrijker naar mate de consequenties die in het gebruik aan de resultaten gekoppeld worden, groter zijn (Ehren & Dijkstra, 2014). Ehren, M. & Dijkstra, A.B. (2014). Evaluation of social outcomes through school inspections. In: A. B. Dijkstra, & P. I. De la Motte (Eds.). Social outcomes of education. The assessment of social outcomes and school improvement through school inspections (pp. 51-72). Amsterdam: Amsterdam University Press.
 Een op ondeugdelijke gegevens gebaseerde herziening van het curriculum is daar een voorbeeld van, net als beslissingen over de afstemming van het aanbod die niet aansluiten bij wat voor de leerlingen nodig is. In het algemeen gesproken kan worden gesteld dat instrumenten waarvan de kwaliteit niet duidelijk is, niet gebruikt zouden moeten worden voor bepaling van de inrichting van het onderwijs.

Sterke punten van gestandaardiseerde instrumenten zijn ook de praktische voordelen bij ontwikkeling (gebruik van reeds beschikbare instrumenten, waarvan de eigenschappen bekend zijn), de beperkte tijd en energie die van de school wordt gevraagd (geringe inspanningen en korte tijd voor afname, extern uitgevoerde analyse en kant-en-klare rapportage) en goed interpreteerbare data die, zo leert de ervaring, scholen houvast bieden voor de (verdere) vormgeving en ontwikkeling van het burgerschapsonderwijs (Peschar et al., 2010). Peschar, J., Hooghoff, H., Dijkstra, A. B., & Ten Dam, G. (2010). Een agenda voor de toekomst: Op weg naar een kennisbasis voor burgerschapsonderwijs. In J. Peschar, H. Hooghoff, A. B. Dijkstra, & G. T. M. Ten Dam (red.), Scholen voor burgerschap: naar een kennisbasis voor burgerschapsonderwijs (pp. 311-328). Garant. 

https://pure.uva.nl/ws/files/986872/105842_330651.pdf
 

Gestandaardiseerde meetinstrumenten maken het ook mogelijk resultaten tussen groepen leerlingen of scholen te vergelijken of in de tijd te volgen. School A uit het voorbeeld vergeleek de kennis over democratische besluitvorming van de eigen leerlingen met die op andere scholen. In plaats van een door de school vast te stellen norm, is geobjectiveerde duiding van de resultaten mogelijk, door deze te vergelijken met competenties van andere groepen leerlingen, zodat de school weet of de resultaten van de eigen leerlingen onder of boven die op andere scholen liggen, of zich rond het gemiddelde bevinden. De uitkomst van zo’n vergelijking betekent niet dat scores onder of boven zo’n benchmark (die landelijk kan zijn, of per groep gekozen kan worden, bijvoorbeeld naar regio of denominatie van de school) gunstig of ongunstig – laat staan onvoldoende – zouden zijn. De winst van zo’n school-onafhankelijke norm is de robuustheid daarvan, die een beeld geeft van de situatie van de school, afgezet tegen die van opbrengsten zoals die in het algemeen worden gerealiseerd. Als sprake is van verschil, impliceert dat geen oordeel, maar geeft dat informatie voor duiding van de situatie: wat zien we, wat is de verklaring daarvoor, en vraagt dat actie? Bij gebruik van niet-gestandaardiseerde instrumenten ontbreekt deze mogelijkheid. Dat betekent dat de school zelf normen moet kiezen. Een school-specifieke normering is doorgaans gebaseerd op de beoordeling van een leraar of, als er school-brede normen beschikbaar zijn, gekozen door de school. Zo’n beoordeling is doorgaans leraar- en/of school-afhankelijk, en kan beperkt of niet aan meer algemene beheersingsniveaus worden gerelateerd. Een doordachte en transparante normering vergt inspanningen van de school, waarbij vooral de relevantie aandacht vraagt: wat maakt dat deze score als voldoende gezien kan worden?

Andere dan gestandaarde instrumenten bieden het voordeel dat daarmee onderliggende informatie, zoals de argumenten of overwegingen van leerlingen, zichtbaar gemaakt kunnen worden, en de afwegingen die deze maken. Instrumenten zoals portfolio, rubrics of vignettes zijn dan ook nodig als een analyse van het leerproces of de door leerlingen gehanteerde argumentatie wenselijk is. Wanneer het gaat om het volgen van de ontwikkeling van het competentieniveau geven gestandaardiseerde gegevens, die op opeenvolgende momenten verzameld zijn, een robuust beeld. Gebruik van andere instrumenten is mogelijk als de vergelijkbaarheid van bevraging en beoordeling verzekerd zijn. Ook bieden dergelijke instrumenten, zoals bijvoorbeeld rubrics, de mogelijkheid om de ontwikkeling van denkprocessen en argumentaties in beeld te brengen. Omdat gestandaardiseerde instrumenten gebaseerd zijn op een meer algemene conceptualisering van burgerschap en zich richten op generieke leerdoelen, kunnen andere instrumenten ook op dit punt voordeel bieden. Immers, als sprake is van specifieke, schooleigen leerdoelen, die afwijken van algemenere uitwerkingen van burgerschap, blijven die buiten beeld. Vooral de mogelijkheid voor fine tuning op school-specifieke situaties en het verkrijgen van inzicht in onderliggende denkprocessen en de argumenten waarop leerlingen zich baseren, zijn punten waar gebruik van niet-gestandaardiseerde instrumenten voordelen biedt.

Normativiteit

Anders dan wel eens wordt gedacht, impliceert een gestandaardiseerde aanpak niet dat daarmee ook een specifieke opvatting over burgerschap de school binnenkomt. Afgezien van het gegeven dat alle aanpakken – ook als de school vignettes, rubrics, portfolio’s of andere methoden gebruikt – zijn gebaseerd op ideeën over wat wel en niet wenselijk is (en alle werkwijzen explicitering van de normatieve uitgangspunten vragen), geldt dat de gestandaardiseerde meetinstrumenten zoals die momenteel op grotere schaal op Nederlandse scholen worden gebruikt, uitdrukking geven aan breed gedeelde uitwerkingen van de kern van burgerschap en burgerschapscompetenties, gebaseerd op het uitgangspunt van menselijke waardigheid en de uitwerking daarvan in democratische kernwaarden.

Hoe kiezen?

De keuze voor de ene of andere aanpak is van verschillende factoren afhankelijk. Als bijvoorbeeld behoefte bestaat aan inzicht in de onderliggende overwegingen van leerlingen, kan een vignette-benadering zinvol zijn. Hetzelfde geldt als het in kaart brengen van de resultaten onderdeel is van de didactische aanpak van de school, en bijvoorbeeld zelfreflectie van leerlingen centraal staat. Een keuze voor rubrics kan dan voor de hand liggen. Als inzicht gewenst is in de ontwikkeling van leerresultaten van het ene naar het andere jaar, of de school een beeld wil hebben van de burgerschapskennis of houdingen van leerlingen, kan een gestandaardiseerde aanpak doorgaans een verstandige keuze zijn.

In de praktijk zal vaak ook het ontwikkelvermogen van de school en de mogelijkheden om zelf een aanpak te ontwikkelen, een rol spelen. Als, zoals hiervoor toegelicht, validiteit, betrouwbaarheid en normering belangrijke eisen zijn die aan informatie over burgerschapscompetenties gesteld worden, vraagt dat een methode die daaraan voldoet. Gebruik van niet-gestandaardiseerde instrumenten, en zeker ontwikkeling van een schooleigen systematiek, vergt kennis, inzet en tijd. Een vraag is dan of de school in staat en bereid is om de investeringen te doen die daarvoor nodig zijn en deze vol te houden. Samengevat zal het dus vaak gaan om een combinatie van het beoogde gebruik (met welk doel wordt gemeten?) en de capaciteit van de school (hoeveel tijd en kennis heeft de school?) die de keuze voor een gestandaardiseerde of meer kwalitatieve methoden zal bepalen.

Onderwijsprofessionals hebben bijgedragen aan dit artikel door vanuit de praktijk mee te denken bij de afbakening van het thema en door feedback te geven op de tekst. Lees meer over de kwaliteitscriteria.