Coaching App for Statistical Writing

Behoefte aan individuele feedback bij verwerking statistiek

Studenten vinden het vaak moeilijk om statistische conclusies te verwerken in hun scriptie en werkstukken. Zij hebben behoefte aan individuele feedback die ingaat op de details van hun eigen antwoord. In veel opleidingen worden statistiekcursussen gegeven in grootschalige cursussen met honderden studenten en in die situatie heeft de docent geen tijd voor zulke uitgebreide, individuele feedback. 
Het doel van de innovatie was om een chatbot te maken die mogelijke statistische uitkomsten van onderzoeken verzint en studenten daarbij individuele schrijfopdrachten geeft en dan helpt hun antwoord te verbeteren. Een beetje zoals ChatGPT, maar dan voor statistiekopgaven.

Ontwikkeling van een app als coach bij statistiek

Als eerste is in dit project een module gemaakt die opdrachten genereert; dit kon vrij eenvoudig worden gekopieerd uit een oudere applicatie. Helaas gaf de ethische commissie daarna geen toestemming voor het gebruik van oude tentamenantwoorden, waardoor de feedback-kern niet op de beoogde manier kon worden gemaakt. Daarom is in de oude applicatie alleen gescand op de aanwezigheid van een goed antwoord in de gebruikersantwoorden en is niet gescand op fouten.

Er is een literatuurstudie gedaan naar formuleringen die in diverse disciplines worden gebruikt. De bedoeling was om een vignetten-onderzoek uit te voeren om te bepalen welk soort feedback studenten fijn vinden. Hierbij heeft de onderwijskundige een literatuurstudie gedaan om te inventariseren wat bekend is over diverse vormen van feedback. Uiteindelijk is besloten om al die feedbackvormen in de applicatie op te nemen in plaats van er een vignettenstudie mee te doen. 

Toen de eerste versie van de applicatie klaar was, is er een alpha-test gedaan met een aantal student-assistenten als proefpersonen. Naar aanleiding hiervan zijn verbeteringen doorgevoerd. Daarna is een bèta-test gedaan met studenten die op dat moment een statistiekcursus volgden. Met een gerandomiseerd experiment is de effectiviteit van de applicatie onderzocht, maar toen bleek dat er te weinig proefpersonen wilden meedoen, is de peer-feedbackconditie weggelaten.

Positieve evaluatie van gebruikers en belemmerende factoren

De applicatie is positief geëvalueerd; studenten in de bèta-test gaven in meerderheid aan dat zij het fijn vinden met de applicatie te kunnen oefenen. De belangrijkste opbrengsten van het project zijn de ontwikkelde applicatie en documentatie. 

Een positief gevolg van het afstandsonderwijs vanwege de coronamaatregelen was dat studenten apps moesten gebruiken bij toetsen; zij kregen er daardoor meer waardering voor. Dit gaf het momentum om studenten verplicht te stellen statistiekopgaven met de apps te maken en daarbij ook de nieuwe app te gebruiken. 

Een belemmerende factor was de Ethische Commissie van de faculteit Sociale Wetenschappen van de Radboud Universiteit die verbood om data van een eerder onderzoek te gebruiken. Ook werd het niet toegestaan om tentamenantwoorden van studenten te gebruiken om de app te verbeteren. Het feit dat er geen groter bedrag aan proefpersonen mocht worden betaald, was eveneens een belemmerende factor.

Duurzame inzet van de coachingsapp statistiek
De app wordt duurzaam ingezet in statistiekcursus van de bacheloropleiding Psychologie van de Radboud Universiteit. Studenten kunnen ermee oefenen en hij wordt als formatieve toets gebruikt. 
Op GitHub is de code en documentatie van de Coaching app for statistical writing te raadplegen.

 

Relevante publicaties 

• Ellis, J. L. (2016). Applying Statistics in Behavioural Research. Amsterdam: Boom
• Khachatryan, D. & Karst, N. (2017). V for Voice: Strategies for Bolstering Communication Skills in Statistics. Journal of Statistics Education, 25(2), 68-78, DOI: 10.1080/10691898.2017.1305261
• Jonsdottir, A. H., Bjornsdottir, A., & Stefansson, G. (2017) Difference in learning among students doing pen-and-paper homework compared to web-based homework in an introductory statistics course. Journal of Statistics Education, 25(1), 12-20, DOI: 10.1080/10691898.2017.1291289
• Tishkovskaya, S. & Lancaster, G. A. (2012). Statistical Education in the 21st Century: A Review of Challenges, Teaching Innovations and Strategies for Reform. Journal of Statistics Education, 20(2), DOI: 10.1080/10691898.2012.11889641
• Zimmerman, W. A., Kang, H. B., Kim, K., Gao, M., Johnson, G.,  Clariana, R., & Zhang, F. (2018) Computer-automated approach for scoring short essays in an introductory statistics course. Journal of Statistics Education, 26(1), 40-47, DOI: 10.1080/10691898.2018.1443047

Producten of presentaties over dit project 

• De code en documentatie van de Coaching app for statistical writing
• De statistiekoefeningen