Hoe geef je niet effectieve feedback?

Door: Martijn Leenknecht (HZ University of Applied Sciences)

We vragen ons vaak af wanneer feedback effectief is, maar misschien levert het omdraaien van de vraag wel nóg meer inzichten op. Dat is in ieder geval wat een groep vooraanstaande Australische toets- en feedbackexperts dacht. Zij stelden zichzelf de vraag: Hoe geef je niet effectieve feedback? De resultaten van hun brainstorm hebben ze beschreven op hun projectpagina Feedback for Learning.

Ze kwamen samen uit op 8 punten die feedback ineffectief maken. Dat levert verrassende ‘adviezen’ op, die je aan het denken zetten. Neem ‘advies’ nummer 7:

Schiet blind met ‘feedbackhagel’ op de studenten

Of zoals de groep experts het verwoordt en illustreert (zie cartoon): pak je feedbackkanon en vuren maar! Als je veel feedback geeft, zullen studenten er vast iets aan hebben. Dat deze wetmatigheid niet op gaat, spreekt voor zich. Bovendien spreekt hieruit een docent-gecentreerde kijk op feedback: het is de taak van de docent om feedback te geven. Meer en meer komen we echter tot de conclusie dat feedback geen gunst is van een docent voor de studenten, maar feedback is een proces van uitwisseling en begrip. Feedback is pas effectief als deze is afgestemd op de student en zo wordt aangeboden dat de student deze kan begrijpen én kan toepassen. Of zoals Dylan Wiliam (2011, p. 4) dit beschrijft: “Information does not become ‘feedback’ unless it is provided within a system that can use that information to affect future performance”.

Feedbackcannon

Figuur 1. Illustratie bij ‘advies’ 7: het feedbackkanon

En als je dan weet dat het gaat om een feedbackdialoog en begrip kweken bij studenten, neem dan vooral (niet) het volgende ‘advies’ ter harte:

Wees een held en besteed zoveel mogelijk tijd aan het geven van feedback!

Je weet dan in ieder geval zeker dat je het niet volhoudt… Zoek dus liever naar manieren waarop je studenten kunt voorzien van persoonlijke feedback, waarbij inzet en opbrengst in balans zijn. Daarbij is de docent niet per definitie de persoon die de feedback geeft. Zet vooral ook studenten zelf in als bron voor eigen feedback of peer feedback. Bedenk dus ook goed vooraf, tijdens het ontwerpen van je onderwijs, hoe, wanneer, en hoe vaak je momenten inbouwt dat studenten feedback kunnen verzamelen (zie ook ‘advies’ 6). Wees daarin vooral ook slim en zorg dat je juist feedback geeft op momenten dat studenten nog gebruik kunnen maken van feedback (zie ook ‘advies’ 3).

Een klassieker is wat mij betreft ook ‘advies’ 4:

Ga er van uit dat studenten je feedback niet lezen

“Waarom zou ik er zoveel tijd in stoppen, studenten lezen mijn feedback toch niet…”. Je hoort docenten nog wel eens klagen over het gebrekkige gebruik van feedback door studenten. Dat studenten hier zelf anders over denken, beschreef ik al in het blog Leren van toetsen: Docent en student zijn het nog niet eens. Ook de Australische onderzoeksgroep vond in hun onderzoek onder ruim 3000 studenten dat de meerderheid van de studenten juist wél aangeeft de feedback te gebruiken. Is het dan ook niet veel interessanter om je af te vragen waarom studenten jouw feedback moeten lezen..?

Het project van de groep onderzoekers uit Australië loopt nog een aantal jaren door en op hun website plaatsen ze updates en opbrengsten van het project. Zo kan je al lezen wat de resultaten waren van hun onderzoek naar feedbackpercepties van studenten en docenten. De komende jaren werken ze aan het verzamelen van good practices en proberen ze de vraag te beantwoorden hoe effectieve feedbackpraktijken kunnen worden ingezet in het hoger onderwijs. Houd hun pagina dus in de gaten!

Referenties
Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evaluation, 37, 3-14.

Advertenties

Zo laat je je studenten lessen trekken uit krachtige feedback met D-PAC

Door: Alexia Deneire (Universiteit Antwerpen)

‘Het lijkt er dus op dat het vergelijkend beoordelen potentie heeft’, oordeelt Martijn Leenknecht in zijn blog “De kracht van beoordelingscriteria (deels) ontkracht” over deze alternatieve aanpak om competenties te beoordelen. Helemaal juist. Beoordelen zonder beoordelingscriteria kan prima. Meer nog: het verloopt vrij eenvoudig en leidt tot een betrouwbaar en valide oordeel. Maar hoe zit het precies met de leerwaarde van dergelijke beoordelingen, is één van de vragen die worden gesteld in het blog van Martijn Leenknecht. In hoeverre kan comparatief beoordelen een bijdrage leveren aan het leren van de student? Wel, daar kan ik jullie meer over vertellen. In één zin samengevat: comparatief beoordelen levert krachtige (peer) feedback op. Zo leert ons eigen onderzoek én getuigen diverse gebruikers uit het hoger onderwijs.

D-PAC maakt comparatieve beoordeling mogelijk
In 2014 ontwikkelden we met ons team het Digitaal Platform voor het Assessment van Competenties, afgekort als D-PAC. Dat platform werkt vanuit de principes van comparatief beoordelen (ook wel: paarsgewijze vergelijking). Dit betekent dat je als beoordelaar het werk van je studenten niet langer op zich beoordeelt, maar steeds in vergelijking met een willekeurig ander werk. Bij elk paar geef je aan welk product je beter vindt in het licht van de te beoordelen competentie. En je werkt in teamverband: elk werk wordt door meerdere beoordelaars, dus verschillende keren beoordeeld. Het eindresultaat van het beoordelingsproces is geen cijfer, maar een betrouwbare en valide rangorde van de beoordeelde werken1,2. D-PAC nodigt je als beoordelaar uit om feedback te schrijven bij het werk van je studenten. De feedback-module van D-PAC biedt zo extra leerkansen voor jouw studenten.

Leer meer over D-PAC in deze introductievideo: https://player.vimeo.com/video/215619748

Hoger onderwijs omarmt comparatieve beoordeling met D-PAC
Vooral het hoger onderwijs reageert enthousiast op de diverse mogelijkheden van D-PAC. Meer dan 50 opleidingen in Vlaanderen en Nederland maakten al kennis met de voordelen van comparatief beoordelen via D-PAC. De opdrachten en het format van die opdrachten zijn erg gevarieerd. Beoordelaars buigen zich over essays, rapporten en zelfreflecties van studenten, maar ook afbeeldingen, video en geluidsfragmenten passeren de revue. Uit onderzoek blijkt dat een gemiddelde van 12 vergelijkingen per werk al een voldoende betrouwbaarheid oplevert van .70. Of je 12 vergelijkingen veel vindt hangt er natuurlijk wat van af. Het vergelijken gaat immers snel en de vergelijkingen worden verspreid over meerdere beoordelaars. Gedeeld werk maakt licht werk, toch? Studenten in het hoger onderwijs ervaren deze manier van beoordelen trouwens als eerlijk en geloofwaardig3.

Leren van toetsen? Eén formule: vergelijken + feedback = inzicht
Docenten in het hoger onderwijs gebruiken onze tool voornamelijk voor formatieve doeleinden (o.a. via peer assessment). Dat kan perfect dankzij de feedback-module van D-PAC. Destijds gewoon als extraatje binnen het platform uitgebouwd, maar duidelijk een schot in de roos. Bij elke vergelijking die je als beoordelaar maakt, krijg je de gelegenheid om sterke punten en werkpunten te noteren bij beide werken (figuur 1). Je hoeft daarbij niet alle beoordelingscriteria te overlopen; benoemen wat er voor jou het meest uitspringt volstaat.

figuur 1 D-PAC
Figuur 1. Comparatief beoordelen: bij elke vergelijking feedback noteren

Groot voordeel voor je studenten is dat de feedback die ze aan het einde van de rit krijgen erg rijk is. De feedback is namelijk afkomstig van meerdere beoordelaars, die met een steeds wisselende (en evoluerende) blik naar de werken kijken (figuur 2). De rijke D-PAC-feedback biedt ruim kansen voor leren en ontwikkeling.

figuur 2 D-PACFiguur 2. Toegevoegde waarde van comparatief beoordelen: rijke feedback, van meerdere beoordelaars

Ook de positie die hun werk in de finale rangorde van de beoordeelde werken krijgt, is trouwens verrijkend voor de studenten (figuur 3). Elk van je studenten ziet in één oogopslag waar zijn of haar werk zich bevindt ten opzichte van dat van medestudenten. Achteraf kan je als docent in groep (anoniem) die werken bespreken die zich aan de top van of net onderaan de rangorde bevinden. Deze confrontatie met werk van anderen kan zo bij je studenten tot (nieuwe) inzichten leiden: wat wordt er van hen verwacht en waarom is een bepaald product van betere kwaliteit?

figuur 3 D-PACFiguur 3. Bespreek met je studenten hun werk in functie van de positie in de rangorde.

D-PAC en peer assessment gaan hand in hand
Ruim één op drie beoordelingen met D-PAC in het hoger onderwijs zijn peer assessments. Ook studenten kunnen elkaar een spiegel voor houden en D-PAC leent er zich als tool uitermate goed voor (Lees er gerust onze blog ‘Goed nieuws vanuit slechtnieuwscommunicatie’ op na.).

We weten uit eigen onderzoek en getuigenissen inmiddels al heel wat over comparatieve peer assessments. Even de belangrijkste inzichten op een rij:

  • Zelfs al zijn studenten (nog) geen expert, ze kunnen vaak prima inschatten of een ander de opdracht goed of minder goed heeft uitgevoerd. Werken onderling vergelijken en de beste aanduiden is eenvoudig, er is dus geen uitvoerige instructie of training vooraf vereist.
  • Tijdens het beoordelen krijgen ze tal van voorbeelden te zien die onderling variëren in kwaliteit. Vele voorbeelden verschaffen volop inspiratie. Het zien van het werk van anderen stimuleert reflectie over het eigen werk.
  • Studenten ervaren het platform als een ‘veilige’ omgeving: het beoordelen verloopt er geheel anoniem. Niemand weet welk werk van wie is.
  • Het geven van feedback aan medestudenten helpt bij het expliciteren van kwaliteitscriteria4.
  • Studenten in vergelijking met standaard peer assessment eerder focussen op criteria van hogere orde.
  • De feedback die studenten van hun peers ontvangen vinden ze rijk en waardevol3. Studenten aanvaarden de resultaten, doordat ze vertrouwen hebben in elkaars bekwaamheid. En ze zijn bereid om er ook effectief iets mee te doen, net doordat ze ook zelf feedback gaven (en verwachten dat dit peers aanzet tot reflectie en actie).

Geboeid?
Met ons team verrichten we onderzoek naar de kwaliteit van comparatief beoordelen via D-PAC. Voor meer wetenschappelijke achtergrond, raadpleeg onze publicaties via de website: www.d-pac.be.

Wil je de tool graag zelf eens uittesten, neem dan contact op via d-pac@uantwerpen.be.

Of kom gewoon naar ons D-PAC event op 15 en 16 november in Antwerpen (inschrijven via de website)!

Bronnen

  1. Pollitt, A. (2012). Comparative judgement for assessment. International Journal of Technology and Design Education, 22(2), 157-170.
  2. Van Daal, T., Lesterhuis, M., Coertjens, L., Donche, V., & De Maeyer, S. (2016). Validity of comparative judgement to assess academic writing: Examining implications of its holistic character and building on a shared consensus. Assessment in Education: Principles, Policy & Practice, 1-16. doi:10.1080/0969594X.2016.1253542
  3. Mortier, A., Lesterhuis, M., Vlerick, P., & De Maeyer, S. (2015). Comparative judgement within online assessment: Exploring students feedback reactions. Proceedings of Communications in Computer and Information Science 571, 69-79.
  4. Sluijsmans, D., Dochy, F., & Moerkerke, G. (1998). Creating a learning environment by using self-, peer-and co-assessment. Learning Environments Research, 1(3), 293-319.

Opinie: De formatieve werkwijze

Door: Stephanie Kruiper (Hogeschool Rotterdam)

What’s in the name?

In de wetenschappelijke literatuur wordt veel met het woord toetsing gesproken. Er wordt onderscheid gemaakt tussen formatieve toetsing en summatieve toetsing, waarbij bij formatieve toetsing vooral de boodschap is dat dit niets te maken heeft met het beeld dat het woord toetsen vaak oproept. Maar waarom heet het dan formatieve toetsing? Zelf heb ik heel lang geworsteld om te begrijpen wat formatieve toetsing eigenlijk echt betekent, mede door het woord ‘toetsing’.

Ik hoef waarschijnlijk niemand meer duidelijk te maken wat het nut is van formatief toetsen. Het onderzoek van Hattie (2009) heeft dit helder weergegeven. De grote vraag waarmee geworsteld wordt is hoe we dit implementeren in de onderwijspraktijk. Onder andere Sluijsmans & Kneyber schrijven hierover in hun boek Toetsrevolutie (2016). Ze geven hierin een groot aantal adviezen om een feedbackcultuur te realiseren in het onderwijs, waarbij het inzetten van formatieve toetsing essentieel is.

Volgens mij ligt het begin van het realiseren van een toetsrevolutie bij het stoppen met het gebruiken van het woord formatieve toetsing. Het woord ‘toetsing’ heeft een lading en roept associaties op. Bedenk voor jezelf eens wat het bij je oproept. Bij mij roept het een beeld op van zalen waar tafels uit elkaar staan, papieren klaarliggen en docenten surveilleren. Meer dan dat roept het een gevoel van stress op: bij een toets moet je presteren, want hier wordt bepaald welk cijfer je krijgt en of je het vak hebt gehaald.

Formatief toetsen heeft niets te maken met het hierboven geschetste beeld. Het heeft te maken met het ondersteunen van studenten in hun leerproces. De enige overeenkomst die het heeft met toetsen is dat het te maken heeft met het inwinnen van informatie over het leren van de student. Black & Wiliam (2009) definiëren formatief toetsen als volgt:

Practice in a classroom is formative to the extent that evidence about student achievement is elicited, interpreted, and used by teachers, learners, or their peers, to make decisions about the next steps in instruction that are likely to be better, or better founded, than the decisions they would have taken in the absence of the evidence that was elicited. (p. 9)

Het valt op dat hier niets wordt genoemd over toetsing. Formatief toetsen is een manier van werken in de klas. Een toets kan worden gebruikt om formatief te werken, maar is niet formatief.

Zolang we het woord ‘toetsen’ aan formatief blijven plakken zal altijd de associatie met toetsen gelegd blijven worden. Wiliam (2014) geeft aan dat zelfs als het woord ‘evaluatie’ of ‘assessment’ wordt gebruikt, de focus snel komt te liggen op formele toetsprocedures. De steeds vaker gebruikte term assessment for learning geeft dus geen verbetering.

Laten we daarom voor de duidelijkheid het woord ‘formatieve toetsing’ vervangen door een ander woord. Iets als ‘de formatieve werkwijze’. Dit woord is het resultaat van mijn eigen brainstorm, misschien zijn er betere woorden te bedenken. Laat de reactiebalk hieronder een mooie gelegenheid zijn andere ideeën te delen!

Stephanie Kruiper is het afgelopen jaar werkzaam geweest bij de Expertisegroep Toetsen en Beoordelen van de Hogeschool Rotterdam. Vanaf september kruipt ze terug in de schoolbanken en start ze met de master Onderwijswetenschappen bij de Universiteit Utrecht.

Referenties
Sluijsmans, D. & Kneyber, R. (2016). Toetsrevolutie: naar een feedbackcultuur in het voortgezet onderwijs. Culemborg: Phronese.

Hattie, J. A.C. (2009). Visible learning. New York, VS: Routledge.

Black, P. J., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31.

Wiliam, D. (2014, april). Formative assessment and contingency in the regulation of learning processes. Paper gepresenteerd tijdens een symposium getiteld Toward a Theory of Classroom Assessment as the Regulation of Learning bij de jaarlijkse meeting van de American Educational Research Association, Philadelphia, PA.

De andere kant van feedback: Hoe studenten omgaan met feedback

In aanloop naar het symposium Leren van Toetsen: Van visie naar feedbackcultuur introduceren de experts de thema’s waarmee we aan de slag gaan. In dit blog nemen Jorik Arts (Fontys Hogescholen) en Kim Dirkx (Open Universiteit) ons mee in het thema De andere kant van feedback: Hoe studenten omgaan met feedback.  

Komt het onderstaande voorbeeld jou ook bekend voor?

‘Dit is echt niet oké’, hoorde ik mijn collega onlangs verzuchten. ‘Die student snapt totaal niet waar hij mee bezig is’, ging hij verder. Mijn collega was een tweede versie van een verslag door aan het nemen. Toen ik vroeg wat er aan de hand was vertelde mijn collega dat hij vond dat hij heel duidelijke feedback gegeven had op de eerste versie van het verslag en bovendien een gesprek met de student had gehad. En nu leek het er op dat de student alleen maar ‘de ballonnetjes’ had weggewerkt. Bovendien maakte de student vorig jaar bij een andere opdracht precies dezelfde fouten. Dat kon toch niet de bedoeling zijn van het geven van feedback, mopperde mijn collega.

Zoals bovenstaand voorbeeld zijn er in de praktijk legio voorbeelden te vinden van situaties waarin de feedback niet het gewenste effect heeft. Aan de andere kant roepen we met z’n allen dat feedback een o zo krachtig leerinstrument is…. De vraag die je jezelf dan gaat stellen is: wat is er aan de hand met het geven en ontvangen van feedback? Wat gaat er fout bij het geven van feedback?

Is feedback altijd effectief?
Uit onderzoek blijkt dat feedback inderdaad een enorm krachtig leerinstrument kan zijn. Het is echter ook een leerinstrument waarbij de opbrengsten zeer uiteen lopen (Hattie & Timperley, 2007; Kluger & Denisi, 1996). Blijkbaar is het belangrijk hoe (i.e., gedetailleerd; gericht op wat beter kan; ook positieve punten benoemen) en wanneer (i.e., vlak na het werken aan een opdracht; met voldoende tijd voor aanpassingen) feedback precies wordt ingezet. Ondanks vele richtlijnen, blijkt het daadwerkelijk in praktijk brengen van effectieve feedback toch nog steeds heel moeilijk en complex (Arts, Jaspers, & Joosten-ten Brinke, 2016). Daarnaast speelt de bereidheid van studenten om de feedback te gebruiken een enorm grote rol. Het blijkt dan ook dat lang niet alle feedback effectief is.

Feedback zou meer gericht moeten zijn op een cyclisch proces
Vaak wordt feedback per opdracht en per module gegeven (zie figuur 1) en wordt er weinig gestuurd op het gebruik van feedback in navolgende opdrachten of modules. Eén van de belangrijkste factoren voor effectieve feedback is misschien wel om feedback meer als een cyclisch proces te zien (zie figuur 2).figuur 1 blog Kim en Jorik figuur 2 blog Kim en JorikFiguur 1. Module georiënteerde feedback          Figuur 2. Proces georiënteerde feedback

De definitie van feedback die Boud en Molloy (2013) hanteren, sluit daar mooi bij aan:

“Feedback is a process whereby learners obtain information about their work in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work.”

Hoe brengen we dit in praktijk?
In de themasessie: de andere kant van feedback tijdens het symposium Leren van Toetsen: van visie naar feedbackcultuur willen we ingaan op vragen als “Hoe en wanneer willen studenten graag feedback ontvangen? Welke feedback gebruiken studenten wel/ welke niet? “Hoe komen we vanuit model 1 naar model 2?”.

Deze en andere vragen zullen we tijdens de themasessie samen met elkaar bespreken aan de hand van inzichten uit de literatuur met als doel te komen tot aanbevelingen voor het geven van effectieve feedback die door studenten daadwerkelijk gebruikt wordt.

thema 3bHet symposium Leren van Toetsen: Van visie naar feedbackcultuur vindt plaats op vrijdagmiddag 2 juni aanstaande in Rotterdam. Heb je een vraag die aansluit bij Thema 3: De andere kant van feedback? Laat je vraag achter via een reactie op dit bericht! Ook als je niet kunt aansluiten bij het symposium is je input meer dan welkom! 

Wil je meer lezen? Bekijk dan ook het blog Leren van toetsen: docent en student zijn het nog niet eens van Martijn Leenknecht of De docent maakt het verschil, ook bij feedback van Ank Jansen.  

Referenties
Arts, J. G., Jaspers, M., & Joosten-ten Brinke, D. (2016). A case study on written comments as a form of feedback in teacher education: so much to gain. European Journal of Teacher Education, 39(2), 159-173.

Boud, D., & Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698-712.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112.

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.

 

Studenten betrekken bij summatieve toetsen

In aanloop naar het symposium Leren van Toetsen: Van visie naar feedbackcultuur introduceren de experts de thema’s waarmee we aan de slag gaan. Allereerst de beurt aan de experts van thema 1: Veronica Bruijns (Hogeschool van Amsterdam) & Elly Vermunt (Zuyd Hogeschool)

Als onderwijsinstelling bepalen we veel. We stellen de eindkwalificaties op en ontwikkelen een onderwijsprogramma dat studenten in een bepaalde volgorde moeten doorlopen. We bepalen grotendeels de inhoud van de modules en de inhoud en de vorm van de toets. Het effect is soms dat studenten het onderwijsprogramma eerder ondergaan in plaats van dat ze een actieve rol op zich nemen. Maar de roep van studenten op meer invloed op het onderwijsprogramma wordt groter (ISO, LSBV). Ook opleidingen willen dat studenten een actievere rol aannemen.

Een uitgelezen manier om studenten invloed te laten uitoefenen op zijn of haar studieprogramma is ze een rol te laten vervullen bij de summatieve toetsing. De toetsing is een goed aangrijpingspunt omdat het voor studenten een essentieel onderdeel is van onderwijsmodules, zeker zolang het verkrijgen van studiepunten gekoppeld is aan het behalen van een voldoende voor de summatieve toets. Op toetsgebied zijn daarom de laatste jaren, nationaal en internationaal, veel ideeën ontwikkeld en uitgetest om studenten intensief te betrekken bij de toetsing. In figuur 1 worden verschillende manieren opgesomd en gekoppeld aan een fase in de toetscyclus. Uit dit overzicht blijkt wel dat er veel meer mogelijk is dan studenten vragen laten maken en medestudenten laten beoordelen.

figuur blog Veronica en EllyFiguur 1. Manieren om studenten te betrekken bij toetsen.

Deze verschillende manieren om studenten te betrekken bij toetsen kunnen ook op verschillende manieren in praktijk worden gebracht. Hoe pak je dit precies aan? En wat zijn bewezen effectieve methoden? Deze vragen staan centraal tijdens de Themasessie 1: Studenten betrekken bij toetsen.

Tijdens de themasessie is er veel ruimte voor onderling uitwisselen van ervaringen en het bespreken van wat wenselijk en haalbaar is in ieders eigen context. Veronica gaat nader in op een aantal interessante vormen van het betrekken van studenten bij toetsen, zoals het two-stage exam en studenten zelf de eigen toets te laten samenstellen en deze vervolgens te laten maken. Daarnaast gaat Elly in op de resultaten van haar onderzoek naar het betrekken van studenten bij de toetscyclus. Hierbij heeft zij onderzocht in hoeverre studenten betrokken werden bij de verschillende fases van de toetscyclus bij een specifieke toets (een projectverslag) en in welke mate de studenten en docenten formatieve waarde (leerwaarde) hebben ervaren tijdens het gehele traject in de voorbereiding op de toets. Eén van de belangrijkste resultaten was dat de studenten bij aanvang niet duidelijk wisten wat van hen verwacht werd: ze hadden moeite met het interpreteren van de beoordelingscriteria. In een vervolgonderzoek zijn de studenten vervolgens actief betrokken bij het werken met en begrijpen van deze beoordelingscriteria en daarnaast hebben zij een self-assessment uitgevoerd. De resultaten van beide onderzoeken komen aan de orde.

thema 1c

Het symposium Leren van Toetsen: Van visie naar feedbackcultuur vindt plaats op vrijdagmiddag 2 juni aanstaande in Rotterdam. Heb je een vraag die aansluit bij Thema 1: Studenten betrekken bij toetsen? Laat je vraag achter via een reactie op dit bericht! Ook als je niet kunt aansluiten bij het symposium is je input meer dan welkom! 

Wil je meer lezen? Bekijk dan ook het blog Toetsen doe je samen met studenten! van Elly Vermunt of Leren van toetsen? Betrek studenten bij het toetsproces van Martijn Leenknecht.  

Leren van feedback gaat niet vanzelf

door: Noortje van Glabbeek (onderwijsadviseur HZ University of Applied Sciences)

Docenten van de opleidingen Bouwkunde en Engineering van de HZ University of Applied Sciences geven studenten in elk contactmoment en na elke summatieve toets feedback. Studenten die niet weten hoe zij deze feedback moeten verwerken, leren er weinig van. Feedback geven die aanzet tot leren is echter geen sinecure. De onderwijsadviseur coacht beide docententeams bij het ontwikkelen van werkvormen die het geven én het leren van feedback omvatten.

Het onderwijsmodel wordt gekenmerkt door studentregie, individuele leerroutes en een daarbij passende leeromgeving. Een didactiek van kennisoverdracht is dan ook vervangen door een didactiek van kennisverwerving. Kern van het beroep van docent is immers studenten aan te zetten tot leren. Docenten ontwikkelen daartoe niet alleen uitdagende beroepsopdrachten, maar bespreken met studenten ook frequent hun vorderingen. Een kritische reflectie op de wijze waarop didactische structuren aan studenten gepresenteerd worden, leidde tot het volgende eisenpakket:

Didactische structuren

  • ondersteunen studenten bij het verwerven van leervaardigheden;
  • bevatten een aantrekkelijke en heldere briefing;
  • doen een beroep op de eigen verantwoordelijkheid voor de studie;
  • bevatten aantrekkelijke en gevarieerde werk- en toetsvormen;
  • verleiden docenten tot het geven van adequate feedback.

De rol van feedback tijdens het leerproces
Het onderwijs bij de opleidingen Bouwkunde en Engineering is sinds enkele jaren vormgegeven op basis van beroepsrollen. Cursussen hebben een omvang van 15 EC, duren een kwartaal en zijn gebaseerd op beroepsopdrachten. Deze opdrachten worden aan studenten gepresenteerd in een briefing. Een briefing bestaat uit de volgende drieslag:

  1.  aanleiding met probleemschets uitmondend in de opdrachtformulering;
  2. voorschriften voor de oplevering;
  3. voorschriften voor de aanpak.

De opdrachten doen niet alleen een beroep op vakkennis en -vaardigheden, maar ook op leer- en onderzoeksvaardigheden. Zij zijn bovendien ondubbelzinnig geformuleerd, hebben enige omvang, leiden tot tastbaar resultaat en zijn voorzien van (zelf)beoordelingscriteria. Dit motiveert studenten om zich vaker en beter op de contactmomenten voor te bereiden.

In de contactmomenten bespreken studenten hun beroepshandelingen, beroepsproducten en leerprestaties met medestudenten en docent. De docent geeft alle studenten hierop feedback. Studenten die niet geleerd hebben om deze feedback te verwerken, leren er echter alleen op goed geluk wat van. Feedback geven is in dat geval alleen maar tijdrovend. Daarom ondersteunt de docent studenten in zijn lessen ook bij de verwerking van de feedback, waarna zij hun eigen leeractiviteiten formuleren. Aanvullend hierop voert de studieloopbaancoach periodiek

gesprekken met studenten en ondersteunt hun bij het SMART maken van de door hen geformuleerde leeractiviteiten. Het portfolio is een belangrijk instrument in dit proces. Een van de onderdelen ervan is namelijk de zelfbeoordeling. Hierin vat de student na afloop van elke cursus de ontvangen en verwerkte feedback samen. Hij koppelt zijn zelfbeoordeling aantoonbaar aan de leerdoelen van de cursus en geeft aan wat hij over zichzelf te weten is gekomen. Hiermee laat hij zien dat hij voldoende zelfkritisch en reflectief is. Ook in dit proces speelt de studieloopbaancoach een cruciale rol.

In vervolgcursussen leren docenten hun studenten om zelf gerichte feedback op hun beroepsproducten, beroepshandelingen en leerprestaties te vragen.

Deze aanpak leidt tot positieve effecten op het leerproces en de studievoortgang. Zo behaalt meer dan 85% van de eerstejaarsstudenten aan het einde van het eerste studiejaar zijn propedeuse.

De rol van feedback na de summatieve toets
Elke cursus (15 EC) wordt afgesloten met twee summatieve toetsen:

  1. een competentieniveautoets;
  2. een competentieontwikkelingstoets.

Voor beide toetsen geldt een bodemcijfer van 5,5. Voor de berekening van het eindcijfer worden de behaalde cijfers gemiddeld. In het eerste studiejaar heeft de niveautoets een gewicht van 70%. Dit gewicht neemt in de loop van de studiejaren geleidelijk af tot 50%.

Competentieniveautoets
Op de maandagochtend van de toetsweek voeren studenten in drie uur individueel een equivalent van de in de cursus geoefende beroepstaak uit. Het is een openboektoets in de breedste betekenis van het woord.

Op de dinsdag beoordelen docenten gezamenlijk het gemaakte werk en stemmen hun beoordeling met elkaar af. De beoordeling is holistisch van aard en vindt plaats op deeltaakniveau. Deze aanpak leidt tot een gemeenschappelijk inzicht in het gevraagde niveau, tot een verheldering van de beoordelingscriteria en tot verbetering van het beoordelingsformulier. Op het beoordelings-formulier noteren de docenten een toelichting op de beoordeling en een verantwoording van het aantal toegekende punten.

Op de woensdagochtend vindt onder leiding van de cursuscoördinator een drie uur durende klassikale feedbacksessie plaats. Hierbij zijn niet alleen alle studenten, maar ook docenten, studieloopbaancoaches en onderwijsadviseur aanwezig. De werkwijze wordt aan het begin van de feedbacksessie toegelicht.

  • Studenten krijgen instructie voor het verwerken van feedback.
  • De toets wordt besproken in het licht van de leerdoelen van de cursus.
  • Er wordt besproken wat een goede/minder goede aanpak was.
  • Er wordt besproken wat goede/minder goede oplossingen waren.
  • Vragen van studenten worden kort en bondig besproken.
  • Docenten stellen vragen aan studenten om het leereffect te vergroten.
  • Er wordt besproken waar studenten staan met betrekking tot de leerdoelen en het gewenste niveau.
  • Studenten formuleren SMART wat zij nog zouden kunnen doen om het gewenste niveau dichter te benaderen en leggen dit vast in hun portfolio. De studieloopbaancoach speelt een belangrijke rol in de begeleiding hiervan.

Op de vrijdagochtend in dezelfde week kunnen studenten die een onvoldoende resultaat behaalden, de toets herkansen.

Na de herkansing blijken telkens alle studenten op een enkele uitzondering na geslaagd te zijn. Daarmee hebben zij voldoende niveau om de volgende cursus met succes te kunnen volgen. Wat hiervan de voordelen zijn voor de motivatie en de studievoortgang is evident.

Competentieontwikkelingstoets
In deze toets staat de beoordeling van het leerproces en de persoonlijke ontwikkeling centraal. Elke student voert op basis van zijn portfolio een beoordelingsgesprek van 20 minuten met een van de docenten en/of de studieloopbaancoach. De student toont in dit gesprek aan dat hij de beoogde vorderingen heeft gemaakt. Studenten die dit onvoldoende aannemelijk kunnen maken, mogen hun portfolio aanvullen en een herkansingsgesprek voeren. Dit gesprek vindt na afloop van de volgende cursus plaats. Het reguliere gesprek na afloop van deze cursus wordt daartoe met 10 minuten verlengd tot 30 minuten.

Discussie
Kern van het beroep van docent is studenten aan te zetten tot leren. De aard van de opleiding is dan ook geen factor van betekenis. Met andere woorden: leren van feedback is universeel.

Docenten raken er steeds meer van overtuigd dat feedback een van de belangrijkste middelen is om (leer)gedrag van studenten te veranderen. Feedback maakt studenten namelijk bewust van hun functioneren en laat hun hun blinde vlekken zien.

Van docenten vergt deze vorm van begeleiding niet alleen een aanzienlijke hoeveelheid energie, maar ook veel discipline. Docenten moeten namelijk voortdurend alert zijn op hun nieuwe rol van leerprocesbegeleider. Pas als alle docenten van een team bereid zijn om tijd te investeren in het geven van feedback en het begeleiden van studenten bij de verwerking ervan, krijgen studenten grip op factoren die hun motivatie beïnvloeden en die leiden tot toenemende zelfsturing.

De docententeams Bouwkunde en Engineering overwegen om op termijn in de hogere leerjaren andere feedbackprocedures op de summatieve toetsen te hanteren. Zo zouden tweedejaars-studenten in staat moeten zijn om de gemaakte toets op basis van beoordelingsformulieren en het correctiemodel met elkaar te bespreken (peer feedback) en zouden derde- en vierdejaars-studenten in staat moeten zijn om met beoordelingsformulier en correctiemodel een zelfbeoordeling (self feedback) uit te voeren. Voordat deze varianten toegepast kunnen worden, moeten de opleidingen nog wel passende instrumenten en instructies ontwikkelen. Maar de eerste stap in deze richting is gezet: studenten leren namelijk om tijdens en na afloop van de onderwijseenheden in de cursussen individueel en in meertallen kritisch te kijken naar de door hen behaalde leerresultaten. De leerdoelen van de cursus zijn daarbij telkens richtinggevend.

Hoe kun je leren van toetsen?

Door Simone Kooij (onderwijsadviseur Hogeschool Rotterdam)

Ons platform heeft de naam ‘Leren van toetsen’. We willen hiermee de aandacht verschuiven van toetsen als middel om cijfers, studiepunten en diploma’s te geven, naar toetsen als middel om het leren van studenten verder te helpen. Met het onderzoek van het platform willen we inzicht krijgen in hoe dit werkt. Op welke manier kan toetsen en beoordelen een rol spelen in het stimuleren van de ontwikkeling van studenten tot bekwame professional? Wat werkt wel en niet binnen de context van het hbo?

Theorie en onderzoek binnen en buiten het hbo geeft ons aanknopingspunten om ons onderzoek op te richten. Studenten zouden kunnen leren van toetsen door…

… toetsen of opdrachten te maken
Studenten leren altijd van toetsen (of opdrachten), zelfs zonder dat de opleiding daar expliciete aandacht voor heeft. Studenten richten zich in eerste instantie op de toets, en niet op het onderwijs (Jaspers & Van Zijl, 2011). Toetsen hebben een grote invloed op het leren van studenten. Die invloed kun je onderverdelen in drie categorieën (Gielen, Dochy, & Dierick, 2003):
– Pre-effect
– True effect
– Post-effect

Het pre-effect is het effect van het in het vooruitzicht stellen van een toets op het studiegedrag van studenten. Als je weet dat je een multiple-choice toets moet maken, ga je op een andere manier met de lesstof om dan wanneer je beoordeeld gaat worden op een essay. Toetsen stuurt het leren. Het is daarom van belang dat de toets, het curriculum en de doelen uitgelijnd zijn (constructive alignment), zodat de toets het leren de goede kant op stuurt (Van der Vleuten et al., 2012).

Het true (ware) effect van toetsen heeft betrekking op het moment van het maken van de toets. Het beantwoorden van vragen of maken van opdrachten zet studenten aan het denken, laat verbanden leggen en activeert het ophalen van kennis uit het geheugen, waardoor die kennis op de lange termijn beter onthouden wordt. Dit laatste wordt ook wel het testing effect genoemd.

Het post-effect gaat over het effect van de beoordeling op het leren van de student dat daarop volgt. Dit effect wordt veroorzaakt door het cijfer op de toets en door de feedback. Dit kan effect hebben op het leerproces, zelfregulatie en/of motivatie van de student. Deze effecten treden zowel bij formatieve als bij summatieve toetsen op. Bij summatieve toetsen blijft met name het post-effect echter vaak impliciet. Door je bewust te zijn van de effecten van summatieve toetsen op het leren van studenten, kun je dit effect versterken. Summatieve toetsen worden dan formatief gebruikt.

… feedback en feed-forward
Als toetsen het leren stuurt, moet het betekenisvolle informatie opleveren voor de student (Van der Vleuten et al., 2012). Een krachtig middel om de leerwaarde van toetsen te vergroten, is het geven van effectieve feedback. Ramaprasad (1983) geeft een definitie van feedback:

“Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way.”

Uitgaande van deze definitie, is feedback pas effectief als het gebruikt wordt in het leerproces dat op de feedback volgt. Feedback moet niet alleen iets zeggen over waar de student nu staat ten opzichte van het doel, maar ook aanknopingspunten geven voor wat de student nog moet doen om dichter bij dat doel te komen.

Vervolgens moeten studenten de kans krijgen en gestimuleerd worden om de feed-forward ook daadwerkelijk te kúnnen gebruiken. Dit stelt eisen aan de inhoud van de feedback: niet te specifiek gericht op de afgeronde taak, maar meer op het proces en zelfregulatie. En het stelt eisen aan het onderwijs dat op de feedback volgt: aansluitend en voortbouwend op de toets.

… integratie van toetsen en onderwijs
Het integreren van onderwijs en toetsing maakt het makkelijker de feedback en feed-forward uit een toets te gebruiken in het onderwijs dat daarop volgt. Beoordelen is het startpunt van leren, en niet het sluitstuk (Sluijsmans, 2010). Onderstaande figuren geven dit weer. De informatie die toetsen oplevert helpt bij het vormgeven van onderwijs en leren.
o-T t-o
(Sluijsmans, 2013)

Toetsen wordt hier meer als een proces dan als een instrument gezien. Toetsen is in het rechter figuur meer dan alleen geplande, formele toets- en beoordelingsmomenten. Toetsing kan ook informeel plaatsvinden, in de vorm van het stellen van vragen, uitlokken van reflectie, geven van feedback, tijdens de les, in het contact met studenten. Toetsing schuift hiermee op richting didactiek.

Referenties

Gielen, S., Dochy, F., & Dierick, S. (2003). Evaluating the consequential validity of new modes of assessment: the influence of assessment on learning, including pre-, post-, and true assessment effects. In M. Segers, F. Dochy, & E. Cascallar (Eds.), Optimising New Modes of Assessment: In Search of Quality and Standards (pp. 37-54). Dordrecht: Kluwer Academic Publishers.

Jaspers,  M. & Van Zijl, E. (2011). Kwaliteit van toetsing in het Hoger Onderwijs: Naar een versterkte rol van examencommissies. Tilburg: Dienst Onderwijs en Onderzoek Fontys Hogescholen.

Ramaprasad, A. (1983). On the definition of feedback. Behavioural Science, 28 (1), 4-13.

Sluijsmans, D. (2010). Beoordelen met het oog op de toekomt. Examens, 1, 5-9.

Sluijsmans, D. (2013). Toetsen met leerwaarde. Presentatie tijdens miniconferentie Formatief toetsen, Universiteit Maastricht.

Van der Vleuten, C.P.M., Schuwirt, L.W.T., Driessen, E.W., Dijkstra, J., Tigelaar, D., Baartman, L.K.J., & Van Tartwijk, J. (2012). A model for programmatic assessment fit for purpose. Medical Teaching, 34, 205-214.