(wo)man in the mirror: hoe studenten je feedback niet langer negeren

Door: Martijn Leenknecht (HZ University of Applied Sciences)

Je doet als docent je uiterste best om veel en gedetailleerde, precieze feedback te geven. Het kost je veel tijd en inspanning, maar dit zie je niet direct terug in vooruitgang van studenten. Soms maken ze niet eens die voor de hand liggende verbeteringen. Ze zien het laag hangende fruit niet dat je nochtans op een presenteerblaadje aanreikt. Herkenbaar?

Voor ons in ieder geval wel, en we zijn dan ook de laatste jaren vanuit Platform Leren van Toetsen bezig geweest met de vraag “hoe geef je effectieve feedback?”. Zo onderzochten Marloes van der Stok en Arianne Breure geschreven feedback en zij observeerden veel feed-back, maar weinig feed-up en feed-forward. Kortom, docenten reflecteerden veel op de huidige prestatie, maar benoemden weinig de verwachtingen (feed-up) en verbeterstrategieën (feed-forward).

Iris Böhm vond in haar onderzoek dat studenten vaak niet de intenties van de feedback herkennen. Studenten hadden moeite om opmerkingen die bedoeld waren als feed-up of feed-forward als dusdanig te interpreteren. Deze mismatch tussen docentintentie en studentperceptie beschreven we al eerder in het blog “Leren van toetsen: Docent en student zijn het nog niet eens”.

Een groep Deense onderzoekers (Ellegaard, Damsgaard, Bruun, & Johannsen, 2017) is hier verder ingedoken en zij hebben een gedetailleerde analyse gemaakt van feedbackopmerkingen en de reactie van studenten hierop. Aan de hand van thematische analyse en netwerkanalyse hebben zij (letterlijk) in kaart gebracht waar de mismatch zit tussen feedback en de reactie hierop van studenten (zie figuur 1).

figuur 1 blog man in the mirror

Figuur 1. Feedback-reactie netwerk. Overgenomen uit Ellegaard et al., 2017.

Studenten kregen de opdracht om op het feedbackformulier te reageren op de feedbackopmerkingen van de docent. De onderzoekers hebben allereerst de feedbackopmerkingen gelabeld en daarna ook de reacties van studenten in categorieën ingedeeld.

In het onderzoek wordt onderscheid gemaakt tussen meer formatieve en meer summatieve feedbackopmerkingen. Voorbeelden van formatieve feedbackcategorieën zijn verwonderingsvragen of afvraag-vragen, suggesties voor verbetering, open vragen, precieze vragen en leidende vragen. Lof, mededelingen en correcties zijn feedbackcategorieën die meer summatief van aard zijn.

De reacties die je graag wilt uitlokken bij studenten zijn wat de onderzoekers noemen de ‘reflecties’: reflectie op de feedback, het bespreken en heroverwegen van eigen denkprocessen en het uitleggen van genomen beslissingen. Deze reacties worden significant vaker uitgelokt met open vragen, afvraag-vragen of leidende vragen.

De onderzoekers zagen verder dat studenten verrassend goed waren in het spiegelen van de feedback. Waar open vragen kunnen leiden tot meerdere vormen van reacties, leidde het vaak tot een reflectie op de feedback als de open vraag bedoeld was als uitnodiging om op een bepaald aspect dieper in te gaan. Als met de open vraag naar een specifiek antwoord werd ‘gevist’, resulteerde dit juist in een precies antwoord. Nog belangrijker dan de feedbackvorm (bijv. open vraag), is dus de intentie van de opmerking. Het advies is: stem je (intentie van de) opmerking af op wat je verwacht van de student. Spiegelen dus!

Andere belangrijke conclusies van het onderzoek waren dat uitgebreide feedback vaak leidde tot het negeren van de feedback en dat ‘gewoonten’ ook een rol spelen in de reactie op de feedback. Dat wat gebruikelijk is binnen de opleiding of de cursus en dat wat studenten zien van hun docenten zorgt voor bepaalde ingesleten reactiepatronen. Dus ook hier geldt: spiegelen. Kijk welke feedback je als docent zelf prettig vindt, kort en to-the-point heeft waarschijnlijk ook jouw voorkeur, en wees het goede voorbeeld in hoe je met feedback omgaat.

Interessant onderzoek dus, met een duidelijk advies: Investeer in de feedbackdialoog en maak van feedback een ondubbelzinnige uitnodiging om met de feedback aan de slag te gaan. Dan wordt niet alleen het laaghangende fruit geplukt, maar worden alle vruchten geplukt van jouw feedback(inspanning)!

Referenties
Ellegaard, M., Damsgaard, L., Bruun, J., & Johannsen, B. F. (2017). Patterns in the form of formative feedback and student response. Assessment & Evaluation in Higher Education, 1-18.  

Advertenties

Feedback geven vanuit een groeimindset?

Door: Emmy de Kraker-Pauw (HZ University of Applied Sciences/ Hogeschool Utrecht)

De opvattingen die docenten hebben beïnvloeden hun pedagogische beslissingen en de feedback die ze geven. Deze feedback  beïnvloedt vervolgens het leren en de resultaten van leerlingen (Hattie & Timperley, 2007; Geyskens et al., 2012).

Zou een docent met een growth mindset meer en/of andere feedback geven dan de docent met een fixed mindset?

Even in het kort: in het algemeen zijn er twee uitersten te onderscheiden voor wat betreft opvattingen over de maakbaarheid van intelligentie (Dweck, 1999, 2006): de fixed mindset en de growth mindset. Bij de fixed mindset gaat men ervan uit dat intelligentie een vaststaand gegeven is. Je hebt een bepaalde mate van intelligentie en die verandert niet. Bij een growth mindset daarentegen, wordt ervan uitgegaan dat intelligentie “maakbaar” is. Met andere woorden, intelligentie kan veranderd worden door (veel) te oefenen en door doorzettingsvermogen.

Hoe mooi zou het zijn, als studenten die les krijgen van docenten met een growth mindset, ook growth-gerichte feedback zouden ontvangen en daardoor een growth mindset zouden ontwikkelen. Maar dit lijkt nog niet zo vanzelfsprekend…

In mijn onderzoek (2017) hebben we met behulp van video-observaties gekeken naar de relatie tussen de mindset van docenten (22 docenten Nederlands en wiskunde, klas 2, VMBO) en de feedback die ze geven in de klas.

Growth feedback omvat:

  • persoonlijke complimenten en kritische opmerkingen met betrekking tot wat de leerling doet (“mooi, jij hebt goed geprobeerd om de rijtjes af te maken”), zijn inspanningen, en gekozen strategieën;
  • proces-opmerkingen gericht op hoe het resultaat bereikt is en verbeterd kan worden;
  • vragen die gaan over mogelijke oplossingsmethoden, alternatieven, het verdelen van het vraagstuk in kleinere stapjes, vervolgstappen, en hints (Kamins en Dweck, 2012; Sol en Stokking, 2009).

Fixed feedback omvat:

  • persoonlijke complimenten en kritische opmerkingen over hoe slim/dom/ snel/traag enz. de leerling is (“ jij bent echt slim”, “jij bent nu eenmaal een goede rekenaar”);
  • opmerkingen m.b.t. welk  resultaat bereikt is: goed of fout;
  • opmerkingen waarbij de docent zelf het goede antwoord geeft.

Uit het bovengenoemde onderzoek blijkt dat docenten met een fixed mindset meer feedback geven en vice versa. Met andere woorden, hoe meer “growth” de mindset van de docent, des te minder feedback hij geeft (zie Figuur 1).

figuur blog Emmy
Figuur 1. Samenhang tussen mindset van de docent en de mate waarin de docent feedback geeft. 

Hoe is deze negatieve samenhang te verklaren?
De eerste mogelijke verklaring is, dat docenten met een growth mindset, minder geneigd zijn om hun leerlingen aan te sporen beter te presteren, omdat ze (al) tevreden zijn als een leerling zijn best doet.

Een tweede verklaring is te vinden in het concept van de “false growth mindset”. Dat wil zeggen, dat docenten zelf aangeven dat ze een growth mindset hebben, maar dat deze opvatting niet weerspiegeld wordt in hun feitelijke woorden/feedback (Dweck, 2015). Gunderson en collega’s (2013) vonden in hun onderzoek naar de feedback van ouders, een soortgelijke negatieve samenhang. Hun mogelijke verklaring was dat growth-georiënteerde ouders ervan uitgaan dat kinderen intelligenter kunnen worden. Ze weten echter niet wat voor soort feedback ze moeten geven aan hun kinderen. Ze denken wellicht dat ze het zelfvertrouwen van de kinderen kunnen vergroten door te zeggen hoe slim het kind is. Maar dat is juist een heel “fixed” georiënteerde boodschap: jij bent slim… Dit zou ook het geval kunnen zijn in de dagelijkse praktijk van de schoolklas: de growth gerichte docent geeft onbewust vooral een fixed boodschap aan de leerlingen.

Een derde mogelijke verklaring, vinden we in een onderzoek van Jager en Dennessen (2015). Zij vonden dat het gedrag van de docent ten aanzien van bijvoorbeeld laag-presteerders, grote variaties vertoont, afhankelijk van de individuele leerling. Dat zou kunnen betekenen dat een op growth gerichte docent afhankelijk van de leerling die hij voor zich heeft, toch minder feedback geeft.

Kortom
De relatie tussen mindset en feedback is complex. Niet alleen de mindset van de docent speelt een rol tijdens de interacties in de klas, maar uiteraard ook die van de leerling. Want leerlingen hebben verschillende mindsets, en zullen ook verschillend reageren op de feedback die ze ontvangen. Waar de één na een onvoldoende roept: “ik doe niks meer aan dit vak, ik kan het toch niet”, zal de ander misschien een tandje bijzetten: “als ik het anders aanpak, lukt het de volgende keer vast wel”). Het is daarom belangrijk dat docenten zich bewust zijn van hun eigen mindset (meer growth of meer fixed), van het type feedback dat ze overwegend geven en van de mindsets van de leerlingen. Als zij vervolgens weten hoe ze growth feedback kunnen geven aan hun leerlingen, zal dit de effectiviteit van het leerproces van hun leerlingen verhogen.

Emmy de Kraker-Pauw is als onderwijskundige en docent werkzaam bij HZ University of Applied Sciences, en als opleidingsmanager en onderzoeker bij Hogeschool Utrecht. Ze is onderzoeker bij het lectoraat “Onderwijsexcellentie primair onderwijs” (HZ) en “Onderwijsbehoeften in de inclusieve leeromgevingen” (HU).  Ze werkt aan haar proefschrift bij de VU, waarbij de focus ligt op genderverschillen in het gedrag en leren van adolescenten, met een speciale interesse voor onbewuste opvattingen en het denken over maakbaarheid van intelligentie (growth en fixed mindset). 

 

Hoe geef je niet effectieve feedback?

Door: Martijn Leenknecht (HZ University of Applied Sciences)

We vragen ons vaak af wanneer feedback effectief is, maar misschien levert het omdraaien van de vraag wel nóg meer inzichten op. Dat is in ieder geval wat een groep vooraanstaande Australische toets- en feedbackexperts dacht. Zij stelden zichzelf de vraag: Hoe geef je niet effectieve feedback? De resultaten van hun brainstorm hebben ze beschreven op hun projectpagina Feedback for Learning.

Ze kwamen samen uit op 8 punten die feedback ineffectief maken. Dat levert verrassende ‘adviezen’ op, die je aan het denken zetten. Neem ‘advies’ nummer 7:

Schiet blind met ‘feedbackhagel’ op de studenten

Of zoals de groep experts het verwoordt en illustreert (zie cartoon): pak je feedbackkanon en vuren maar! Als je veel feedback geeft, zullen studenten er vast iets aan hebben. Dat deze wetmatigheid niet op gaat, spreekt voor zich. Bovendien spreekt hieruit een docent-gecentreerde kijk op feedback: het is de taak van de docent om feedback te geven. Meer en meer komen we echter tot de conclusie dat feedback geen gunst is van een docent voor de studenten, maar feedback is een proces van uitwisseling en begrip. Feedback is pas effectief als deze is afgestemd op de student en zo wordt aangeboden dat de student deze kan begrijpen én kan toepassen. Of zoals Dylan Wiliam (2011, p. 4) dit beschrijft: “Information does not become ‘feedback’ unless it is provided within a system that can use that information to affect future performance”.

Feedbackcannon

Figuur 1. Illustratie bij ‘advies’ 7: het feedbackkanon

En als je dan weet dat het gaat om een feedbackdialoog en begrip kweken bij studenten, neem dan vooral (niet) het volgende ‘advies’ ter harte:

Wees een held en besteed zoveel mogelijk tijd aan het geven van feedback!

Je weet dan in ieder geval zeker dat je het niet volhoudt… Zoek dus liever naar manieren waarop je studenten kunt voorzien van persoonlijke feedback, waarbij inzet en opbrengst in balans zijn. Daarbij is de docent niet per definitie de persoon die de feedback geeft. Zet vooral ook studenten zelf in als bron voor eigen feedback of peer feedback. Bedenk dus ook goed vooraf, tijdens het ontwerpen van je onderwijs, hoe, wanneer, en hoe vaak je momenten inbouwt dat studenten feedback kunnen verzamelen (zie ook ‘advies’ 6). Wees daarin vooral ook slim en zorg dat je juist feedback geeft op momenten dat studenten nog gebruik kunnen maken van feedback (zie ook ‘advies’ 3).

Een klassieker is wat mij betreft ook ‘advies’ 4:

Ga er van uit dat studenten je feedback niet lezen

“Waarom zou ik er zoveel tijd in stoppen, studenten lezen mijn feedback toch niet…”. Je hoort docenten nog wel eens klagen over het gebrekkige gebruik van feedback door studenten. Dat studenten hier zelf anders over denken, beschreef ik al in het blog Leren van toetsen: Docent en student zijn het nog niet eens. Ook de Australische onderzoeksgroep vond in hun onderzoek onder ruim 3000 studenten dat de meerderheid van de studenten juist wél aangeeft de feedback te gebruiken. Is het dan ook niet veel interessanter om je af te vragen waarom studenten jouw feedback moeten lezen..?

Het project van de groep onderzoekers uit Australië loopt nog een aantal jaren door en op hun website plaatsen ze updates en opbrengsten van het project. Zo kan je al lezen wat de resultaten waren van hun onderzoek naar feedbackpercepties van studenten en docenten. De komende jaren werken ze aan het verzamelen van good practices en proberen ze de vraag te beantwoorden hoe effectieve feedbackpraktijken kunnen worden ingezet in het hoger onderwijs. Houd hun pagina dus in de gaten!

Referenties
Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evaluation, 37, 3-14.

Zo laat je je studenten lessen trekken uit krachtige feedback met D-PAC

Door: Alexia Deneire (Universiteit Antwerpen)

‘Het lijkt er dus op dat het vergelijkend beoordelen potentie heeft’, oordeelt Martijn Leenknecht in zijn blog “De kracht van beoordelingscriteria (deels) ontkracht” over deze alternatieve aanpak om competenties te beoordelen. Helemaal juist. Beoordelen zonder beoordelingscriteria kan prima. Meer nog: het verloopt vrij eenvoudig en leidt tot een betrouwbaar en valide oordeel. Maar hoe zit het precies met de leerwaarde van dergelijke beoordelingen, is één van de vragen die worden gesteld in het blog van Martijn Leenknecht. In hoeverre kan comparatief beoordelen een bijdrage leveren aan het leren van de student? Wel, daar kan ik jullie meer over vertellen. In één zin samengevat: comparatief beoordelen levert krachtige (peer) feedback op. Zo leert ons eigen onderzoek én getuigen diverse gebruikers uit het hoger onderwijs.

D-PAC maakt comparatieve beoordeling mogelijk
In 2014 ontwikkelden we met ons team het Digitaal Platform voor het Assessment van Competenties, afgekort als D-PAC. Dat platform werkt vanuit de principes van comparatief beoordelen (ook wel: paarsgewijze vergelijking). Dit betekent dat je als beoordelaar het werk van je studenten niet langer op zich beoordeelt, maar steeds in vergelijking met een willekeurig ander werk. Bij elk paar geef je aan welk product je beter vindt in het licht van de te beoordelen competentie. En je werkt in teamverband: elk werk wordt door meerdere beoordelaars, dus verschillende keren beoordeeld. Het eindresultaat van het beoordelingsproces is geen cijfer, maar een betrouwbare en valide rangorde van de beoordeelde werken1,2. D-PAC nodigt je als beoordelaar uit om feedback te schrijven bij het werk van je studenten. De feedback-module van D-PAC biedt zo extra leerkansen voor jouw studenten.

Leer meer over D-PAC in deze introductievideo: https://player.vimeo.com/video/215619748

Hoger onderwijs omarmt comparatieve beoordeling met D-PAC
Vooral het hoger onderwijs reageert enthousiast op de diverse mogelijkheden van D-PAC. Meer dan 50 opleidingen in Vlaanderen en Nederland maakten al kennis met de voordelen van comparatief beoordelen via D-PAC. De opdrachten en het format van die opdrachten zijn erg gevarieerd. Beoordelaars buigen zich over essays, rapporten en zelfreflecties van studenten, maar ook afbeeldingen, video en geluidsfragmenten passeren de revue. Uit onderzoek blijkt dat een gemiddelde van 12 vergelijkingen per werk al een voldoende betrouwbaarheid oplevert van .70. Of je 12 vergelijkingen veel vindt hangt er natuurlijk wat van af. Het vergelijken gaat immers snel en de vergelijkingen worden verspreid over meerdere beoordelaars. Gedeeld werk maakt licht werk, toch? Studenten in het hoger onderwijs ervaren deze manier van beoordelen trouwens als eerlijk en geloofwaardig3.

Leren van toetsen? Eén formule: vergelijken + feedback = inzicht
Docenten in het hoger onderwijs gebruiken onze tool voornamelijk voor formatieve doeleinden (o.a. via peer assessment). Dat kan perfect dankzij de feedback-module van D-PAC. Destijds gewoon als extraatje binnen het platform uitgebouwd, maar duidelijk een schot in de roos. Bij elke vergelijking die je als beoordelaar maakt, krijg je de gelegenheid om sterke punten en werkpunten te noteren bij beide werken (figuur 1). Je hoeft daarbij niet alle beoordelingscriteria te overlopen; benoemen wat er voor jou het meest uitspringt volstaat.

figuur 1 D-PAC
Figuur 1. Comparatief beoordelen: bij elke vergelijking feedback noteren

Groot voordeel voor je studenten is dat de feedback die ze aan het einde van de rit krijgen erg rijk is. De feedback is namelijk afkomstig van meerdere beoordelaars, die met een steeds wisselende (en evoluerende) blik naar de werken kijken (figuur 2). De rijke D-PAC-feedback biedt ruim kansen voor leren en ontwikkeling.

figuur 2 D-PACFiguur 2. Toegevoegde waarde van comparatief beoordelen: rijke feedback, van meerdere beoordelaars

Ook de positie die hun werk in de finale rangorde van de beoordeelde werken krijgt, is trouwens verrijkend voor de studenten (figuur 3). Elk van je studenten ziet in één oogopslag waar zijn of haar werk zich bevindt ten opzichte van dat van medestudenten. Achteraf kan je als docent in groep (anoniem) die werken bespreken die zich aan de top van of net onderaan de rangorde bevinden. Deze confrontatie met werk van anderen kan zo bij je studenten tot (nieuwe) inzichten leiden: wat wordt er van hen verwacht en waarom is een bepaald product van betere kwaliteit?

figuur 3 D-PACFiguur 3. Bespreek met je studenten hun werk in functie van de positie in de rangorde.

D-PAC en peer assessment gaan hand in hand
Ruim één op drie beoordelingen met D-PAC in het hoger onderwijs zijn peer assessments. Ook studenten kunnen elkaar een spiegel voor houden en D-PAC leent er zich als tool uitermate goed voor (Lees er gerust onze blog ‘Goed nieuws vanuit slechtnieuwscommunicatie’ op na.).

We weten uit eigen onderzoek en getuigenissen inmiddels al heel wat over comparatieve peer assessments. Even de belangrijkste inzichten op een rij:

  • Zelfs al zijn studenten (nog) geen expert, ze kunnen vaak prima inschatten of een ander de opdracht goed of minder goed heeft uitgevoerd. Werken onderling vergelijken en de beste aanduiden is eenvoudig, er is dus geen uitvoerige instructie of training vooraf vereist.
  • Tijdens het beoordelen krijgen ze tal van voorbeelden te zien die onderling variëren in kwaliteit. Vele voorbeelden verschaffen volop inspiratie. Het zien van het werk van anderen stimuleert reflectie over het eigen werk.
  • Studenten ervaren het platform als een ‘veilige’ omgeving: het beoordelen verloopt er geheel anoniem. Niemand weet welk werk van wie is.
  • Het geven van feedback aan medestudenten helpt bij het expliciteren van kwaliteitscriteria4.
  • Studenten in vergelijking met standaard peer assessment eerder focussen op criteria van hogere orde.
  • De feedback die studenten van hun peers ontvangen vinden ze rijk en waardevol3. Studenten aanvaarden de resultaten, doordat ze vertrouwen hebben in elkaars bekwaamheid. En ze zijn bereid om er ook effectief iets mee te doen, net doordat ze ook zelf feedback gaven (en verwachten dat dit peers aanzet tot reflectie en actie).

Geboeid?
Met ons team verrichten we onderzoek naar de kwaliteit van comparatief beoordelen via D-PAC. Voor meer wetenschappelijke achtergrond, raadpleeg onze publicaties via de website: www.d-pac.be.

Wil je de tool graag zelf eens uittesten, neem dan contact op via d-pac@uantwerpen.be.

Of kom gewoon naar ons D-PAC event op 15 en 16 november in Antwerpen (inschrijven via de website)!

Bronnen

  1. Pollitt, A. (2012). Comparative judgement for assessment. International Journal of Technology and Design Education, 22(2), 157-170.
  2. Van Daal, T., Lesterhuis, M., Coertjens, L., Donche, V., & De Maeyer, S. (2016). Validity of comparative judgement to assess academic writing: Examining implications of its holistic character and building on a shared consensus. Assessment in Education: Principles, Policy & Practice, 1-16. doi:10.1080/0969594X.2016.1253542
  3. Mortier, A., Lesterhuis, M., Vlerick, P., & De Maeyer, S. (2015). Comparative judgement within online assessment: Exploring students feedback reactions. Proceedings of Communications in Computer and Information Science 571, 69-79.
  4. Sluijsmans, D., Dochy, F., & Moerkerke, G. (1998). Creating a learning environment by using self-, peer-and co-assessment. Learning Environments Research, 1(3), 293-319.

De andere kant van feedback: Hoe studenten omgaan met feedback

In aanloop naar het symposium Leren van Toetsen: Van visie naar feedbackcultuur introduceren de experts de thema’s waarmee we aan de slag gaan. In dit blog nemen Jorik Arts (Fontys Hogescholen) en Kim Dirkx (Open Universiteit) ons mee in het thema De andere kant van feedback: Hoe studenten omgaan met feedback.  

Komt het onderstaande voorbeeld jou ook bekend voor?

‘Dit is echt niet oké’, hoorde ik mijn collega onlangs verzuchten. ‘Die student snapt totaal niet waar hij mee bezig is’, ging hij verder. Mijn collega was een tweede versie van een verslag door aan het nemen. Toen ik vroeg wat er aan de hand was vertelde mijn collega dat hij vond dat hij heel duidelijke feedback gegeven had op de eerste versie van het verslag en bovendien een gesprek met de student had gehad. En nu leek het er op dat de student alleen maar ‘de ballonnetjes’ had weggewerkt. Bovendien maakte de student vorig jaar bij een andere opdracht precies dezelfde fouten. Dat kon toch niet de bedoeling zijn van het geven van feedback, mopperde mijn collega.

Zoals bovenstaand voorbeeld zijn er in de praktijk legio voorbeelden te vinden van situaties waarin de feedback niet het gewenste effect heeft. Aan de andere kant roepen we met z’n allen dat feedback een o zo krachtig leerinstrument is…. De vraag die je jezelf dan gaat stellen is: wat is er aan de hand met het geven en ontvangen van feedback? Wat gaat er fout bij het geven van feedback?

Is feedback altijd effectief?
Uit onderzoek blijkt dat feedback inderdaad een enorm krachtig leerinstrument kan zijn. Het is echter ook een leerinstrument waarbij de opbrengsten zeer uiteen lopen (Hattie & Timperley, 2007; Kluger & Denisi, 1996). Blijkbaar is het belangrijk hoe (i.e., gedetailleerd; gericht op wat beter kan; ook positieve punten benoemen) en wanneer (i.e., vlak na het werken aan een opdracht; met voldoende tijd voor aanpassingen) feedback precies wordt ingezet. Ondanks vele richtlijnen, blijkt het daadwerkelijk in praktijk brengen van effectieve feedback toch nog steeds heel moeilijk en complex (Arts, Jaspers, & Joosten-ten Brinke, 2016). Daarnaast speelt de bereidheid van studenten om de feedback te gebruiken een enorm grote rol. Het blijkt dan ook dat lang niet alle feedback effectief is.

Feedback zou meer gericht moeten zijn op een cyclisch proces
Vaak wordt feedback per opdracht en per module gegeven (zie figuur 1) en wordt er weinig gestuurd op het gebruik van feedback in navolgende opdrachten of modules. Eén van de belangrijkste factoren voor effectieve feedback is misschien wel om feedback meer als een cyclisch proces te zien (zie figuur 2).figuur 1 blog Kim en Jorik figuur 2 blog Kim en JorikFiguur 1. Module georiënteerde feedback          Figuur 2. Proces georiënteerde feedback

De definitie van feedback die Boud en Molloy (2013) hanteren, sluit daar mooi bij aan:

“Feedback is a process whereby learners obtain information about their work in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work.”

Hoe brengen we dit in praktijk?
In de themasessie: de andere kant van feedback tijdens het symposium Leren van Toetsen: van visie naar feedbackcultuur willen we ingaan op vragen als “Hoe en wanneer willen studenten graag feedback ontvangen? Welke feedback gebruiken studenten wel/ welke niet? “Hoe komen we vanuit model 1 naar model 2?”.

Deze en andere vragen zullen we tijdens de themasessie samen met elkaar bespreken aan de hand van inzichten uit de literatuur met als doel te komen tot aanbevelingen voor het geven van effectieve feedback die door studenten daadwerkelijk gebruikt wordt.

thema 3bHet symposium Leren van Toetsen: Van visie naar feedbackcultuur vindt plaats op vrijdagmiddag 2 juni aanstaande in Rotterdam. Heb je een vraag die aansluit bij Thema 3: De andere kant van feedback? Laat je vraag achter via een reactie op dit bericht! Ook als je niet kunt aansluiten bij het symposium is je input meer dan welkom! 

Wil je meer lezen? Bekijk dan ook het blog Leren van toetsen: docent en student zijn het nog niet eens van Martijn Leenknecht of De docent maakt het verschil, ook bij feedback van Ank Jansen.  

Referenties
Arts, J. G., Jaspers, M., & Joosten-ten Brinke, D. (2016). A case study on written comments as a form of feedback in teacher education: so much to gain. European Journal of Teacher Education, 39(2), 159-173.

Boud, D., & Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698-712.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112.

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.

 

Leren van toetsen: Docent en student zijn het nog niet eens

Door: Martijn Leenknecht (HZ University of Applied Sciences)

In elk onderzoek dat ik voorbij zie komen over percepties van (leren van) toetsen valt het me weer op: docenten en studenten zijn het vaak niet met elkaar eens. De docenten denken dat ze veel oog hebben voor feedback en leren van toetsen, maar studenten herkennen dit niet. Anderzijds vinden studenten dat ze feedback goed verwerken, maar docenten zijn juist van mening dat studenten de feedback negeren. Kortom, de percepties komen niet bepaald overeen.

Een mooi voorbeeld is het onderzoek van Mulliner en Tucker uit 2016. Zij legden 194 studenten en 26 docenten van de School of Built Environment uit Liverpool en vragenlijst voor over feedback. De meest in het oog springende verschillen vonden zij bij de categorie vragen over betrokkenheid en interesse in feedback. Waar 50 tot 70 procent van de docenten vond dat studenten feedback niet of nauwelijks lezen en gebruiken, vond juist 75 tot 90 procent van de studenten dat ze dit altijd of vaak doen.

Ook in eigen land wordt onderzoek gedaan naar percepties van feedback en formatief toetsen. Christel Wolterick en collega’s onderzochten de inzet van formatief toetsen aan de hand van de vijf strategieën van Black en Wiliam (2009). Het onderzoek vond plaats op 15 scholen, onder 434 docenten en 515 leerlingen. Opvallend resultaat bij dit onderzoek is dat docenten gemiddeld een stuk positiever zijn over de inzet van de strategieën dan de leerlingen. Vooral de frequentie van klassikale discussies en het gelegenheid bieden voor het stellen van vragen wordt door docenten hoger ingeschat dan door de leerlingen.

Iris Böhm onderzocht afgelopen jaar namens het Platform Leren van Toetsen de interpretatie van feedback door studenten. Alle 48 hbo-studenten gaven hun interpretatie van negen feedbackopmerkingen. Drie van deze opmerkingen waren bedoeld als feed-up, drie als feed-back, en drie als feed-forward. Feed-back werd het vaakst herkend zoals het was bedoeld, maar feed-up en feed-forward bleken moeilijker ter herkennen voor studenten. De opmerkingen die als feed-up waren bedoeld werden zelfs in 55 procent van de gevallen als feed-forward geïnterpreteerd.

Allemaal leuk en aardig, maar wat zeggen deze onderzoeken ons? Waarom kijken we naar percepties van leren van toetsen? Het gaat er ons niet om dat studenten per se weten of kunnen benoemen wat docenten aan het doen zijn in didactiek en het geven van feedback. Veel belangrijker is het dat studenten reageren op wat een docent doet. We willen dat studenten gaan leren en gaan verbeteren. Dan maakt het toch niet uit hoe ze de situatie percipiëren?

Toch wel, deze onderzoeken onderstrepen volgens mij juist het belang van het kijken naar percepties! De onderzoeken benadrukken dat feedback niet altijd overkomt zoals die is bedoeld. Feedback en toetspraktijken waarvan wij denken dat die aanzetten tot leren, doen dit wellicht niet. Inzicht in hoe studenten feedback en leren van toetsen percipiëren kan ons dan helpen om de toetsen en feedback aan te passen op zo’n manier dat studenten wel met de resultaten en feedback aan de slag gaan. Als we bovendien feedback niet zien vanuit het model van de docent als zender en student als ontvanger maar juist als een dialoog, dan ontstaat er ruimte om verkeerde interpretaties van studenten direct recht te zetten. Kortom, inzicht in en aandacht voor studentpercepties helpt ons juist om leren van toetsen in praktijk te brengen!

 

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21, 5-31. doi:10.1007/s11092-008-9068-5

Mulliner, E., & Tucker, M. (2016). Feedback on feedback practice: perceptions of students and academics. Assessment & Evaluation in Higher Education, 42, 266-288. doi:10.1080/02602938.2015.1103365

De docent maakt het verschil, ook bij feedback

Door: Ank Jansen (docent Hogeschool Rotterdam)

Het was een wake-up-call, dat onderzoek van mij. Natuurlijk weet ik uit het onderzoek van Hattie (2014) dat de docent een belangrijke rol speelt in het leer- en dus feedbackproces van de student, maar zo belangrijk?

De afgelopen maanden heb ik bij de opleiding Communicatie (Hogeschool Rotterdam) onderzocht wat studenten belangrijk vinden bij het ontvangen van feedback. Wanneer ervaren ze feedback als positief en wanneer als negatief? En wanneer gaan ze er nu werkelijk mee aan de slag? Samen met Martijn Leenknecht (HZ University of Applied Sciences) schreef ik hierover een eerdere blog, waarin we stelden dat een positieve toon een voorwaarde is voor goede feedback, net als toelichting op de feedback.

communicatie

Maar wat vinden onze studenten? De docent maakt het verschil! Allereerst door autoriteit te zijn in het vakgebied. In hun ogen betekent dat vooral dat een docent boven de lesstof staat doordat hij praktijkervaring heeft. De studenten staan meer open voor feedback van iemand tegen wie ze opkijken. Ze gaan ook eerder aan de slag met de feedback, omdat ze bij een autoriteit hun beste beentje voor willen zetten. Zo’n docent geeft veel praktijkvoorbeelden, vertelt over de eigen werkervaring en geeft voorbeelden zodat het denkproces van de student geactiveerd wordt. De docent legt ook goed uit.

Daarnaast heeft een docent invloed op het feedbackproces door een goede werkrelatie te hebben. Hierdoor geeft de docent de student zelfvertrouwen en motivatie. Dit kan een docent doen door individuele aandacht te geven, tijd te maken voor vragen en te enthousiasmeren voor de cursus die hij geeft. De docent moet als het ware ‘ambassadeur’ zijn van de cursus, dus de cursus die een docent geeft moet ook echt bij hem passen.

Ook de toon van de feedback speelt een rol. De studenten bij de opleiding Communicatie willen graag een positief kritische toon, die hen aan de ene kant het vertrouwen geeft dat ze de opdracht aankunnen en aan de andere kant eerlijk en realistisch is. Fout is immers fout. Pas dan weten ze hoe ze hun werk kunnen verbeteren. Afkraken, alleen maar zeggen wat er niet goed is, zonder uitleg en zonder aan te geven wat wel goed gaat, is uit den boze. Onze stelling uit de vorige blog dat een positieve toon een voorwaarde is voor goede feedback wordt hiermee bevestigd.

Natuurlijk geven de studenten ook aan dat ze willen weten wat ze wel en niet goed gedaan hebben en waarom. Ook de toelichting op de feedback vinden de Communicatie studenten dus belangrijk. Maar het feedbackproces start op het moment dat docent en student elkaar leren kennen. Als een docent dan zijn autoriteit laat zien en zijn interesse in de student toont, dan legt hij daarmee de basis voor een vruchtbare werkrelatie die voorwaarde is voor een effectief feedbackproces.

Ank Jansen is docent bij de opleiding Communicatie van de Hogeschool Rotterdam. Zij voerde dit verkennende onderzoek uit onder 11 studenten. Vijf studenten zijn net voor én na een les met geplande feedback geïnterviewd, zodat duidelijk werd wat ze bij dit specifieke feedbackgesprek belangrijk vinden. De vragen waren gericht op een werkelijke situatie om sociaal wenselijke antwoorden te voorkomen. Zes studenten deden mee aan een focusgroep bijeenkomst om de resultaten uit de interviews te toetsen en verrijken. Het volledige onderzoeksrapport is op te vragen via janan@hr.nl.

Hattie, J. A. (2014). Leren zichtbaar maken. Bazalt Educatieve Uitgaven.