Onderzoeksvoorstel

onderzoeksvoorstel

Inleiding

Het onderzoek dat ik wil doen heeft drie aanleidingen, de eerste is dat ik als docent in het HBO constateer dat veel docenten bij het geven van feedback niet of nauwelijks gebruik maken van nieuwe mogelijkheden die door de technologische ontwikkeling mogelijk zijn. Ik doel bijvoorbeeld op de mogelijkheden in (tekstverwerkings)programma’s of online samenwerkingstools om commentaar toe te voegen. Docenten kiezen er vaak toch voor om  het werk van de studenten te printen en te voorzien van handgeschreven opmerkingen. Dit heeft het nadeel dat studenten de feedback vaak nooit te zien krijgen, in het ideale geval wordt het werk in een volgende les teruggegeven, maar vaak belandt het in een algemeen klasse-postvak en haalt een groot deel van de studenten deze niet op Dat beteken dat docenten veel tijd besteden aan feedback, die niet gelezen wordt door studenten. Dat dit niet alleen mijn ervaring is blijkt wel uit andere publicaties. De onderzoekers Hatziapostolou en Paraskasis wijzen er op dat een groot percentage van hun studenten de opdrachten voorzien van feedback niet ophalen (2010)

De tweede aanleiding is dat er steeds minder tijd beschikbaar is voor het geven van goede feedback. Volgens onderzoeker Trevis Barker kost het geven van goede en betekenisvolle feedback kost nu eenmaal veel. En die tijd staat onder druk. Het wordt door schaalvergroting en hogere docent/student ratio’s steeds lastiger om deze feedback op tijd te geven (Barker, 2011). Dit is ook te merken op de HvA, waarbij het management een strakke tijdslimiet geeft voor het nakijken van essays; docenten krijgen 8 minuten nakijktijd per essay van 2000 woorden. Ik maak me daar zorgen over, omdat ik ervaar dat het niet mogelijk is om binnen 8 minuten een student van persoonlijke en betekenisvolle feedback te voorzien, waarmee hij aan de slag kan en zijn essay kan verbeteren.

En dat terwijl feedback essentieel is voor het leerproces van een student. Juist door te zien en begrijpen welke fouten ze hebben gemaakt, kunnen ze hun werk een volgende keer verbeteren. Aocciate professor en onderzoeker Carless van de universiteit van Honkong wijst op een aantal meta-analyses die aantonen dat feedback centraal staat in het leerproces van studenten (Carless, 2006). Ook haalt hij een onderzoek van Hounsell aan die zegt dat studenten sneller en effectiever leren als ze weten hoe goed ze het doen en waar verbetering nodig is (Hounsell, 2003).

De derde aanleiding is dat er binnen de HvA op dit moment wordt gewerkt aan de ontwikkeling van een digitale leer- en werkomgeving, (DLWO). In een adviesrapport van de wetenschappelijke technische raad (WTR), een onafhankelijke adviesorgaan van SURF, wordt een DLWO als volgt gedefinieerd: “Een door een instelling georganiseerd samenstel van digitale diensten ter ondersteuning van activiteiten van studenten, personeel en gasten van een instelling voor hoger onderwijs en onderzoek.” (WTR, 2010)

Deze brede definitie van een DLWO impliceert dat een DLWO diensten biedt die (onderwijs) activiteiten ondersteunen.  Een van die activiteiten is studenten van feedback voorzien. Het is nu al zo dat veel DLWO’s een speciale functionaliteit biedt om studenten feedback te geven. Vaak is dit een annotatie-functionaliteit,  waardoor je opmerkingen kunt toevoegen aan het werk van de studenten. Ook bestaan er aparte softwarepaketten of interndiensten waarmee het geven van feedback vergemakkelijkt of meer gestandaardiseerd wordt, een voorbeeld daarvan is Turnitin.

Ik vermoed dat de problemen bij het geven van feedback op te lossen zijn door een feedbackapplicatie te ontwikkelen die gemakkelijk in het gebruik is en zowel de docent als de student tijd bespaart. Ik wil daarom onderzoeken aan welke eisen zo’n feedbackapplicatie moet voldoen.

Onderzoeksvraag: de student centraal

Vaak worden applicaties ontwikkeld door staf- of ICT diensten van een onderwijsinstelling. Zij denken er dan vaak wel aan docenten te betrekken bij deze ontwikkeling maar vergeten vaak de ander groep gebruikers, de studenten. Door mijn werk als projectmanager van bij Kennisnet, heb ik veel ervaring opgedaan in het ontwikkelen van online omgevingen. Ik ben er van overtuigd dat een applicatie beter wordt wanneer de gebruikers worden geconsulteerd over hun wensen en betrokken worden bij het ontwikkelingsproces. Daarom wil ik beginnen bij de ideeën van de studenten over feedback binnen een digitale leer- en werkomgeving. Mijn onderzoeksvraag luidt dan ook:

Wat zien studenten als belangrijke functionaliteiten van een feedbackapplicatie binnen een digitale leer- en werkomgeving (DLWO)?

Methode
Er is eerder een dergelijk onderzoek uitgevoerd, Barker ontwierp aan de universiteit van Hertfordshire, een  feedback en marking systeem in samenspraak met de eindgebruikers van het programma (Barker, 2011). In vier iteraties leverde hij een feedbackapplicatie op dat in samenspraak met de eindgebruikers was ontwikkeld.

Op een aantal belangrijke punten onderscheidt mijn onderzoek zich van dat van Barker:

Barker nam als uitgangspunt het oude feedbackssysteem van de universiteit.Ik begin niet met een oud systeem, maar wil vanuit een literatuuronderzoek naar feedback starten.

Barker ging als eerste om de tafel met de docenten van de universiteit. Ik ga de studenten eerst betrekken bij dit onderzoek.

Barker heeft door middel van prototyping, deze tool ook echt ontwikkeld, ik ga geen tool ontwikkelen maar een lijst van eisen (requirements) en een paper-prototype (zie methode).

literatuuronderzoek
Om een lijst van eisen (requirement list) op te stellen, doe ik als eerste een  literatuuronderzoek. Wat is er bekend over feedback en e-feedback (feedback binnen een digitale leeromgeving? Ook kijk ik naar bestaande feedbackprogramma’s zoals Turn it in (Turnitin) en de annotatietool van de UVA.

Paper prototyping en realistic evaluation
Het is lastig om studenten te bevragen over hoe zij feedback willen krijgen. Wanneer je dat rechtstreeks vraagt krijg je als onderzoekend docent wellicht niet de antwoorden die je nodig hebt om echt te weten te komen hoe ze het liefste feedback krijgen.

Ik wil dit daarom op de volgende manier aanpakken:
Aan de hand van  literatuuronderzoek stel ik een lijst met voorwaarden vast waaraan een feedbackfunctionaliteit binnen een DLWO zou moeten voldoen. Ik formuleer vervolgens een opdracht voor een aantal studenten die de minor online management volgen (hier leren ze onder andere om online omgevingen in te richten).cZij moeten aan de hand van mijn list of requirements een paper prototype van een feedbackapplicatie te maken.

Deze methodiek is de laatste paar jaar is steeds meer gemeengoed geworden bij het ontwikkelen van softwaresystemen. Auteur van het standaardwerk Software Engineering Sommerville stelt dat paper-prototyping een goedkoop en en zeer effectieve manier is om software prototypes te ontwikkelen.(Sommerville, 2010)

Barker zegt dat een user-centered prototyping benadering binnen complexe domeinen zoals het onderwijs essentieel is om de effectiviteit van het systeem in volledige context te kunnen overzien.(Barker, 2011)

Op basis van de eerste ontwerpen van de studenten, vraag ik de studenten of zij aan het papieren prototype functionaliteiten, die zij graag zien toe kunnen voegen. Deze wijze van onderzoeken is ontleend aan een methodiek die realistic evaluation heet en door Pawson en Tilly duidelijk is beschreen in he gelijknamige boek. Bij realistic evaluation staan kennis en ideeën van de belanghebbende partijen centraal bij het ontwikkelen of verbeteren van programma’s of ideeën. (1997)“ . De onderzoeker toets zijn theorie als het ware aan zijn respondenten. “The researcher’s theory is the subject matter of he interview and the subject (stakeholder) is there to confirm, to falify and, above all, to refine that theory.”

Normaal gesproken gebeurt dit in een interview setting, maar juist de realistische stroming vindt het belangrijk om na te denken over de manier waarop je je respondenten de vragen stelt. In dit onderzoek heb ik ervoor gekozen om de studenten een paper prototype te laten maken omdat, de studenten die ik daarvoor heb uitgekozen, dit leren in hun opleiding en ik denk dat zij op die manier makkelijker kunnen nadenken over het onderwerp. Wanneer je ze vraagt wat ze verwachten van goede feedback in een digitale omgeving verwacht ik geen uitgesproken of oorspronkelijke ideeën, wanneer je het in de context plaatst van hun opleiding denk ik dat ze beter in staat zijn daarover na te denken en met goede ideeen te komen.

Steekproef

Ik heb gekozen voor een purposeful selection, voor het vaststellen van een definitieve onderzoeksvraag heb ik twee presentaties gegeven, een aan een groep studenten en één aan een groep medewerkers (staf en docenten) die lid zijn van de expertisegroep ICT en onderwijs.

De presentatie voor docenten is tijdens een bijeenkomst van het ICT en Onderwijs platform; hier komen docenten en stafleden van de HvA naartoe met een meer dan gemiddelde interesse in en kennis van digitale leer- werkomgevingen.

De studenten die ik vraag om een paper prototype te maken volgen de minor online management. Binnen deze minor speelt paper prototyping een grote rol bij alle opdrachten die e maken.

Zowel de lijst met eisen als het paperprototype worden gepubliceerd op een blog. www.barbaradoetonderzoek.wordpress.nl. Deze blog is openbaar en iedereen die dit wil kan reageren op dit onderzoek, de lijst en de prototype. Ik zal daarnaast ook specifiek mensen uitnodigen om te reageren, ten eerste de studenten en collega’s. Ook breng ik de blog onder de aandacht van Surf Foundation en vraag ik aan een aantal medewerkers van Surf, deskundig op het gebied van E-feedback te reageren.

Aan de hand van de opmerkingen op de blog, wordt het paper prototype nog eenmaal aangepast en de lijst met requirements aangepast en aangevuld. De resultaten van deze paper prototyping sessies kunnen worden gebruikt als input voor de ontwikkelaars van de nieuwe DLWO.

Barker, T. (2011). An Automated Individual Feedback and Marking System: An Empirical Study. Electronic Journal of e-Learning, 9(1), 14.

Carless, D. (2006). Differing perceptions in the feedback process. Studies in Higher Education, 31(2), 219-233.

Hatziapostolou, T., & Paraskakis, I. (2010). Enhancing the Impact of Formative Feedback on Student Learning Through an Online Feedback System. Electronic Journal of e-Learning, 8(2), 111-122.

Hounsell, D. (2003). Student feedback, learning and development. Higher education and the lifecourse, 67-78.

Pawson, R., & Tilley, N. (1997). Realistic evaluation: Sage Publications Ltd.

Sommerville, I. (2010). Software Engineering. Massachusetts: Addison-Wesley.

Turnitin.   Retrieved 07-05-2012, 2012, from http://turnitin.com/

WTR, S. F. (2010). Advies Digitale Studie en werkomgeving: Surf.

Dit bericht is geplaatst in Geen categorie. Bookmark de permalink.

Geef een reactie