Students in Motion: proeftuin voor trends

Voor Surf Magazine schreef ik deze column.

Students in Motion: proeftuin voor trends

Binnen veel opleidingen wordt nagedacht en geëxperimenteerd met blended learning, vaak voorzichtig en rustig aan omdat het eerst maar eens moet blijken dat het werkt: technisch, didactisch, procedureel. Een webcollege hier, een online toetsje daar. Om begrijpelijke redenen is het vaak moeilijk om radicale vernieuwingen in een keer op grote schaal door te voeren.

Bij het project Students in Motion (SIM) wordt op grotere schaal geëxperimenteerd met nieuwe technologische mogelijkheden. Ieder jaar zetten meer dan tweeduizend eerstejaars studenten van vijf verschillende opleidingen van De Hogeschool van Amsterdam, de stad in beweging. De studenten werken in gemengde teams aan opdrachten om een Amsterdamse ambachtelijke ondernemer te helpen bij het op kaart zetten van zijn onderneming. Bijvoorbeeld door een prototype te maken, een social-mediastrategie op te zetten, een nieuw design ontwikkelen of een app te ontwikkelen.

Intelligente algoritmes
In de teams zijn studenten van alle vijf de opleidingen vertegenwoordigd, zo kunnen ze kennis maken met elkaar en werken aan multidisciplinaire opdrachten. Daarnaast is het ook fijn als de studenten tenminste één teamgenoot kennen, maar hoe krijg je dat voor elkaar? Dat gebeurt bij met een hiervoor speciaal ontwikkeld algoritme. De student vult een aantal persoonlijke gegevens in en logt in met zijn Facebookaccount. De student kiest dan uit drie matching teams, waar hij een goede aanvulling in vormt. Zo worden de ‘ideale teams’ samengesteld.

Op pad met GPS
Soms moet je buiten gebaande paden treden om studenten iets te leren. Een van de opdrachten die studenten krijgen, is om bestemming te bereiken door een kortere route te lopen dan de GPS van je smartphone dat aangeeft. De studenten worden door een app van SIM ‘getrackt’ om dit te ‘kunnen bewijzen’. Achterliggende doelen zijn: studenten laten nadenken over vertrouwen in technologie en hun digitale sporen. Zo wordt technologie ingezet om te leren over de impact ervan.

Dat is pas flipping de classroom
De Students in Motion week wordt afgesloten met een bijeenkomst waarbij alle 70 coaches in de grootste collegezaal zitten met hun laptop en iedere docent contact heeft met zijn eigen groep via Google Hang Outs. Af en toe wordt één van de hangouts op het grote scherm geprojecteerd: studenten thuis achter hun bureau, hangend op de bank of zelfs nog in bed, docenten in de collegezaal, dat is pas flipping the classroom.

Online portfolio en gamification
Om de resultaten van de teams zichtbaar te maken, werken ze aan een online portfolio in een WordPressomgeving. Elke opdracht heeft een ‘tegel’ waarachter de resultaten te zien zijn, waarmee studenten badges scoren. Zo kent de leeromgeving ook een competitief element. WordPress is binnen de creatieve sector momenteel een belangrijk platform. Kijk voor de resultaten van 2015 op http://www.studentsinmotion.nl.

Geplaatst in Geen categorie | Een reactie plaatsen

Jumping to conclusions

De afgelopen tijd heb ik me flink verdiept in de problemen die studenten ondervinden bij het verrichten van onderzoek, ik heb me gefocust op de knelpunten in de conclusies van de onderzoeksrapporten. Uit een diepgaande analyse van 35 onderzoeksrapporten van derdejaars studenten kwamen 37 veelvoorkomende knelpunten in beeld.
knelpunten-in-conclusies-van-onderzoeksrapporten.
Deze knelpunten heb ik gekoppeld aan kwaliteitscriteria voor het verrichten van onderzoek en gebruikt om richtlijnen te op te stellen.
richtlijnen-voor-het-schrijven-van-de-conclusie-van-een-ontwerpgericht-praktijkgericht-onderzoeksrapportRichtlijnen voor het schrijven van de conclusie van een ontwerpgericht praktijkgericht onderzoeksrapport

Wil je het hele onderzoeksverslag lezen:jumpingtoconclusions_devilee

Samenvatting

Studenten van het afstudeerprofiel Redactie en Mediaproductie (RMP), onderdeel van de opleiding Media, Informatie en Communicatie (MIC) van de Hogeschool van Amsterdam (HvA) hebben grote moeite met het schrijven van goede conclusies in hun onderzoeksrapporten. Uit een inventarisatie van de documenten van de opleiding blijkt dat het de studenten ontbreekt aan duidelijke instructies voor het schrijven van een conclusie. Dit is niet alleen een probleem voor de studenten, ook voor docenten zijn een duidelijke definitie van en eisen aan de conclusie van belang. Zij moeten immers in staat zijn om studenten hierin adequaat te begeleiden.

Dit gebrek aan eisen voor een conclusie blijkt een hiaat in het onderzoeksvaardighedenonderwijs van de opleiding en ook in de literatuur over onderzoeksmethodologie. Doel van dit onderzoek is om een complete, consistente en eenduidige instructie ten aanzien van de inhoud, de structuur en de kwaliteit van conclusies van ontwerpgericht praktijkgericht onderzoek op te stellen.

Hiervoor is een duidelijke definitie van een conclusie onontbeerlijk. Aan de hand van de eerste uitkomsten van dit onderzoek is deze als volgt geformuleerd: De conclusie is het antwoord op de probleemstelling dat aan de hand van een synthese van onderzoeksresultaten wordt gegeven en waarin wordt uitgelegd op welke wijze het antwoord bijdraagt aan de doelstelling van het onderzoek.

Uit de gefundeerde theorie-analyse van onderzoeksrapporten van studenten en uit interviews met docenten Onderzoek is gebleken dat de geïdentificeerde knelpunten in de conclusies van onderzoeksrapporten in sterke mate samenhangen met andere onderdelen van hun onderzoek. De kwaliteit van de conclusie hangt sterk af van de kwaliteit van het gehele onderzoeksproces. Ook konden alle knelpunten in de conclusies gekoppeld worden aan zes veelvoorkomende fouten in een onderzoeksproces zoals Oost (2002) deze beschrijft. Oost koppelt de zes veelvoorkomende fouten aan zes kwaliteitscriteria voor het gehele onderzoeksproces. De kwaliteitscriteria voor de conclusie zijn daarom afgeleid van de criteria van Oost: controleerbaar, vakkundig, betrouwbaar, logisch, valide en adequaat. Daarnaast is gesteld dat kwaliteitscriteria voor ontwerpgericht praktijkgericht onderzoek niet afwijken van die voor theoriegericht onderzoek, maar dat deze wel een specifieke uitwerking hebben. Dit heeft te maken met het verschil in doel- en vraagstelling tussen theoriegericht onderzoek en ontwerpgericht praktijkgericht onderzoek. De vraag- en doelstelling van theoriegericht onderzoek zijn gericht op het verwerven van (meer) kennis over een bepaald onderwerp, terwijl vraag- en doelstelling van praktijkgericht onderzoek gericht is op de oplossing van een specifiek veldprobleem. Dat is van invloed op de functie van de conclusie. De conclusie van ontwerpgericht praktijkgericht onderzoek is gericht op het aantonen van de bruikbaarheid en toepasbaarheid van de oplossing voor een specifiek probleem. Op basis van de uitkomsten van dit onderzoek konden de eisen aan de conclusie met betrekking, inhoud, structuur en kwaliteit vastgesteld worden.

Geplaatst in conclusie, Onderzoek, onderzoeksvaardigheden | Een reactie plaatsen

Rebel with a cause

 “Wij moeten studenten niet alleen de vaardigheden voor een toekomstig beroep aanleren maar ze altijd de vraag laten stellen wat er nog beter kan. We moeten studenten opleiden tot competente rebellen.”

 Louise Gunning-Schepers, voorzitter van het College van Bestuur van de HvA

jamesdean_red_jacket-1

De laatste paar jaar is er veel te doen over de kwaliteit van het hoger beroepsonderwijs in Nederland. De kranten en opiniebladen staan bol van de kritiek. Deze kritiek komt van onderwijskundigen, docenten en onderzoekers en van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO), maar ook van buiten het onderwijs van ouders, politici, ondernemers en werkgevers.

Een probleem dat herhaaldelijk wordt aangekaart is dat het hbo studenten niet goed genoeg zou voorbereiden op de toekomstige samenleving. Het onderwijs brengt studenten, zo is de kritiek, niet de kennis, vaardigheden en houding bij die ze nodig hebben om als professional te kunnen functioneren in een snel veranderende samenleving.

Veel onderwijscritici pleiten voor meer vrijheid voor docenten en studenten om hun eigen leerroute en leerdoelen te bepalen. Voorbeelden zijn Sir Ken Robinson en Andy Hargreaves die pleiten voor meer ruimte voor creativiteit in het onderwijs. In Nederland hebben zij navolging van onder andere ondernemer Claire Boonstra. Zij heeft de beweging Operation Education opgericht, waarmee ze streeft naar ruimte voor en aansluiting bij de diversiteit van de talenten, motivaties, leerstijlen en levensfilosofieën van verschillende individuen. Zij zoekt naar kansen om individuen via een natuurlijke leerweg voor te bereiden op de wereld van vandaag en morgen en bij te dragen aan welzijn en vooruitgang (Boonstra 2012).

De aanname is hier dat kwaliteit van onderwijs gelijk staat aan het goed voorbereiden van studenten op een rol in de samenleving van morgen.

Wat zijn de kenmerken van een student die optimaal is voorbereid op zijn toekomstige rol inde samenleving.  Over welke kwaliteiten beschikt een competente rebel? In de zoektocht naar een antwoord hierop, heb ik mij laten inspireren door de openingsrede van de Dymph van den Boom. Zij is rector magnificus UVA en lid raad van toezicht HvA en sprak op de 381e dies Natalis van de UvA (8 januari 2013) de volgende wens voor het nieuwe jaar uit:

Ik zou willen dat onze studenten ‘competente rebellen’ worden. Rebellen in de intellectuele zin van het woord. Omdat er nog te veel geaccepteerde dogma’s zijn die ter discussie gesteld moeten worden en, indien nodig, vervangen, als we het erover eens zijn dat de huidige staat van de wereld een knoeiboel is en dat op zijn minst sommige van onze foutieve denkwijzen ons daar gebracht hebben.

Maar om een succesvolle rebel te zijn, moet je over de noodzakelijke competenties beschikken om de geaccepteerde dogma’s overboord te kunnen gooien. We moeten de woorden van onze meesters niet alleen wantrouwen, maar ook over de kennis en vaardigheid beschikken om ze te kunnen vervangen door betere alternatieven, als we van deze wereld een betere wereld willen maken(van den Bom 2013)

 

Geïnspireerd door deze rede , heb ik aan de hand daarvan geprobeerd me een voorstelling te maken van hoe een competente rebel eruit ziet.

Een competente rebel combineert een open en nieuwsgierige houding met een honger naar kennis. Hij ziet onzekerheden als kansen en door zijn kritische en analytische denkvermogen is hij creatief en innovatief. Hij aanvaardt daarbij dat alle kennis tijdelijk is en ziet in dat zelf-lerend en zelf-reflecterend vermogen belangrijke kwaliteiten zijn om jezelf in de toekomst te blijven ontwikkelen. Hij werkt met toewijding aan zijn eigen, voortdurende ontplooiing. Hij proactieve houding die hij effectief kan inzetten om zich aan een snel veranderende, complexe maatschappij aan te passen en deze te verbeteren.

Als we de rebel in de studenten naar boven willen halen, moeten we daar in het onderwijs expliciet aandacht aan besteden. Ik geef vier concrete aanbevelingen om competente rebellie te stimuleren.
1. Besteed aandacht aan zelflerend vermogen
Besteed in het competentieprofiel , in het onderwijs en in de toetsing aan zelflerend vermogen. Dit kan door een gedragsindicator toe te voegen aan de competentie professioneel handelen: neemt verantwoordelijkheid voor zijn eigen leerproces en kan zelf de middelen en mensen verzamelen die nodig zijn een om nieuwe dingen te leren. Tan geeft in (Boud & Falchikov 2007) aan dat self-assessment bijdraagt aan het ontwikkelen van kritische denkvermogen, zelfgestuurd leren en de verantwoordelijkheidsgevoel voor leren. Het maakt studenten meer bewust van hun eigen houding en leervermogen waardoor meer vertrouwen krijgen om de verantwoordelijkheid te nemen voor hun eigen leerproces. Robinson and Udall beschrijven in (Boud & Falchikov) een methode waarin interactieve leergesprekken tussen studenten en hun tutor worden gecombineerd met self-assessment en kritische reflectie. Door deze leergesprekken worden studenten aangemoedigd tot eigenaarschap van en autonomie ten aanzien van hun eigen leerproces.

2. Stimuleer competente rebellie binnen de coachingsbijeenkomsten
Zet de coachingsbijeenkomsten veel meer in om de studenten te stimuleren tot kritisch en analytisch denken en tot zelfreflecterend en zelflerend vermogen. Veel studenten hebben nu nog een passieve houding tijdens deze lessen. Ze nemen plaats en denken “kom maar op met die les”, terwijl zij zelf het voortouw zouden moeten nemen. Dat vraagt een verandering van houding van de studenten en een andere mindset van de coaches. Svinicky en McKeachy (2011) geven een aantal praktische tips om studenten actief te laten denken en participeren:

Geef de studenten vaak en veel de mogelijkheid om te oefenen met kritisch denken. Bevraag ze tijdens de coachingsbijeenkomsten op de ideeën die ze hebben voor het advies en laat ze voor- en nadelen benoemen van deze ideeën. Laat ze ook nadenken over mogelijke alternatieven.

Zorg dat iedere vraag van een student de mogelijkheid biedt voor de groep studenten om hier een antwoord op te vinden. Geef dus niet meteen zelf het ‘juiste’ antwoord maar stimuleer de discussie.

Vraag de studenten hun eigen bijdragen te beoordelen, om zo autonomie, zelfreflectie en zelflerend vermogen te stimuleren. Dit kan het beste door  ze hun eigen werk te laten beoordelen en daar feedback op te geven.

3. Beoordeel niet alleen het product maar ook het proces

Beoordeel het werk van de studenten niet alleen op product maar ook op proces, zorg dat de beoordeling voor een substantieel deel gebaseerd is op de actieve deelname aan de coachingsbijeenkomsten. Doe dit niet alleen op groepsniveau maar ook op individueel niveau.

Ion en Cano heven aan dat het observeren van het gedrag een effectieve methode is om de competenties van de studenten binnen te toetsen. Dit kan open, door de observatie te delen met de studenten en ze zo direct van feedback te voorzien of met behulp van een checklist of beoordelingsmatrix. De eerste manier geeft de studenten ook meteen de kans om op hun eigen gedrag te reflecteren en dit indien wenselijk aan te passen. Een combinatie van open en gesloten observatie zou een goede manier zijn om de studenten gedurende het proces te toetsen.

4. Geef studenten verantwoordelijkheid

Geef studenten de mogelijkheid om zelf mee te  bepalen wat de doelen van en criteria van de opdracht zij. Zo krijgen ze meer verantwoordelijkheid voor hun eigen leerproces en  nemen ze een actievere rol in hun eigen leerproces aan.

Geplaatst in competente rebel, Onderwijsvisie, Toetsing | Een reactie plaatsen

inkijkje in de opleidingscultuur van RMP

Voor de module visies op leren en doceren heb ik een cultuurschets gemaakt van de opleiding waar ik zelf als docent werk.
Onderstaande tekst geeft een klein inkijkje in deze cultuur.

 

Benno Premsela huis

Wanneer je over de mooie natuurstenen trap de hal van het Benno Premselahuis binnenloopt, ben je onder de indruk: door de grote brede trappen, hoge plafonds en ramen heeft het gebouw een robuuste en krachtige uitstraling. Het pand dat eind jaren veertig van de vorige eeuw als kantoor voor de Raad van de Arbeid is gebouwd wordt sinds 2007 gebruikt door de Hogeschool van Amsterdam voor het aanbieden van hoger beroepsonderwijs. Op deze locatie wordt de opleiding Media, Informatie en Communicatie aangeboden: hier worden studenten voorbereid op arbeid. Daarmee draagt de uitstraling van het Benno Premselahuis bij aan de cultuur van de opleidingen die er gehuisvest zijn.

De verdiepingen van het gebouw zijn open ingericht, met brede gangen en scheidingswanden van gekleurd glas. Overal zijn zitjes gecreëerd: zitbanken. Daar zit altijd wel een student in overleg met een docent: bijvoorbeeld over een afstudeeropdracht.

Thalita is vierdejaars student RMP en heeft net haar stage op de redactie van het tv-programma ‘Echt Scheiden’ (Endemol Nederland Mediagroep) met succes afgerond. Nu is ze gevraagd langer te blijven voor de redactie van ‘Het spijt me’. Thalita is dolenthousiast en zou niets liever willen dan ingaan op dit aanbod. Om geen studievertraging op te lopen, moet ze echter zo snel mogelijk beginnen aan haar afstudeeropdracht. Ze vraagt haar studieloopbaanbegeleider, meneer Walstra advies. Hij zegt dat full time werken bij een tv-programma niet te combineren is met een afstudeeropdracht. “Je wilde toch graag je afstudeeropdracht voor een evenementenbureau doen omdat je die kant van het beroep ook wilde leren kennen?” “Dat is waar”, zegt Thalita, “alleen ik krijg nu wel een kans en ik vind Endemol een erg leuk bedrijf, ik zou daar erg graag willen werken later.“ Meneer Walstra: “Als ze echt zo tevreden over je zijn, is het dan niet mogelijk je te laten introduceren bij de evenemententak van Endemol? Die hebben ze vast. Wie weet hebben zij wel een onderzoeksopdracht voor je.”

Een week later komt Thalita bij meneer Walstra om te vertellen dat ze een interessante opdracht heeft, ze mag een onderzoek doen naar de sociale-media-strategie voor ‘Talentkitchen’, de afdeling evenementen van Endemol. “Is dit een opdracht waarop ik zou kunnen afstuderen?” “Dat klinkt als een prima mogelijkheid die aansluit bij je ervaringen van je minor en je stage. Begin maar met een afstudeervoorstel.”

Dit inkijkje in de begeleiding van de studenten bij RMP laat zien dat het beroepsperspectief een belangrijke rol speelt bij de begeleiding van de studenten. Ze worden opgeleid om een goede en geschikte plek te vinden op de arbeidsmarkt: een baan waarin ze hun talenten kunnen gebruiken en waar ze zich op hun plek voelen zodat ze zich verder kunnen ontwikkelen.

 

Geplaatst in Onderwijsvisie | Een reactie plaatsen

Een nieuw jaar, nieuwe kansen, nieuw onderzoek.

Het is al weer een tijdje bezig het nieuwe academische jaar. Het eerste tentamen voor het vak visies op leren en docenten zit er al op. Het is nog even afwachten wat de uitslag is, maar het ging niet slecht al zeg ik het zelf.

De eerste onderzoeksopdracht is ook al weer binnen en daarvoor heb wederom ik de hulp van collega’s, studenten en afgestudeerde studenten nodig. Ik doe onderzoek naar wat wij nu precies willen meegeven aan de studenten tijdens de opleiding Media, Informatie en Creatie. Klinkt vaag en ik houd het ook een beetje vaag, anders werken de vragenlijsten niet meer.

Die staan overigens hier en moeten nog even gecheckt worden op typo’s en andere rarigheden. Dus ik ga nu proberen twee proefrespondenten te charteren.

vragenlijst studenten

vragenlijst docenten

Geplaatst in Geen categorie | Een reactie plaatsen

Aanpassingen aan het onderzoeksvoorstel

Ik heb her en der wat feedback ontvangen, dank daarvoor. (soms per mail… is het principe van een blog niet duidelijk 😉 ?..Deze feedback heeft me aanleiding gegeven om mijn voorstel aan te passen.

Een eerste aanpassing komt eigenlijk voort uit planmatige overwegingen. De studentengroep waar ik mijn respondenten uit wil werven heeft al vakantie! De periodes van de VU lopen duidelijk niet synchroon met de HvA. Ik kan mijn onderzoek dus niet meer binnen een lesuur doen, sterker nog om nu nog studenten bij elkaar te krijgen voor een panelgesprek/les, waar ze geen studiepunten meer voor krijgen is aan de optimistische kant. De oplossing heb ik al wel bedacht, in plaats van een les, stel ik een vragenlijst op met open vragen, die kan ik mailen naar studenten. Voor het paper prototype maken heb ik een online tool gevonden, gridpapr.com, daar kan ik mijn basis prototype opzetten en door de respondenten laten aanvullen en wijzigen. Ik ga de meewerkende studenten denk ik ook belonen met een bioscoopbon of een iTunes tegoedbon of iets dergelijks.
En ik ga nu ook de ideeën verzamelen van de andere groep eindgebruikers, de docenten. Zij werken in ieder geval nog een maand door en ik heb al een paar collega’s bereid gevonden mee te werken. Bovendien is het juist wel heel interessant om te zien of de opvattingen en ideeën over feedback tussen docenten en studenten heel erg afwijken. Stel dat het nu helemaal niet lukt om studenten mee te laten werken, dan heb ik in ieder geval de ideeën van de docenten nog, en natuurlijk het literatuuronderzoek

Daarnaast werd ik door Heleen erop gewezen dat feedback verschilt per opdracht verschilt en daar heeft ze helemaal gelijk in. Voor dit onderzoek richt ik mij op feedback op een projectrapport/onderzoeksrapport dat studenten opstellen voor het maken van nieuw format voor een mediaproduct, bijvoorbeeld een website of een televisieprogramma. Dit is een veel voorkomende opdracht binnen de opleiding MIC, dus kunnen zowel docenten als studenten zich een voorstelling maken van de feedback die daarop gegeven kan worden. Bovendien gaat bestaand wetenschappelijk onderzoek naar feedback erg vaak over feedback op spelling, taalvaardigheid en het schrijven van essays of papers. Ik heb nu pagina’s aangemaakt voor de verschillende paragrafen (zie menu bovenaan) van het onderzoeksverslag, daarop zet ik de laatste versie en daarop werk ik het ook bij, anders zie je waarschijnlijk binnenkort door de blogposts het blog niet meer.

Geplaatst in Onderzoek | Een reactie plaatsen

Onderzoeksvoorstel

onderzoeksvoorstel

Inleiding

Het onderzoek dat ik wil doen heeft drie aanleidingen, de eerste is dat ik als docent in het HBO constateer dat veel docenten bij het geven van feedback niet of nauwelijks gebruik maken van nieuwe mogelijkheden die door de technologische ontwikkeling mogelijk zijn. Ik doel bijvoorbeeld op de mogelijkheden in (tekstverwerkings)programma’s of online samenwerkingstools om commentaar toe te voegen. Docenten kiezen er vaak toch voor om  het werk van de studenten te printen en te voorzien van handgeschreven opmerkingen. Dit heeft het nadeel dat studenten de feedback vaak nooit te zien krijgen, in het ideale geval wordt het werk in een volgende les teruggegeven, maar vaak belandt het in een algemeen klasse-postvak en haalt een groot deel van de studenten deze niet op Dat beteken dat docenten veel tijd besteden aan feedback, die niet gelezen wordt door studenten. Dat dit niet alleen mijn ervaring is blijkt wel uit andere publicaties. De onderzoekers Hatziapostolou en Paraskasis wijzen er op dat een groot percentage van hun studenten de opdrachten voorzien van feedback niet ophalen (2010)

De tweede aanleiding is dat er steeds minder tijd beschikbaar is voor het geven van goede feedback. Volgens onderzoeker Trevis Barker kost het geven van goede en betekenisvolle feedback kost nu eenmaal veel. En die tijd staat onder druk. Het wordt door schaalvergroting en hogere docent/student ratio’s steeds lastiger om deze feedback op tijd te geven (Barker, 2011). Dit is ook te merken op de HvA, waarbij het management een strakke tijdslimiet geeft voor het nakijken van essays; docenten krijgen 8 minuten nakijktijd per essay van 2000 woorden. Ik maak me daar zorgen over, omdat ik ervaar dat het niet mogelijk is om binnen 8 minuten een student van persoonlijke en betekenisvolle feedback te voorzien, waarmee hij aan de slag kan en zijn essay kan verbeteren.

En dat terwijl feedback essentieel is voor het leerproces van een student. Juist door te zien en begrijpen welke fouten ze hebben gemaakt, kunnen ze hun werk een volgende keer verbeteren. Aocciate professor en onderzoeker Carless van de universiteit van Honkong wijst op een aantal meta-analyses die aantonen dat feedback centraal staat in het leerproces van studenten (Carless, 2006). Ook haalt hij een onderzoek van Hounsell aan die zegt dat studenten sneller en effectiever leren als ze weten hoe goed ze het doen en waar verbetering nodig is (Hounsell, 2003).

De derde aanleiding is dat er binnen de HvA op dit moment wordt gewerkt aan de ontwikkeling van een digitale leer- en werkomgeving, (DLWO). In een adviesrapport van de wetenschappelijke technische raad (WTR), een onafhankelijke adviesorgaan van SURF, wordt een DLWO als volgt gedefinieerd: “Een door een instelling georganiseerd samenstel van digitale diensten ter ondersteuning van activiteiten van studenten, personeel en gasten van een instelling voor hoger onderwijs en onderzoek.” (WTR, 2010)

Deze brede definitie van een DLWO impliceert dat een DLWO diensten biedt die (onderwijs) activiteiten ondersteunen.  Een van die activiteiten is studenten van feedback voorzien. Het is nu al zo dat veel DLWO’s een speciale functionaliteit biedt om studenten feedback te geven. Vaak is dit een annotatie-functionaliteit,  waardoor je opmerkingen kunt toevoegen aan het werk van de studenten. Ook bestaan er aparte softwarepaketten of interndiensten waarmee het geven van feedback vergemakkelijkt of meer gestandaardiseerd wordt, een voorbeeld daarvan is Turnitin.

Ik vermoed dat de problemen bij het geven van feedback op te lossen zijn door een feedbackapplicatie te ontwikkelen die gemakkelijk in het gebruik is en zowel de docent als de student tijd bespaart. Ik wil daarom onderzoeken aan welke eisen zo’n feedbackapplicatie moet voldoen.

Onderzoeksvraag: de student centraal

Vaak worden applicaties ontwikkeld door staf- of ICT diensten van een onderwijsinstelling. Zij denken er dan vaak wel aan docenten te betrekken bij deze ontwikkeling maar vergeten vaak de ander groep gebruikers, de studenten. Door mijn werk als projectmanager van bij Kennisnet, heb ik veel ervaring opgedaan in het ontwikkelen van online omgevingen. Ik ben er van overtuigd dat een applicatie beter wordt wanneer de gebruikers worden geconsulteerd over hun wensen en betrokken worden bij het ontwikkelingsproces. Daarom wil ik beginnen bij de ideeën van de studenten over feedback binnen een digitale leer- en werkomgeving. Mijn onderzoeksvraag luidt dan ook:

Wat zien studenten als belangrijke functionaliteiten van een feedbackapplicatie binnen een digitale leer- en werkomgeving (DLWO)?

Methode
Er is eerder een dergelijk onderzoek uitgevoerd, Barker ontwierp aan de universiteit van Hertfordshire, een  feedback en marking systeem in samenspraak met de eindgebruikers van het programma (Barker, 2011). In vier iteraties leverde hij een feedbackapplicatie op dat in samenspraak met de eindgebruikers was ontwikkeld.

Op een aantal belangrijke punten onderscheidt mijn onderzoek zich van dat van Barker:

Barker nam als uitgangspunt het oude feedbackssysteem van de universiteit.Ik begin niet met een oud systeem, maar wil vanuit een literatuuronderzoek naar feedback starten.

Barker ging als eerste om de tafel met de docenten van de universiteit. Ik ga de studenten eerst betrekken bij dit onderzoek.

Barker heeft door middel van prototyping, deze tool ook echt ontwikkeld, ik ga geen tool ontwikkelen maar een lijst van eisen (requirements) en een paper-prototype (zie methode).

literatuuronderzoek
Om een lijst van eisen (requirement list) op te stellen, doe ik als eerste een  literatuuronderzoek. Wat is er bekend over feedback en e-feedback (feedback binnen een digitale leeromgeving? Ook kijk ik naar bestaande feedbackprogramma’s zoals Turn it in (Turnitin) en de annotatietool van de UVA.

Paper prototyping en realistic evaluation
Het is lastig om studenten te bevragen over hoe zij feedback willen krijgen. Wanneer je dat rechtstreeks vraagt krijg je als onderzoekend docent wellicht niet de antwoorden die je nodig hebt om echt te weten te komen hoe ze het liefste feedback krijgen.

Ik wil dit daarom op de volgende manier aanpakken:
Aan de hand van  literatuuronderzoek stel ik een lijst met voorwaarden vast waaraan een feedbackfunctionaliteit binnen een DLWO zou moeten voldoen. Ik formuleer vervolgens een opdracht voor een aantal studenten die de minor online management volgen (hier leren ze onder andere om online omgevingen in te richten).cZij moeten aan de hand van mijn list of requirements een paper prototype van een feedbackapplicatie te maken.

Deze methodiek is de laatste paar jaar is steeds meer gemeengoed geworden bij het ontwikkelen van softwaresystemen. Auteur van het standaardwerk Software Engineering Sommerville stelt dat paper-prototyping een goedkoop en en zeer effectieve manier is om software prototypes te ontwikkelen.(Sommerville, 2010)

Barker zegt dat een user-centered prototyping benadering binnen complexe domeinen zoals het onderwijs essentieel is om de effectiviteit van het systeem in volledige context te kunnen overzien.(Barker, 2011)

Op basis van de eerste ontwerpen van de studenten, vraag ik de studenten of zij aan het papieren prototype functionaliteiten, die zij graag zien toe kunnen voegen. Deze wijze van onderzoeken is ontleend aan een methodiek die realistic evaluation heet en door Pawson en Tilly duidelijk is beschreen in he gelijknamige boek. Bij realistic evaluation staan kennis en ideeën van de belanghebbende partijen centraal bij het ontwikkelen of verbeteren van programma’s of ideeën. (1997)“ . De onderzoeker toets zijn theorie als het ware aan zijn respondenten. “The researcher’s theory is the subject matter of he interview and the subject (stakeholder) is there to confirm, to falify and, above all, to refine that theory.”

Normaal gesproken gebeurt dit in een interview setting, maar juist de realistische stroming vindt het belangrijk om na te denken over de manier waarop je je respondenten de vragen stelt. In dit onderzoek heb ik ervoor gekozen om de studenten een paper prototype te laten maken omdat, de studenten die ik daarvoor heb uitgekozen, dit leren in hun opleiding en ik denk dat zij op die manier makkelijker kunnen nadenken over het onderwerp. Wanneer je ze vraagt wat ze verwachten van goede feedback in een digitale omgeving verwacht ik geen uitgesproken of oorspronkelijke ideeën, wanneer je het in de context plaatst van hun opleiding denk ik dat ze beter in staat zijn daarover na te denken en met goede ideeen te komen.

Steekproef

Ik heb gekozen voor een purposeful selection, voor het vaststellen van een definitieve onderzoeksvraag heb ik twee presentaties gegeven, een aan een groep studenten en één aan een groep medewerkers (staf en docenten) die lid zijn van de expertisegroep ICT en onderwijs.

De presentatie voor docenten is tijdens een bijeenkomst van het ICT en Onderwijs platform; hier komen docenten en stafleden van de HvA naartoe met een meer dan gemiddelde interesse in en kennis van digitale leer- werkomgevingen.

De studenten die ik vraag om een paper prototype te maken volgen de minor online management. Binnen deze minor speelt paper prototyping een grote rol bij alle opdrachten die e maken.

Zowel de lijst met eisen als het paperprototype worden gepubliceerd op een blog. www.barbaradoetonderzoek.wordpress.nl. Deze blog is openbaar en iedereen die dit wil kan reageren op dit onderzoek, de lijst en de prototype. Ik zal daarnaast ook specifiek mensen uitnodigen om te reageren, ten eerste de studenten en collega’s. Ook breng ik de blog onder de aandacht van Surf Foundation en vraag ik aan een aantal medewerkers van Surf, deskundig op het gebied van E-feedback te reageren.

Aan de hand van de opmerkingen op de blog, wordt het paper prototype nog eenmaal aangepast en de lijst met requirements aangepast en aangevuld. De resultaten van deze paper prototyping sessies kunnen worden gebruikt als input voor de ontwikkelaars van de nieuwe DLWO.

Barker, T. (2011). An Automated Individual Feedback and Marking System: An Empirical Study. Electronic Journal of e-Learning, 9(1), 14.

Carless, D. (2006). Differing perceptions in the feedback process. Studies in Higher Education, 31(2), 219-233.

Hatziapostolou, T., & Paraskakis, I. (2010). Enhancing the Impact of Formative Feedback on Student Learning Through an Online Feedback System. Electronic Journal of e-Learning, 8(2), 111-122.

Hounsell, D. (2003). Student feedback, learning and development. Higher education and the lifecourse, 67-78.

Pawson, R., & Tilley, N. (1997). Realistic evaluation: Sage Publications Ltd.

Sommerville, I. (2010). Software Engineering. Massachusetts: Addison-Wesley.

Turnitin.   Retrieved 07-05-2012, 2012, from http://turnitin.com/

WTR, S. F. (2010). Advies Digitale Studie en werkomgeving: Surf.

Geplaatst in Geen categorie | Een reactie plaatsen

Geen blackbox

 

Sociaalwetenschappelijk onderzoek lijkt altijd te gebeuren in de periferie van de samenleving. Alleen wanneer een onderzoeker zijn data verzamelt, komt hij of zij nog wel eens achter de computer vandaan. De analyse van de data lijkt alleen te gebeuren in het hoofd van de onderzoeker en in samenspraak met andere onderzoekers.

Wanneer het onderzoek in een wetenschappelijk tijdschrift gepubliceerd wordt, lezen vooral andere wetenschappers het en dat terwijl er vaak goede en bruikbare aanbevelingen uit voort zouden kunnen komen voor de praktijk. Zo vindt onderzoek plaats in een blackbox, je stopt er data in en er komt een publicatie uit, maar hoe de analyse tot stand is gekomen en vooral waarom het onderzoek belang kan hebben in de ‘echte’ wereld, blijft vaak onduidelijk.
Dat is de reden dat ik mijn onderzoek voor mijn premasterhese op een blog publiceer. Niet wanneer deze af is, alle foutjes er uit gehaald zijn en er een mooi kant- en klaar leesbaar onderzoeksverslag ligt, maar juist vanaf het begin: vanaf de worsteling met de onderzoeksvraag tot en met het aanscherpen van de conclusies.
Naast een onderzoeksverslag volgen ook aanbevelingen en een paper proto-type, maar daarover later meer.

Geplaatst in Onderzoek | Een reactie plaatsen

Aanleiding voor het onderzoek en onderzoeksvraag

De onderzoeksvraag waar ik mee startte, luidde op welke manier vinden studenten dat de opleiding Media, Informatie en Communicatie Learning Analytics zouden moeten inzetten om hun leer- en studieprestaties door middel van positieve en begeleidende interventies te verbeteren?
Ik zocht naar voorbeelden van het gebruik van learning analytics en kwam er al snel achter dat hoger onderwijs organisaties die Learning analytics inzetten, een dashboard gebruiken om de resultaten van de analyse te visualiseren.

Erik Duval hield daar een interessante keynote over op de Onderwijsdagen 2012.

Bij sommige universiteiten in de Verenigde Staten zijn ze al wat verder met de inzet van Learning Analytics, een voorbeeld daarvan is het Signals project van Purdue University.

Omdat ik zelf in een vorige baan projectmanager ben geweest bij Kennisnet ICT op school weet ik veel over het ontwerp van digitale omgevingen. Met name de rol van de eindgebruiker van de omgeving heb ik altijd onderbelicht gevonden. Over het algemeen is het ontwerp er voordat er ook maar een woord is gewisseld met die eindgebruiker, op zijn best wordt er een test gedaan met de gebruikers va de omgeving. Ik ben een groot voorstander van User Centered Design, een ontwerpproces waarbij de gebruiker actief betrokken wordt. Vandaar mijn keuze om studenten actief te betrekken bij het ontwerpproces van dashboard met resultaten van de learning analytics.

Om antwoord te vinden op een vraag maakte ik een presentatie over Learning Analytics en gaf deze aan een groep derdejaars studenten die momenteel de minor online management volgen en liet ik mijn gehoor na afloop een dashboards met widgets tekenen om er op die manier achter te komen hoe zij zien dat Learning Analytics hun leerproces kan verbeteren. Dezelfde presentatie gaf ik aan een groep docenten en stafleden van de expertisegroep ICT en Onderwijs, ook hen liet ik widgets tekenen.

Een interessante gemene deler in de ontwerpen van deze twee groepen was, dat ze niet zo zeer geïnteresseerd waren in de mogelijkheden die (geautomatiseerde) analyse van online gedrag of bekende data opleverde maar vooral in hoe je binnen een digitale leerwerkomgeving de feedback op een effectieve manier kan organiseren, al dan niet op basis van data-analyses. Meerdere mensen uit het gehoor tekenden een widget die te maken had met het geven of ontvangen van feedback.

Een digitale leer- werkomgeving kent zeer veel verschillende functionaliteiten en onderdelen. De focus van dit onderzoek ligt op de mogelijkheden die een DLWO kan bieden aan docenten om hun studenten op effectieve en efficiënte wijze van feedback te voorzien op werkstukken.

Alhoewel ik zowel het perspectief van de studenten als de docenten interessant vind, en alhoewel er een keur van werkstukken mogelijk is, beperk ik me voorlopig, omwille van de tijd, tot de wensen van de studenten ten aanzien van feedback op geschreven werkstukken. De wensen van de docenten breng ik op een ander moment in kaart. De mogelijkheden om feedback te geven op andersoortige opdrachten laat ook even op zich wachten.

De onderzoeksvraag luidt dan ook: op welke manier willen studenten binnen een digitale leer- werkomgeving feedback krijgen op geschreven werkstukken?

Ik laat de studenten zelf via paper-prototyping een feedback app ontwerpen, maar meer hierover later in mijn post over de methode.

 

 

Geplaatst in Learning Analytics, Onderzoek | Een reactie plaatsen

Doceren en studeren

Naast mijn werk als docent aan opleiding media- informatie en communicatie (HvA), zit ik zelf ook weer in de collegebanken. Aan de VU volg ik de master Teaching and Learning in Higher Education. Ik word opgeleid tot onderzoekend docent en doe vooral onderzoek dat bijdraagt aan innovatie en verbetering van de onderwijspraktijk.

Mijn interesses  liggen met name bij E-learning, online samenwerkend leren en learning analytics, kortom  alles wat met een digitale leer- en werkomgeving (DLWO) te maken heeft.

Het treft dat de HvA momenteel werkt aan een nieuwe DLWO, dat geeft mij de kans om de keuzes die daarin worden gemaakt als onderzoeker op de voet te volgen, en misschien zelfs wel een beetje te beïnvloeden.

Voor dit onderzoek heb ik jouw hulp nodig. Het onderzoekswerk en de rapportage doe ik uiteraard zelf maar ik weet zeker dat met feedback uit het werkveld en van studenten mijn werk beter wordt. Deze manier van werken komt binnen de wetenschap vaker voor, papers worden voorgelegd aan andere wetenschappers die deze peer reviewen. Ik wil graag commentaar van de mensen voor wie ik het onderzoek doe,  van jou dus. Natuurlijk mag je er met een wetenschappelijke bril naar kijken maar ik heb ook behoefte aan feedback uit het werkveld.

Alvast bedankt voor je hulp.

Barbara

 

Geplaatst in Geen categorie | Een reactie plaatsen