Com sabeu, Delfi i jo estem revisant el sistema d’avaluació del MOOC. Ens vam reunir el mes passat per fer-hi canvis. Coursera té una eina molt útil que permet veure com han funcionat les activitats d’avaluació una per una: quantes persones van fallar el primer intent del test i quina opció havien marcat en aquest cas, què va passar amb el segon intent… D’aquesta manera, t’adones fàcilment que hi ha preguntes que, si tothom encerta, pot ser fins i tot redundant preguntar, per innecessari i obvi. En altres casos, si més de la meitat dels estudiants han fallat el primer intent (i tens repartides el 50% de respostes entre dues opcions), pot ser que no quedi clara la diferència entre les dues respostes, ni per què és correcta o incorrecta. Aquí, cal: a) revisar que la pregunta estigui ben formulada, b) revisar que estigui ben explicat al vídeo i als tests, c) si això està ben fet i, precisament, interessa aquesta pregunta perquè és vegi la diferència subtil entre les dues opcions que els estudiants trien, és bo afegir una pista o un raonament de per què és incorrecta aquella opció un cop l’alumne l’ha triada. També seria convenient justificar, de la mateixa manera, la resposta correcta. Això és el que hem mirat. Jo he participat en la presa de decisions i he supervisat el procés, però a qui he d’agrair la tasca de reformulació i de revisió de les preguntes és a la Delfi.
Així, no només ens hem limitat a afegir les preguntes del mòdul 5 nou al MOOC, sinó que estem fent una revisió a fons de la de la resta de mòduls i ho fa Delfi com a organitzadora. Així també hi ha una certa homogeneïtat quant al tipus i al funcionament de les preguntes, que si deixàvem en mans dels diferents docents es perdia. Segons la nostra experiència, les preguntes obertes no van funcionar bé (les que demanen a l’estudiant que escrigui una paraula) i durant la primera edició en vam haver de suprimir dues, que no van comptar per a la nota final. Ara són tot preguntes tancades.
Sabeu que també es pot optar per preguntes a mitjan vídeo o al final. Les vam situar totes al final i l’experiència ha estat positiva. De fet, no hi va haver problemes destacables amb els tests més enllà de la pregunta que féiem a cada mòdul: has participat a l’activitat obligatòria del fòrum? Si l’alumne no hi entrava des de la barra en què es veu el seguiment del curs, podia saltar-se-la i, malgrat que vam posar un avís a la pàgina d’entrada a la plataforma i ho recordàvem al correu setmanal, hi seguia havent persones que no es recordaven de contestar a temps aquesta pregunta malgrat que afirmaven haver participat al fòrum. De totes maneres, a partir de la segona edició, participar al fòrum no és obligatori i no hi ha activitats que hi hagin de fer perquè, després que 21.000 estudiants haguessin contestat el mateix, el debat s’encallava i, en canvi, no hi va haver problemes de manca de participació, precisament.
L’any passat teníem entre 5 i 6 vídeos obligatoris per mòdul, més els optatius. Cada vídeo, uns 7 minuts. Total: 6 mòduls (enguany 5, un és nou, els altres dos estem fent consultes per si podem penjar-los al dipòsit de la UB en obert, perquè eren d’història de l’art i de literatura i, com sabeu, hem fet canvis en la concepció del MOOC). Cada vídeo obligatori, una pregunta d’avaluació i una setmana per contestar-la (en vam deixar un, l’inicial, sense). Hi havia 5 activitats obligatòries als fòrums (ara suprimides): una per mòdul, tret del mòdul de literatura, que comptava amb un exercici de redacció (P2P).
Enguany triplicarem el nombre de preguntes preparades per als tests. El curs passat, l’alumne tenia tres oportunitats per contestar correctament el test, sense que restés a la nota final per intent. La pregunta era la mateixa per a tothom (teníem una pregunta preparada per vídeo) i, encara que fallés, seguia apareixent-hi la mateixa pregunta. Tres intents. A la segona edició, no només hem revisat les preguntes, sinó que en lloc d’haver-ne una de preparada per vídeo, n’hi ha tres. Havíem pensat que, cada vegada que fallés, sortiria marcada la resposta correcta i l’oportunitat nova comportaria contestar una pregunta nova (cadascuna, quatre respostes possibles). Els intents, fins a tres, no resten. Després, no n’hi ha més. Aquestes preguntes estan pensades sobretot per aprendre, encara que comptin per a l’avaluació. Les preguntes apareixen de forma aleatòria: no les veu en el mateix ordre l’estudiant A que l’estudiant B. Si la resposta correcta és la primera, ja no veurien la pregunta 2 i 3 preparades per al mateix vídeo. Totes són sobre conceptes clau i per reforçar l’enfocament històric i acadèmic del curs, basat en la documentació i amb la voluntat de deslliurar-nos de prejudicis sobre l’època medieval, l’astronomia i fins i tot els inquisidors. Hi ha aclariments per a respostes incorrectes que poden suscitar dubtes. Aquesta era la nostra idea, ara us explicaré més avall què estem debatent sobre aquest tema.
A més de les preguntes-test, la segona edició constarà de dos P2P, un comentari sobre una imatge i un sobre documentació història. L’un al mòdul 3, l’altre al 6. Les preguntes-test es poden contestar sense un termini setmanal, durant aquella edició i abans que comenci la següent. Després de cada activitat de redacció (el curs passat els alumnes en van demanar més), que compta per fer (i per revisar), enviarem una de les cartes-fita (milestones), que substitueixen les cartes setmanals. Volem veure si un alumne que fa dues setmanes que no hi entra pot rebre algun avís que el torni a motivar, de totes maneres. És un tema que hem de remenar.
Enguany el curs representarà una millora substancial quant a pedagogia, aspectes tècnics i organització/enfocament. Hem estat polint tots aquests aspectes. A més, per al canvi de modalitat: hi afegirem materials pedagògics per a l’autoaprenentatge, sobretot als mòduls que presentaven un repte per a l’estudiant perquè no en coneixien els conceptes de base (el mòdul 4, per exemple, sobre alquímia al món islàmic): cronologies, vocabulari wiki, esquemes, apunts… Encara hi hem de treballar. Recursos en línia complementaris per a cada mòdul. Encara està verd. Hem contractat una persona per als materials. Es tracta de millorar l’autoaprenentatge, mentre que en un curs ininterromput (pensat perquè duri uns quants anys) no podem mantenir altres serveis presencials: l’any passat hi havia 7 xats setmanals amb un especialista (català/castellà/anglès), dues tutories en anglès com a Hangout amb vídeo al Youtube (igual, pel mateix motiu, tot i que no descartem fer-ne una cada sis mesos). Els vídeos setmanals contestant als dubtes dels fòrums seran els del curs passat, basats en els 21.000 estudiants que hi teníem matriculats.
Evidentment, fer-se càrrec d’un MOOC requereix estar al dia i el panorama canvia molt i ràpid, així que ens podeu fer arribar suggeriments sobre els darrers congressos, les últimes publicacions… Hem enviat una proposta per participar al congrés sobre el tema a la UAB.
Us deia que estàvem parlant amb la Delfi sobre més canvis quant al sistema d’avaluació a través dels tests. Us copio el correu que li he escrit amb pocs canvis.
Hola, Delfi,
Diari d'un MOOC 