Etiqueta: avaluació

Les modalitats noves de Coursera: millores pendents

Malgrat que feia poc que havia redactat la cloenda (vigent) del blog, el 31 de maig vaig trencar el silenci per afegir una anotació a la darrera entrada. Al final, he decidit copiar-la aquí i explicar-vos com s’han resolt les qüestions que hi apuntava:

Actualització del 31 de maig de 2016:

PROBLEMES I SOLUCIONS DE LA PLATAFORMA NOVA: Avui hem intentat enviar el curs a la revisió prèvia que en fan Coursera i la universitat abans d’obrir-lo i un cop s’ha introduït la data d’inici del curs, però ha estat un intent fallit.

  1. Ens dóna error a causa dels exercicis de revisió per parells (P2P) i ara no sabem si, malgrat que vam penjar-los sense problemes, la plataforma nova (on demand) no permet oferir-los. Vam cavil·lar per trobar una manera que fos compatible amb el ritme més flexible, autopautat en la resta d’activitats, d’aquesta modalitat. Si no, n’haurem de prescindir, però l’únic P2P que vam demanar el curs passat va suscitar molts comentaris per part dels estudiants, que en volien més i més extensos. Aquest cop també hem treballat més les rúbriques. Un dels exercicis és un comentari de text i, l’altre, una comparació entre dues imatges, amb recursos electrònics perquè els consultin. En aquest darrer cas, els alumnes tenen una pauta més marcada que en el primer. Havien de valdre un 20% de la nota. A més, és important perquè són exercicis de reflexió i de desenvolupament del pensament crític, que queda més limitat a les preguntes-test (tot i que també són un dels punts enfortits d’enguany). Esperem que, ara que oferim la modalitat amb certificat verificat, es pugui fer aquest tipus d’avaluació més complet.
  2. Un altre problema el tenim amb les cartes. Amb el canvi de plataforma, havíem substituït les cartes setmanals per les fites (milestones). És a dir, havíem preparat una carta de benvinguda, una que cada estudiant rebria en acabar d’enviar la primera redacció perquè fos revisada i una tercera després de la segona, que coincideix amb el final de curs. El web només ens deixa carregar la primera carta i la darrera, de manera que ens fa por que l’estudiant es despengi. Pensàvem que era una manera de motivar-los més, sobretot en cursos que no superen el 7% d’alumnes matriculats que els acaben (i, en el cas on demand ha de ser inferior per força, perquè desapareix la pressió del temps).
  3. Finalment, i també a diferència del curs passat, en penjar els subtítols en català i castellà, ens apareixen símbols estranys als accents oberts i a les ñ.

Hem contactat amb Coursera per resoldre les tres qüestions. El curs ha millorat molt i ens agradaria que el web nou no només fos més atractiu i fàcil d’utilitzar per a l’estudiant, sinó que ens permeti utilitzar aquestes eines o trobar-hi solucions bones.

REFLEXIÓ SOBRE LA COMUNICACIÓ AMB COURSERA:


Com sabeu, els formats nous de Coursera ja fa més d’un curs que es van implementar i, quan vam decidir fer el canvi, vaig reunir-me diverses vegades amb responsables de Coursera. És cert que pel mig van canviar la intermediària amb els cursos oferts a l’estat espanyol. Ella domina el castellà, però era nova a Coursera. Em va parlar de la gran novetat, les especialitzacions, però aquest format no era adequat per al nostre curs. Em va informar sobre com fer la transició al format nou (el famós on demand) i, a partir d’aquí, vaig explorar per compte propi un cop ens van donar d’alta a la plataforma nova a l’inici de l’any, aproximadament. De fet, hi ha moltes pàgines d’informació per als creadors de MOOCs i sempre ens han contestat de seguida als correus tècnics i als dels responsables i ens han donat prioritat (per al traspàs) quan estava justificat per la feina que havíem de fer al curs i la data prevista d’inici. De totes maneres, cal dir que, si bé entre final del curs passat i l’inici d’aquest ens vam reunir diverses vegades amb ells, després no hi ha hagut cap intercanvi en persona (llegiu Skype). Tampoc no ho hem sol·licitat ni ho hem trobat a faltar, fins ara, que ens vam adonar que ens faltava informació. Afortunadament, un cop més, ens han contestat i ha estat fàcil de solucionar. En canvi, sí que vaig demanar-los (i vaig insistir-hi) informació sobre voluntaris com a moderadors dels fòrums, per exemple i no van arribar a aprofundir-hi. Per això ho vam acabar descartant. No sabem si s’ha dut a terme o si ha funcionat en altres MOOCs que també funcionin en aquests formats nous.

RESPOSTES, SOLUCIONS I TEMES PENDENTS DE LA PLATAFORMA:

Així, aquesta setmana hem obtingut resposta de les qüestions que fallaven fa uns dies i que he copiat més amunt:

  1. El problema amb els caràcters dels subtítols és de la plataforma i l’estan mirant de resoldre, així com el que sorgia amb el P2P, que s’ha resolt i ja tenim el curs en procés de revisió (es calcula que trigarà 7 dies). Sobre les cartes periòdiques als estudiants: altres equips es veu que també se n’han queixat, però de moment els formats nous només permeten enviar un correu a l’inici i al final del curs. Això és un inconvenient d’aquesta modalitat, perquè si l’índex de finalització d’aquests cursos està per davall del 7%, tot el que no n’afavoreixi el seguiment (i els recordatoris), juga en contra del curs. També em fa plantejar si les enquestes de Coursera seran, l’una a l’inici i l’altra al final i si tindran els mateixos punts que el curs passat (en format tradicional) per poder comparar resultats, tot i que esperem menys estudiants per sessió perquè estaran repartits al llarg de tot el curs i no tenen el sentit d’urgència per cursar-lo ara (de fet, és probable que ho deixin per a més endavant, sense saber si o quan s’interromprà l’oferta del curs, igual que els cursos en línia oberts d’algunes universitats, que són classes gravades i es poden mirar quan l’usuari -més que alumne, aquí- vol). Ho preguntarem.
  2. El problema amb els P2P era més greu, perquè són una part important del nou sistema d’avaluació que havíem creat. De totes maneres, arran d’això ens hem adonat que hi ha dues modalitats diferents dins dels “nous formats” de Coursera i que, quan vam sol·licitar fer el trasllat de plataforma per oferir el curs on demand, el curs ja va quedar inscrit en una d’aquestes modalitats. Així, es pot triar a la plataforma nova entre un curs on demand pur i un curs self-paced. El que nosaltres teníem en ment respon a la segona categoria, de fet. Els dos s’ofereixen des de la mateixa plataforma i, per tant, només has de marcar una casella per canviar de categoria. A) El curs on demand (segons demanda) roman obert indefinidament, de forma fixa i l’alumne hi pot entrar el 3 de gener de 2016 i continuar-lo el 7 de novembre de 2016 sense canvis, per exemple. Per això, demanar exercicis de revisió per parells seria molt complicat (de fet, es necessita una massa crítica i activa) perquè hi hauria alumnes despenjats. No hi ha un calendari recomanat ni cap tipus de terminis. B) En canvi, el model self-paced (el TERMCAT encara no em proposa una alternativa, perquè de fet és un concepte nou per als cursos en línia), malgrat el nom, l’alumne no té tota la llibertat del món. Hi ha “sessions”. Així, el curs roman obert durant 6 o 12 setmanes, en què l’estudiant té tots els materials del curs, mentre que el MOOC tradicional obria al públic materials nous (un mòdul) cada setmana i hi havia terminis diversos per resoldre tests i enviar els exercicis. Aquest és el model que m’havien explicat. Si l’alumne no acaba el curs, automàticament es matricula a la sessió següent, segons tinc entès. Cada vegada que es clou el curs, s’emeten els certificats. A l’hora de completar els exercicis, l’únic requisit és que per avaluar les redaccions dels companys, abans has d’haver lliurat la pròpia. Això permet marcar el ritme.

En el nostre cas ens havíem plantejat donar el doble de temps que en un curs convencional o no acabàvem de veure que realment fos més flexible amb les necessitats de l’alumne. De manera que, si tenim 5 mòduls i l’obrim sis setmanes, no donem gaire temps extraordinari. De fet, al curs anterior ja vam deixar uns dies més de marge i vam acabar optant per dates obertes per completar uns quants exercicis a mesura que avançava el curs (així, les persones que s’hi inscrivien més tard, també podien completar-lo i els que s’havien perdut un termini, també). Les incidències o els canvis, els vam comunicar a través de les cartes, que es podien enviar en qualsevol moment. Un altre tema per resoldre: hauríem de saber si podem comptar amb aquesta eina, en cas que haguéssim d’avisar els estudiants d’una incidència tècnica, per exemple. A vegades els avisos passen desapercebuts a la pàgina principal.

De moment, hem sol·licitat les sis setmanes i, un cop ens hagin revisat el curs, es pot re-negociar. Dotze ho trobo excessiu.

Ens hauria agradat disposar d’aquesta informació d’entrada. Està penjada a la plataforma, entre molts altres materials, això sí. També vull afegir que no vaig rebre resposta a la sol·licitud que vaig enviar fa més de sis mesos per demanar assessorament sobre el sistema d’avaluació.

CALENDARI DE TREBALL DEL CURS:

Queden els subtítols d’un vídeo per penjar. La setmana que ve serà el torn dels materials didàctics suplementaris del mòdul 4. Estem molt satisfets de les millores del curs i esperem que torni a ser un èxit de participació i que els estudiants el valorin encara més positivament que l’any passat, si pot ser.

Enguany, tenir personal contractat ha fet possible alleugerir les tasques del curs i poder destinar el temps, sobretot, a qüestions organitzatives per part de l’equip, més que tècniques. El contingut, a més, ja estava molt avançat.

Finalment, aquests cursos només comencen en dilluns. La data que havíem establert d’obertura és un dimarts, 5 de juliol. El curs passat el percentatge més important dels estudiants eren nord-americans i el 4 de juliol, dilluns, és el Dia de la Independència (a més, jo no pensava ser davant de l’ordinador perquè visc als EUA). Per això vam triar el 5. Mantenim la data perquè ja n’hem fet difusió a les xarxes socials, però qui ho vulgui podrà accedir als materials (i rebrà el correu) un dia abans. De totes maneres, en un curs tan flexible quant al calendari no serà un problema.

[Si us pregunteu com vam atendre els alumnes nord-americans en un MOOC que el curs passat era extremadament interactiu (per això no era tan senzill adaptar-lo a un format d’oferta ininterrompuda), amb un pes substancial dels exercicis al fòrum com a mètode d’avaluació (i vídeos setmanals que responien a les preguntes més repetides pels estudiants i que ara ja estan fets, tret del darrer mòdul, que és el que tanca el curs): hi érem 24h., en dues franges horàries diferents. Ara, de la mateixa manera que hem reduït la dedicació de l’equip durant el curs, més pausada i amb contractació de personal, els materials complementaris, el sistema nou d’avaluació, els vídeos i les eines que es van anar creant com a resposta a qüestions que van sorgir a la primera edició… permetran mantenir el curs obert de manera que funcioni gairebé per si sol. Hem contractat, però, personal d’atenció a l’estudiant i gestió de les xarxes socials. A més, aquest cop el fet que els estudiants quedin repartits al llarg de tot el curs farà que disminueixin els correus. Esperem detectar qualsevol problema tècnic no previst durant la primera sessió i solucionar-lo de seguida].

Si sorgís res més que mereixi una publicació com aquesta, tornaria a trencar el silenci del blog.

Cloenda

Aquesta setmana estem tancant els darrers detalls de l’adaptació del curs a la plataforma nova de Coursera, la redacció de les rúbriques d’un dels dos exercicis P2P i l’escriptura de tres de les cartes-fita que els estudiants rebran durant el curs, cada vegada que assoleixin un dels grans objectius (a més de la benvinguda al curs, un cop hagin enviat el primer P2P, quan hagin lliurat el segon i a la cloenda del curs, en què els volem donar informació, també, sobre el Màster en Cultures Medievals de la universitat). La setmana passada vam rebre els dos vídeos que intercanviem amb la UCL (ells ja havien rebut els nostres) i vam sol·licitar els subtítols en anglès. Així que només ens faltarà subtitular en català i castellà el mòdul 5. De totes maneres, tenim programat que dilluns de la setmana que ve enviarem el curs perquè Coursera i la universitat el revisin i hi donin el vistiplau. Dedicarem el juny als subtítols, a revisar els enllaços i a actuar com a estudiants beta i a preparar els materials autoguiats per al mòdul 4 (esquemes, apunts, cronologies), que fins ara no hem tingut temps de preparar.

A partir d’aquí, ja sabeu que tenim la intenció que el MOOC continuï tal com està durant, almenys, el curs que ve i esperem resoldre els problemes que puguin sorgir durant les primeres deu setmanes (l’edició 2, sessió 1 completa), de manera que la segona sessió pugui funcionar amb encara més autonomia. Tenim contractat servei per a l’estudiant fins al setembre i, si a partir d’aleshores sorgeix cap dubte o cap incident, deixarem el meu correu electrònic perquè els alumnes també m’ho puguin notificar sense dependre de Coursera.

Paral·lelament, he deixat a Joana Palau com a encarregada de negociar amb la universitat que els antics mòduls 5 i 6 (literatura i història de l’art), que ara no tenen cabuda al programa de la segona edició del curs, formin part del dipòsit digital de la UB, tal com Ignasi Labastida ens va suggerir.

De moment, això és el que ens havíem plantejat. Personalment, estic molt satisfeta dels resultats que hem obtingut i de l’esforç i de la implicació de tot l’equip. Ara com ara no tenim pensat seguir ampliant el contingut o els recursos del curs indefinidament, sinó que volem procurar-ne el manteniment i la continuïtat. Així, ara estem en, certa manera, en un moment de cloenda quant a l’organització (malgrat que el curs és a punt de començar i frisem per veure’n l’activitat), perquè hem buscat que des del juliol pugui funcionar sol (és a dir, amb el personal contractat per a qüestions tècniques i dubtes dels estudiants, que me les reenviarien a mi, però sense haver de tenir un calendari de tasques actiu). Per aquest motiu només actualitzaré el blog en cas que hi hagi cap qüestió que sigui útil per a la preparació d’altres MOOCs o cap activitat o recurs útils que vulgui compartir amb vosalres. Així, esperem donar la benvinguda a projectes professionals nous, tan enriquidors com aquest que vam engegar ara fa dos anys i mig i que ha tingut molt més impacte del que ens podíem imaginar. Gràcies per haver-me llegit.

 

 

 

Revisió del sistema d’avaluació

Com sabeu, Delfi i jo estem revisant el sistema d’avaluació del MOOC. Ens vam reunir el mes passat per fer-hi canvis. Coursera té una eina molt útil que permet veure com han funcionat les activitats d’avaluació una per una: quantes persones van fallar el primer intent del test i quina opció havien marcat en aquest cas, què va passar amb el segon intent… D’aquesta manera, t’adones fàcilment que hi ha preguntes que, si tothom encerta, pot ser fins i tot redundant preguntar, per innecessari i obvi. En altres casos, si més de la meitat dels estudiants han fallat el primer intent (i tens repartides el 50% de respostes entre dues opcions), pot ser que no quedi clara la diferència entre les dues respostes, ni per què és correcta o incorrecta. Aquí, cal: a) revisar que la pregunta estigui ben formulada, b) revisar que estigui ben explicat al vídeo i als tests, c) si això està ben fet i, precisament, interessa aquesta pregunta perquè és vegi la diferència subtil entre les dues opcions que els estudiants trien, és bo afegir una pista o un raonament de per què és incorrecta aquella opció un cop l’alumne l’ha triada. També seria convenient justificar, de la mateixa manera, la resposta correcta. Això és el que hem mirat. Jo he participat en la presa de decisions i he supervisat el procés, però a qui he d’agrair la tasca de reformulació i de revisió de les preguntes és a la Delfi.

Així, no només ens hem limitat a afegir les preguntes del mòdul 5 nou al MOOC, sinó que estem fent una revisió a fons de la de la resta de mòduls i ho fa Delfi com a organitzadora. Així també hi ha una certa homogeneïtat quant al tipus i al funcionament de les preguntes, que si deixàvem en mans dels diferents docents es perdia. Segons la nostra experiència, les preguntes obertes no van funcionar bé (les que demanen a l’estudiant que escrigui una paraula) i durant la primera edició en vam haver de suprimir dues, que no van comptar per a la nota final. Ara són tot preguntes tancades.

Sabeu que també es pot optar per preguntes a mitjan vídeo o al final. Les vam situar totes al final i l’experiència ha estat positiva. De fet, no hi va haver problemes destacables amb els tests més enllà de la pregunta que féiem a cada mòdul: has participat a l’activitat obligatòria del fòrum? Si l’alumne no hi entrava des de la barra en què es veu el seguiment del curs, podia saltar-se-la i, malgrat que vam posar un avís a la pàgina d’entrada a la plataforma i ho recordàvem al correu setmanal, hi seguia havent persones que no es recordaven de contestar a temps aquesta pregunta malgrat que afirmaven haver participat al fòrum. De totes maneres, a partir de la segona edició, participar al fòrum no és obligatori i no hi ha activitats que hi hagin de fer perquè, després que 21.000 estudiants haguessin contestat el mateix, el debat s’encallava i, en canvi, no hi va haver problemes de manca de participació, precisament.

L’any passat teníem entre 5 i 6 vídeos obligatoris per mòdul, més els optatius. Cada vídeo, uns 7 minuts. Total: 6 mòduls (enguany 5, un és nou, els altres dos estem fent consultes per si podem penjar-los al dipòsit de la UB en obert, perquè eren d’història de l’art i de literatura i, com sabeu, hem fet canvis en la concepció del MOOC). Cada vídeo obligatori, una pregunta d’avaluació i una setmana per contestar-la (en vam deixar un, l’inicial, sense). Hi havia 5 activitats obligatòries als fòrums (ara suprimides): una per mòdul, tret del mòdul de literatura, que comptava amb un exercici de redacció (P2P).

Enguany triplicarem el nombre de preguntes preparades per als tests. El curs passat, l’alumne tenia tres oportunitats per contestar correctament el test, sense que restés a la nota final per intent. La pregunta era la mateixa per a tothom (teníem una pregunta preparada per vídeo) i, encara que fallés, seguia apareixent-hi la mateixa pregunta. Tres intents. A la segona edició, no només hem revisat les preguntes, sinó que en lloc d’haver-ne una de preparada per vídeo, n’hi ha tres. Havíem pensat que, cada vegada que fallés, sortiria marcada la resposta correcta i l’oportunitat nova comportaria contestar una pregunta nova (cadascuna, quatre respostes possibles). Els intents, fins a tres, no resten. Després, no n’hi ha més. Aquestes preguntes estan pensades sobretot per aprendre, encara que comptin per a l’avaluació. Les preguntes apareixen de forma aleatòria: no les veu en el mateix ordre l’estudiant A que l’estudiant B. Si la resposta correcta és la primera, ja no veurien la pregunta 2 i 3 preparades per al mateix vídeo. Totes són sobre conceptes clau i per reforçar l’enfocament històric i acadèmic del curs, basat en la documentació i amb la voluntat de deslliurar-nos de prejudicis sobre l’època medieval, l’astronomia i fins i tot els inquisidors. Hi ha aclariments per a respostes incorrectes que poden suscitar dubtes. Aquesta era la nostra idea, ara us explicaré més avall què estem debatent sobre aquest tema.

A més de les preguntes-test, la segona edició constarà de dos P2P, un comentari sobre una imatge i un sobre documentació història. L’un al mòdul 3, l’altre al 6. Les preguntes-test es poden contestar sense un termini setmanal, durant aquella edició i abans que comenci la següent. Després de cada activitat de redacció (el curs passat els alumnes en van demanar més), que compta per fer (i per revisar), enviarem una de les cartes-fita (milestones), que substitueixen les cartes setmanals. Volem veure si un alumne que fa dues setmanes que no hi entra pot rebre algun avís que el torni a motivar, de totes maneres. És un tema que hem de remenar.

Enguany el curs representarà una millora substancial quant a pedagogia, aspectes tècnics i organització/enfocament. Hem estat polint tots aquests aspectes. A més, per al canvi de modalitat: hi afegirem materials pedagògics per a l’autoaprenentatge, sobretot als mòduls que presentaven un repte per a l’estudiant perquè no en coneixien els conceptes de base (el mòdul 4, per exemple, sobre alquímia al món islàmic): cronologies, vocabulari wiki, esquemes, apunts… Encara hi hem de treballar. Recursos en línia complementaris per a cada mòdul. Encara està verd. Hem contractat una persona per als materials. Es tracta de millorar l’autoaprenentatge, mentre que en un curs ininterromput (pensat perquè duri uns quants anys) no podem mantenir altres serveis presencials: l’any passat hi havia 7 xats setmanals amb un especialista (català/castellà/anglès), dues tutories en anglès com a Hangout amb vídeo al Youtube (igual, pel mateix motiu, tot i que no descartem fer-ne una cada sis mesos). Els vídeos setmanals contestant als dubtes dels fòrums seran els del curs passat, basats en els 21.000 estudiants que hi teníem matriculats.

Evidentment, fer-se càrrec d’un MOOC requereix estar al dia i el panorama canvia molt i ràpid, així que ens podeu fer arribar suggeriments sobre els darrers congressos, les últimes publicacions… Hem enviat una proposta per participar al congrés sobre el tema a la UAB.

Us deia que estàvem parlant amb la Delfi sobre més canvis quant al sistema d’avaluació a través dels tests. Us copio el correu que li he escrit amb pocs canvis.

Hola, Delfi,

Incloc al C. al correu perquè no comenci a penjar els tests fins que arribem a una decisió sobre com distribuir-los.
Quant a la funció pedagògica dels tests, que completa la formació que reben els alumnes al curs: les persones que encerten la pregunta a la primera, tenen en realitat menys possibilitats d’aprendre que els que no. Això fa que també em plantegi aprofitar totes les preguntes i que tots els alumnes hagin de contestar-ne tres per vídeo, però, si en un mòdul estàndard hi ha cinc o sis vídeos obligatoris (que són els que porten preguntes associades), significa que si els fem contestar tres preguntes per vídeo, són 18 preguntes a la setmana. Em sembla una mica excessiu.
Una altra cosa és que, preguntar immediatament després que hagin vist el vídeo d’uns sis minuts, no sé si facilita que realment l’interioritzin.
Et faig una proposta per seguir-ne parlant a veure què et sembla:
Es fa una bossa de preguntes per mòdul, que inclou les de tots els vídeos del mòdul.
L’estudiant, quan acaba de mirar tot el mòdul, contesta 10 preguntes de la bossa, com si fos un examen, en què li poden sortir les de tot el mòdul. Haurien de sortir de forma aleatòria (el C. hauria de fer proves en aquest sentit perquè no ho hem fet mai i no sabem com va).
Això significa que tenim més preguntes de les que en realitat es veuen, però a l’estudiant A n’hi sortiran 10 que no tenen per què ser totes les mateixes deu que les de l’estudiant B.
En aquest cas, l’estudiant hauria de tenir dues possibilitats (C. hauria de comprovar que es pugui fer):
Que li surtin les deu pregunte visibles al final del mòdul (hi accedeix directament després dels vídeos del mòdul, també pel menú de l’esquerra del campus on l’alumne veu l’índex del curs, com a entrada a part TEST MODULE 1, per exemple. L’estudiant sap que ha de contestar (fins que tanqui l’edició del curs i sense altres terminis), 5 tests + lliurar dos P2P/essays breus al final del mòdul 3 i del mòdul 6 (que són les milestones a les quals anirà associat un correu electrònic, en parlarem).
2 possibilitats que voldria que tingués:
L’estudiant les pot contestar una per una i comprovar una per una si és correcta la resposta.
L’estudiant pot contestar-les totes i no enviar les respostes fins que ho tingui tot.
En els dos casos, li surt si és correcta o no la resposta.
En els dos casos, l’estudiant té dos intents. És a dir, pot arribar a contestar dos cops LA MATEIXA PREGUNTA. Així n’aprèn. A més, en el cas del mòdul d’astrologia havíem parlat d’incloure-hi alguna pista si fallava en algunes preguntes més complicades (ho dic de memòria).
Per tant, pot tornar a intentar (sense efectes negatius en la nota) contestar les preguntes que ha fallat. Després d’intentar-ho dos cops (hem de tenir en compte que només hi ha 4 possibilitats), si no ho ha fet bé, se li mostra la resposta correcta (al mòdul 5 em sembla recordar que en algun cas justfiquem per què és la correcta per si no estava clar). En la resta de tests que he vist fins ara és innecessari.
Així l’estudiant també s’ho pren de forma més seriosa, això dels tests i està tot més ordenat i pot recuperar i accedir fàcilment a les preguntes. Com ho veus?
Estem esperant el nou vídeo introductori/promocional. Hem començat a carregar els vídeos millorats tècnicament a la plataforma nova. Reactivat les xarxes socials. Concertat reunions per entendre qüestions del nou format. Hem gravat el vídeo 5 nou. Si tot va bé, al juliol comencem la segona edició. Els vídeos nous, gravats amb un especialista, han donat uns resultats excel·lents. La inversió econòmica ha valgut la pena i, si podeu, feu-ho abans.
Avís: per sol·licitar subtítols des de la plataforma nova (on demand) no hi ha un botó en què hi diu “sol·licitar subtítols en anglès”, sinó que has de convertir l’esborrany del vídeo carregat en una publicació (“publica”) i aleshores diuen que triga una setmana a generar subtítols, que recordeu que s’han de revisar.

Distribució del pressupost

Aquesta és la proposta de pressupost per dur a terme la segona edició del nostre MOOC, ara ‘on demand’. Inclou el canvi de logo de la UB a tots els vídeos i materials. Ens hem deixat un marge per fer modificacions. Compta amb 8.000 euros, però no escriuré l’import destinat a cada concepte perquè encara ens hem d’informar sobre les modalitats de contractes i acabar de lligar-ho. Penso que ajudarà a fer-se una idea de les qüestions en les quals cal que invertim en aquesta segona edició. Actualment, l’equip organitzador està format per Delfi Nieto i Joana Palau, a més de jo mateixa com a coordinadora. La feina d’organització la fem com a voluntaris a les hores lliures.

  • Contractació d’un tècnic de so: millora de so de tots els vídeos anteriors, canvi de logos, nou vídeo introductori, rodatge d’un mòdul nou i edició dels vídeos, introducció de subtítols.
  • Contractació de serveis lingüístics. Adaptació de guions del català a l’anglès i revisió d’altres textos i materials del curs en anglès. Traducció dels guions nous al català i al castellà. Al final, mantindrem els subtítols en les tres llengües, però les activitats, l’avaluació i els materials complementaris seran en anglès.
  • Disseny d’un logotip per al curs.
  • Contractació d’una persona per a la gestió de les xarxes socials i la promoció del curs durant, inicialment, un any.
  • Becari de materials (disseny d’esquemes, cronogrames, diagrames, material de suport per a un itinerari audioguiat) en anglès.
  • Becari d’atenció a l’estudiant i de disseny i carregament de materials del curs a la plataforma nova. Previst durant tres mesos.
  • Materials de promoció.
  • Becari de subtítols.
  • Possibilitat de contracte d’un informàtic perquè programi el curs des de Coursera. Un mes.

Ara que tenim una visió completa del curs passat, vull fer una reflexió breu. El preu de voluntariat va ser alt, tot i que vam comptar amb l’ajut de l’AGAUR per cobrir qüestions essencials i va comportar un desgast important. A vegades val més insistir en el finançament (o disposar d’una infraestructura) que eviti cometre errors que amb l’assessorament d’un especialista no s’haurien produït. Ara contractarem, finalment, per primera vegada, un tècnic de so per esmenar problemes d’àudio i sabem que la millor recomanació (la diferència de preu vam considerar que era massa elevada; també de temps) ha estat que tornéssim a gravar tots els vídeos. Per tant, la nostra aposta és ara dotar de major cohesió l’estructura i el sistema d’avaluació del curs i millorar-ne l’aspecte tècnic professional. Com veieu, també hi farem millores pedagògiques, sobretot perquè el curs necessiti menys suport per part dels professors, atès que s’oferirà de forma ininterrompuda i no en farem el seguiment de prop com al maig-juny del curs passat. Ha de poder funcionar sense nosaltres, si pot ser amb l’equip de mentors del qual ens va parlar Coursera (espero una resposta d’ells sobre aquest tema). Vam dur a terme un projecte molt ambiciós que va donar lloc a la primera edició del curs, amb un èxit més que considerable. Ara volem fer una aposta segura a partir de les lliçons apreses de la primera edició i adaptar-nos a la nova plataforma perquè el curs sempre estigui disponible.

Acabo amb un vincle a una jornada sobre la gamificació en l’aprenentatge, per si hi voleu assistir en línia o de forma presencial: http://www.fbofill.cat/agenda/camp-base-gamificacio.

Primers canvis al MOOC: plataforma on demand, millora de la qualitat dels vídeos i avaluació

Com sabeu, el repte principal amb el qual hem topat a la primera edició del MOOC ha estat una qüestió tècnica: hi ha vídeos que no vam gravar amb el doble canal d’àudio. Això ha fet que alguns estudiants tinguessin problemes de so segons el sistema operatiu i eina (ordinador, tauleta, mòbil) que utilitzessin. Per aquest motiu, a la segona edició contractarem un tècnic de so perquè arregli tots els vídeos que presenten problemes, ens ajudi en la gravació dels vídeos nous i els editi i subtituli. També ens ha fet recomanacions quant a la puntuació i l’entonació de les frases, les transicions (amb música, per exemple), l’ús d’imatges lliures de drets. Hi estem negociant.

A més, farem un traspàs dels materials de la plataforma vella de Coursera a la nova. Perquè el personal de la plataforma se n’ocupi, n’heu de fer la sol·licitud al seu web. Pel que em van comentar, Coursera ha de valorar si accepta el canvi i després s’inicia el procés. Al ‘Partner Help Center’ de Coursera, heu de triar ‘Submit a request’, seleccionar ‘migration request’ i emplenar el formulari que es desplega. En aquest formulari se us demana que tingueu clares qüestions com ara quins tests comptaran per a l’avaluació o el format de l’exercici P2P. En el nostre cas, aquest és el canvi pedagògic principal que farem a la segona edició: Delfi i jo revisarem el sistema d’avaluació del curs. També cal que s’adapti bé al format ‘on demand’, que m’amoïnava especialment quant al P2P, ja que hi haurà menys estudiants que el cursin al ritme recomanat i, de fet, alhora (els alumnes quedaran més repartits al llarg de l’any i les xifres no s’espera que siguin tan altes com a la primera edició en format tradicional).

Per fer-lo més flexible i malgrat que el P2P va funcionar molt bé (diversos estudiants van considerar que podríem haver demanat una extensió més llarga i un altre P2P durant el curs, fet que ens va sorprendre molt perquè teníem por de sobrecarregar-los de feina), mirarem si ho convertim tot en preguntes-test i si hi afegim o no un examen final (ara l’estudiant podrà optar a Verified certificates, de pagament). Volem ampliar la borsa de preguntes perquè canviïn a cada intent i afegir-hi explicacions (per què has fallat, per què és la bona), tal com Coursera permet fer. Les preguntes que la meitat dels estudiants van resoldre bé només a la segona opció (les estadístiques de Coursera permeten que durant el curs vegis pregunta per pregunta, vídeo per vídeo… si funciona, quantes persones l’han mirat, quants intents…) i que van tenir gairebé un 50% d’error a la primera, les revisarem a fons. També que aquell concepte quedi clar al vídeo.

Finalment, a partir de les enquestes als estudiants, vam veure que, tot i que un dels trets més ben valorats del curs ha estat la interacció amb els professors (és una qüestió que hem tingut en compte ara que el curs estarà sempre obert, però no podem oferir l’atenció 24h. -que la diferència horària dels llocs on vivim els membres de l’equip permetia- ni la dedicació del mes i mig de la primera edició; és un risc que esperem que el faci sostenible de mantenir a llarg termini, com també esperem que l’oferta d’una via de pagament permeti que s’inverteixin directament en el curs i no hi calgui fer més inversions, almenys per mantenir-lo) i l’activitat que hi havia als fòrums, a les enquestes diversos estudiants esmentaven que proposar-hi activitats obligatòries se’ls havia fet difícil. Proposàvem temes de reflexió, però en un curs que ha acabat tenint més de 20.000 inscrits i més de 1.000 estudiants que l’han superat (acabat i aprovat), arribava un moment en què els alumnes pensaven que ja estava tot dit i que les respostes eren repetitives. S’estimaven més participar en un tema nou. Tot i que volem promoure la participació als fòrums i en principi seguirem proposant-hi activitats, segurament no serà part de l’avaluació. De fet, només n’avaluàvem la participació, no el contingut, encara que en llegíem les respostes més votades i era el punt de partida per resoldre dubtes i confusions als vídeos setmanals que vam oferir de cada unitat. A més a més, si l’alumne accedia a través de les pestanyes del menú de l’esquerra on es veien totes les activitats de la setmana, era senzill que recordés que el pas final, després d’haver participat al fòrum, era contestar el test: has participat al fòrum? Si la resposta era ‘sí’, s’afegia a la puntuació final. Tot i que vam enviar correus per remarcar com funcionava i vam ampliar tots els terminis per contestar aquesta pregunta fins al final de les sis setmanes, hi havia estudiants que entraven directament al fòrum des de la pàgina de fòrums (no a través de l’esquema de cada mòdul) i que no van pensar a contestar el test de participació cada vegada. Realment, es feia difícil de controlar, malgrat que la gran majoria d’estudiants va agafar l’hàbit de contestar els tests.

ACTUALITZACIÓ: També contractarem el disseny d’un logo per al curs, atès que fins ara no en teníem cap d’oficial: havíem utilitzat com a imatge una de les il·lustracions de Laura de Castellet per al mòdul 5, dedicat a la literatura artúrica, però no estava dissenyat com a logo i era un cavaller errant, de manera que ara que reestructurem els antics mòduls 5 i 6 perd raó de ser.

ACTUALITZACIÓ: La mudança de plataforma a Coursera té més o menys prioritat segons la data prevista per engegar el curs en el nou format (on demand). Jo he fet la sol·licitud aquest mes d’octubre i m’han dit que està previst que ens hi donin accés cap al gener. La data que vaig proposar va ser maig-juny, tot i que tenim fins al juliol de marge.

Llistat de millores per introduir al MOOC a la segona edició

Aquest llistat el vaig elaborar el mes passat. Preveig que, a mesura que avanci el curs, s’ampliï. No pretenem enllestir-ho tot en un curs més. Depèn dels recursos econòmics que hi puguem treballar, que millorem o mantinguem el curs. De totes maneres, es pot millorar a poc a poc (amb recursos), any rere any, la llista és només un punt de partida per prioritzar i reflexionar. Hem quedat presencialment al juliol tot l’equip per parlar-ne.

Us la transcric perquè pot ser útil compartir-la:

1. Reestructuració del mòdul 6.

2. Redisseny de les preguntes tests dels mòduls 1 i 3. Evitem les preguntes obertes (aquelles en què l’estudiant ha d’escriure la resposta, no marcar-la).

3. Adaptació de l’exercici del mòdul 5 perquè es posi èmfasi en el vessant màgic de l’obra.

4. Gravació nova dels vídeos de menys qualitat d’imatge o de so del mòdul 1.

5. Moderadors nous o renovació dels moderadors. Moderadors de subfòrums especialitzats per a tots els mòduls sense excepcions (hi estem treballant ara, ja, de fet).

6. Traducció a l’anglès i adaptació del guió d’astrologia de Theo Loinaz. Gravació, edició i subtítols en les tres llengües del curs. Handouts. Avaluació.

7. El professor Godefroid de Calataÿ s’ofereix per preparar un vídeo sobre l’astrologia a l’astrologia a l’islam. Edició i subtítols en les tres llengües del curs. Handouts. Avaluació.

8. Si no hi fóssim a temps, solucionar el vídeo opcional de la geomància de Blanca Villuendas.

9. A partir d’un contacte que hem establert per a Medievalistes en bloc, possibilitat d’ampliar el mòdul 3 amb un vídeo sobre bruixes fineses.

10. Hi afegim materials didàctics: diapositives, handouts (guions), cronologies, esquemes, viquis…

11. Materials esquemàtics (glossari…) dels vídeos optatius del mòdul 2.

12. Es tornen a gravar els vídeos del mòdul 5 que tenen talls desafortunats.

13. Disseny de preguntes d’avaluació i d’activitats noves. Possibilitat que al segon i tercer intents la pregunta variï i d’afegir pistes i explicacions als tests per als estudiants.

14. Desenvolupar la part pedagògica i d’avaluació.

15. Afegim webgrafia a cada mòdul (ara només n’hi ha al 5).

16. Afegim un vídeo sobre Merlí i un sobre la fada Morgana. Possibilitat d’un vídeo sobre La Faula de Guillem de Torroella.

17. Vincle a sciencia.cat per al fòrum 4.

18. Possibilitat d’oferir subtítols en francès per al mòdul 4.

19. Tots els mòduls amb subtítols en les tres llengües (hi estem treballant) i vídeos del mòdul 4 amb les millores introduïdes (hi estem treballant).

20. Tornem a gravar certs vídeos del mòdul 6.

21. Contractació de becaris i d’una persona d’atenció a l’estudiant a temps parcial durant la impartició del curs. Nivell d’anglès mínim C1.

22. Una setmana de prova i de revisions de vincles abans d’obrir-lo.

23. Guies (n’estem fent una primera) i més pautat per oferir el curs ‘on demand’. Només s’oferiria amb dinamització i atenció a l’estudiant una vegada a l’any.

24. Disseny html del web (contractació informàtic) i millores quant a la disposició del curs a Coursera.

Propostes?

P2P i enquestes als estudiants del MOOC

Us copio parts dels dubtes que he rebut avui sobre l’avaluació del curs perquè us poden interessar.

1) Sobre els qüestionaris (SURVEYS):
>
> He creat el qüestionari inicial amb l’eina que proporciona Coursera però després he vist això:
>
> “Instructors who wish to survey learners before a course session opens, or after the session is inactive, may use an external survey tool. Consult Advanced Surveys for detailed instructions on linking data from the tool to learners’ Coursera accounts.”
>
> Si volem evitar de fer servir una eina externa de qüestionaris, caldria enviar la primera i l’última el primer dia i últim de curs, respectivament. Com ho veieu? Seria el més senzill. Si no, caldrà configurar l’enquesta de nou amb un sistema extern (https://partner.coursera.help/hc/en-us/articles/204281675-External-Surveys)
>
> No ho sé, ja em direu quina opció voleu…
>
> 2) Peer assesment.
>
> He creat un peer asessment però encara no tinc massa clar com he de funcionar el tema.
>
> a) Entenc que uns alumnes es corregeixen als altres l’activitat del fòrum oi?
> b) Per tant, a cada unitat els ha de sortir l’opció per enviar la resposta o avaluar els companys, no? Quin títol posem a la pestanya? “Activity 1”, “Submit Activity1″….
> c) Com l’avaluen, numèricament o qualitativament? Com ha mínim, ho han d’avaluar quantitativament. Amb quin valor?
> d) S’avaluen tots els mòduls, mòdul 5 i 6 inclosos? (Ho dic pel tema del deadline que posem).
> e) He vist que cada alumne ha d’avaluar 3 companys, correcte?
>
>
> Us passo el PRIMER peer assessment que he creat i que cal acabar d’emplenar:
>
> EDICIÓ: https://class.coursera.org/magicmiddleages-001/admin/peergradings/3
> PREVISUALITZACIÓ SUBMIT: https://class.coursera.org/magicmiddleages-001/human_grading/view/courses/1/assessments/3/submissions/preview/edit?preview=submitting
> PREVISULAITZACIÓ AVALUACIÓ: xxx
>
> Potser caldrà posar una breu explicació pels alumnes de com funciona el tema, no? He trobat un resumet aquí que potser us pot servir:
>
> https://class.coursera.org/magicmiddleages-001/wiki/PeerAssessmentsEmbed
>
> 3) Avaluació
>
> Cal posar algun menú explicant l’avaluació del curs? Si és que sí, tenim el text en algun lloc? No l’he sabut trobar…

Resposta:

1) Enviem els qüestionaris inicial i final a l’inici i final del curs. Recorda que n’hi ha un de seguiment que aniria després del mòdul 3, equador del curs. On quedaran recollides les dades? Al mateix lloc que ara?

2) Peer assessment: compte, només n’hi ha al mòdul 5! Un en tot el curs! Tens penjada la pregunta del P2P a la carpeta corresponent al mòdul 5 + la rúbrica de respostes on hi diu també com puntuaran els estudiants l’exercici. A partir d’aquí, li podries assignar la nota calculant el % que pertoca a aquest exercici del P2P? El percentatge és a “assessment” carpeta 1. Em sembla recordar que era el vint i que rebien el 5% per corregir tots els exercicis dels companys (cada estudiant en corregeix tres, finalment: hauria de quedar així, TRES).

a) Si tens temps i et pots inscriure en un MOOC amb P2P per veure com en funciona un, seria ideal.

Els peer-to-peer no tenen res a veure amb els exercicis del fòrum. En el nostre cas n’hi ha un de sol al mòdul 5. L’escriuen en una mena de formulari en línia, són entre un i dos paràgrafs, cliquen submit (només si ho fan dins del termini, s’envia) i el dia que es tanca el termini, tres companys seus l’han rebut anònimament. Ells el corregeixen i envien dins del termini les correccions, tot marcant la puntuació correcta. Quan corregeixen tornen a veure la graella de puntuacions, però ja la veien al moment de fer l’exercici per saber com se’ls avaluarà. Si corregeixen dins del termini els 3 exercicis dels companys, rebem 5% aquest de la nota. Quan tanca aquest termini, els companys reben les correccions. A més de posar-los la nota, estaria bé obrir una casella per al camp: COMMENTS (optional) perquè hi posessin comentaris o l’opinió per justificar la nota.

Per tant, tot això passa en un espai provat dins de Coursera, mai al fòrum general del curs.

(El fòrum no té res a veure amb el P2P. A cada mòdul, tret del 5, hi tenen una activitat obligatòria proposada al fòrum. Ells sols s’ho comentaran i hi haurà respostes més votades que unes altres, amb +1 tipus Fb més o menys. Nosaltres tindrem un professor cada setmana que revisarà les respostes més votades i les comentarà des del seu usuari. A més, farem un vídeo d’un minut al final de la setmana per aclarir els dubtes importants i malentesos que hagin sorgit en aquestes respostes). No es puntua el contingut d’aquestes activitats sinó la participació, per això després de l’activitat al fòrum els hauria de sortir un qüestionari (el que avulua el % de la nota al fòrum, en què se’ls pregunta: Have you participated in the forum? yes/no (apel·lem al codi d’honor que han de signar per apuntar-se a coursera). Si és que sí, s’afegeix a la nota. Trobaràs el percentatge de la nota que donem entre totes les activitats del curs al document ‘assessment’).

El títol del P2P del mòdul 5, pot ser P2P. Per al fòrum, amb activity 1, 2… n’hi ha prou i hi escrivim la pregunta. Al modul 1, que vaig penjar jo mateixa, vaig errar-me i s’ha de canviar que aparegui escrit com a anònim, s’hi ha d’afegir la pregunta posterior sobre si hi han participat i m’agradaria que el fil d’activitats aparegués sempre destacat, dalt de tot, encara que els alumnes obrin després altres fils. I també que després de mirar vídeos i bibliografia, si continuen, la propera activitats que troben que sigui la del fòrum.

c) ha quedat respost, si no m’ho dius.

d) s’avaluen tots els mòduls, el 6 han d’haver participat al fòrum i contestat les preguntes-test dels vídeos aquell diumenge, també, al final de setmana. Ha de quedar anunciat el termini molt clar al calendari. El curs quedarà obert 15 dies més, però en principi sense més terminis, ni vells ni nous. S’hauria de tancar passats els 15 dies, sense perdre cap dada.

e) correcte, en el P2P, en canvi als fòrums no es controla.

No em funciona el vincle que ens proposes.

Cal penjar també al curs el document que hi diu ‘assessment’ en un lloc fix i destacat. També cal que emplenis la pestanya assessment de coursera a partir d’aquí (tingues present que no donem verified certificate, però sí certificate of acomplishment si arriben al 50% superat).

https://class.coursera.org/magicmiddleages-001/wiki/PeerAssessmentsEmbed Sobre aquest, està ben explicat però no volem que funcioni ben bé així, es pot modificar el funcionament del procés en el sentit que: a) si no corregeixes el dels teus companys, igual pots rebre corregit el teu exercici (a mi m’ha passat i l’he rebut corregit) i b) no estic segura a què puguin corregir més treballs, al p2p, dels que els han aribat, on anirien a buscar-los? podem modificar el text i, realment, assegurar-nos que rebran igual el text corregit si ells no ha revisat el dels companys? tot i que es queden sense el 5% de la nota.

3) tenim el document ‘assessment’.

Té coursera per als estudiants vídeos o textos com el que m’has enviat perquè sàpiguen què és un P2P? el fòrum és molt intuïtiu, però cal que tinguin penjat el dcument assessment per saber com se’ls avaluarà això.
……..

Espero que us serveixi d’orientació. M’agradaria saber quins escrits us són més útils o si funcionaria millor un enficament diferent del blog. Valoro els vostres comentaris.