Evaluación de los aprendizajes en las asignaturas de las cátedras del Programa de Enseñanza de la Matemática y cátedra de Ciencias Químicas, 2020-2022
Eugenio Rojas Mora¹, Estibaliz Rojas Quesada², Wendy Villalobos Gonzálezᵌ, Luis Fernando Ramírez Oviedo⁴, Alejandro Alonso Salas Vargas⁵, Emmanuel Chaves Villalobos⁶
¹Encargado de Cátedra, Universidad Estatal a Distancia, eurojas@uned.ac.cr . Sabanilla, Costa Rica
²Encargada de Cátedra, Universidad Estatal a Distancia, erojasq@uned.ac.cr . Sabanilla, Costa Rica
ᵌEncargada de Cátedra, Universidad Estatal a Distancia, wvillalobosg@uned.ac.cr . Sabanilla, Costa Rica
⁴Encargada de Cátedra, Universidad Estatal a Distancia, lramirez@uned.ac.cr . Sabanilla, Costa Rica
⁵Encargada de Cátedra, Universidad Estatal a Distancia, asalasv@uned.ac.cr . Sabanilla, Costa Rica
⁶Encargada de Cátedra, Universidad Estatal a Distancia, echavesv@uned.ac.cr . Sabanilla, Costa Rica
1-6Sabanilla. Costa Rica
RESUMEN
Las cátedras del Programa de Enseñanza de la Matemática y la cátedra de Ciencias Químicas experimentaron una transformación en su modelo educativo a partir del primer cuatrimestre del 2020 debido a la pandemia. Estos cambios afectaron la mediación pedagógica y la evaluación de los aprendizajes, lo que llevó a un papel central de los apoyos virtuales y los materiales digitales. En general, estas acciones fueron bien valoradas por los estudiantes, quienes reconocieron los esfuerzos de las cátedras en los foros de las asignaturas. Sin embargo, la evaluación de los aprendizajes presentó desafíos al trasladar los instrumentos del formato físico al formato digital mientras se mantenía la confiabilidad y validez. La digitalización también condujo a problemas de plagio y fraude académico, que en algunos casos fueron tratados por las autoridades académicas. Ante esta situación, se diversificaron los instrumentos de evaluación, incorporando métodos auténticos además de los tradicionales. De esta manera, el propósito es presentar los ajustes realizados en los modelos de evaluación de los aprendizajes en las asignaturas, así como compartir la experiencia en las pruebas escritas virtuales. Se busca valorar los aspectos positivos y aprovecharlos, pero también exponer las dificultades y riesgos asociados con la evaluación virtual, especialmente en términos de calidad educativa.
INTRODUCCIÓN
A partir del I cuatrimestre del año 2020 y posterior al inicio de la pandemia, la Universidad Estatal a Distancia sufre una transformación en su modelo educativo. Estos cambios inciden en la mediación pedagógica y la evaluación de los aprendizajes, y como consecuencia de esto, los apoyos virtuales y los materiales digitales tendrán un papel central.
En cuanto a los procesos metodológicos y estrategias de mediación, los ajustes han sido difíciles, pero los esfuerzos de encargados de cátedra y tutores del Programa han brindado resultados muy favorables para el estudiantado. Algunas acciones en el área de la mediación pedagógica han sido las siguientes:
· Tutorías sincrónicas en línea.
· Tutorías asincrónicas en los entornos virtuales.
· Creación de canales en YouTube para incluir tutorías virtuales y material audiovisual.
· Elaboración de audiovisuales.
· Elaboración de material didáctico de apoyo.
· Creación de centros de estudio en línea en donde los estudiantes pueden aclarar sus dudas con un estudiante facilitador. Estos espacios se denominan “estudiaderos”.
En general todo lo citado anteriormente, aunque es mejorable, siempre ha sido bien valorado por las personas estudiantes. En los foros de las asignaturas reconocen el esfuerzo de las cátedras.
En cuanto a la evaluación de los aprendizajes esta tenía como reto trasladar la aplicación de instrumentos del formato físico al formato digital, evaluando los objetivos de aprendizaje y manteniendo la confiabilidad y validez de estos. Con la digitalización de los procesos educativos se presentan una serie de situaciones de plagio y fraude académico, los cuales en ocasiones han sido trasladados a la Dirección de la Escuela de Ciencias Exactas y Naturales y a la Vicerrectoría Académica para valorar posibles sanciones de acuerdo con lo que se establece en el Reglamento General Estudiantil de la UNED, pero en una mayoría de estos se identifica que la normativa no está actualizada con el proceso educativo en modalidad virtual.
Ante esto, se tuvo la necesidad de diversificar los instrumentos de evaluación, de manera que no se aplicaran solamente instrumentos de evaluación tradicionales, sino que también se utilizaran instrumentos de evaluación auténtica.
El propósito de este documento es presentar los distintos ajustes que se realizaron en los modelos de evaluación de los aprendizajes en las asignaturas a cargo de las cátedras y, además, la experiencia en la prueba escrita virtual, de modo que se valore lo positivo que dejó este proceso y se potencie, pero a su vez, exponer las dificultades y riesgos que se presentan si se continua solamente con la evaluación virtual, especialmente para la calidad educativa que se ofrece.
METODOLOGÍA
Este artículo de sistematización requirió hacer una revisión de la normativa institucional que posee la UNED y que ya existía antes de la declaración de la Covid-19, además, se revisaron los lineamientos emitidos por las autoridades universitarias durante el 2020-2021, periodo en el cual se mantenían los planes remediales emergentes para atender el tema de la evaluación de los aprendizajes en la pandemia. También se realizó una revisión de las Orientaciones Académicas, así como de los entornos virtuales de aprendizaje de las asignaturas del Programa de Enseñanza de la Matemática y de la cátedra de Ciencias Químicas.
RESULTADOS Y ANÁLISIS
A) Modelos de Evaluación: actividades evaluativas implementadas o ajustas
Ante este panorama, desde en el Programa se realizaron algunos ajustes con el fin de apoyar a las personas estudiantes y además garantizar que el proceso de evaluación de los aprendizajes se cumpliera con los mínimos requeridos respecto a calidad, validez y confiabilidad, algunas de estas se describen a continuación.
· Foros
Los foros son utilizados en dos líneas: uno académico y otro para responder dudas planteadas por el estudiantado.
En ocasiones, en este tipo de instrumento se contemplan situaciones donde se identifica plagio, ya que, a pesar de las directrices de las cátedras, en la mayoría de los casos, no se realiza la citación o referencia, además, se presentan ideas que no son propias del estudiantado.
No obstante, los grandes beneficios de esta herramienta, en algunas ocasiones el estudiantado prefiere consultar en los grupos de WhatsApp y Telegram, no aprovecha estos espacios.
· Talleres de conceptos matemáticos utilizando software.
La técnica consiste en la aplicación de un taller para evaluar objetivos de aprendizaje seleccionados. Para aplicarla se requiere de un documento base con la mediación pedagógica de contenidos del taller integrando algún software matemático.
· Tareas comprensivas
Estos son los instrumentos que sustituyeron a las pruebas escritas presenciales. Se aplican en un tiempo que va desde las cuatro a las seis horas y se les asigna un porcentaje entre el 15% y el 20% del porcentaje total de la asignatura. Se ha tenido la dificultad de que algunas personas estudiantes no se ajustan al tiempo dado y por lo consiguiente pierden el porcentaje asignado, ya que, en algunos casos, realizaban búsquedas en internet o visualizaciones de videos en YouTube que les colaborara en la resolución de los ejercicios. Además, en otros casos repasaban las grabaciones de las tutorías, y los apuntes de la asignatura.
Además, son los instrumentos que más problemas de plagio o de fraude académico han presentado, ya que en algunos casos podrían estar compartiendo soluciones. Se ha evidenciado la conformación de grupos de WhatsApp en los que se comparten respuestas y donde profesores ofrecen sus servicios en la solución de estos.
Por la naturaleza de las asignaturas de química y matemática, no se considera favorable la sustitución de pruebas presenciales por tareas comprensivas, esto porque los objetivos que se evalúan en cada asignatura, y para resolver cada ejercicio, en el desarrollo de la prueba la persona estudiante debía invertir una gran cantidad de tiempo investigando en las ayudas y luego iniciar la redacción de soluciones.
· Laboratorios de software.
Estos instrumentos se aplicaron en las asignaturas Herramientas Multimediales I y Herramientas Multimediales II. Previo a la pandemia se aplicaban, no obstante, por ajustes en la mediación pedagógica, se decidió cambiar el material didáctico y el formato.
· Tareas
Este instrumento es de amplia utilización, se emplea en todas las cátedras y la utilización más común es la formulación de 4 o 5 ejercicios de desarrollo que cada persona estudiante resuelve en un lapso de tiempo, en estos instrumentos es completamente válido aprovechar todos los recursos válidos para resolverla y presentarla. Su valor porcentual también es variable, en la pandemia se realizaron las adaptaciones necesarias de forma que el estudiante tuviera las facilidades para desarrollarlas.
· Proyectos.
Estos se aplican principalmente en asignaturas cuyos objetivos lo permiten y requieren, pero también tuvieron un cambio, ya que se requería ajustar la didáctica empleada. Los cambios involucran un acercamiento mayor a la utilización de la Historia en la Didáctica de la Matemática, para esto, con el apoyo de audiovisuales se incluyó la elaboración de proyectos, para los cuales se realizan revisiones previas de avances con un valor porcentual muy bajo, esto con el propósito de que la población estudiantil pueda corregir errores y desarrollar un mejor producto.
· Videoconferencias
Son espacios sincrónicos donde se promueve el trabajo colaborativo entre los miembros. Generalmente, se cuenta con la interacción del profesor y un máximo de 6 estudiantes, donde en conjunto desarrollan el proceso de solución a un ejercicio o problema planteado. A pesar de ser un espacio donde se cuenta con el tutor, se han presentado situaciones en donde la persona estudiante recibe apoyo de un tercero desde la aplicación WhatsApp. En varios casos, se identifican dificultades para responder las preguntas que realiza el docente, evidenciando claramente problemas de aprendizaje.
· Actividades de plataforma.
Entre las actividades de plataforma que se utilizan, se puede mencionar cuestionarios, crucigrama, infografías, autoevaluación y equipo base.
En el caso particular de los cuestionarios virtuales, se emplean a lo largo del cuatrimestre y consisten en una serie de preguntas objetivas de selección única, selección múltiple, respuesta corta, falso y verdadero, preguntas parametrizadas. Este tipo de instrumento tiene ventajas en la virtualidad, sin embargo, ese tipo de preguntas usualmente requiere de ejercicios de Cálculo, y se tiene la dificultad que existen diferentes softwares de acceso libre que el estudiantado puede utilizar para resolver este tipo de preguntas sin necesidad de adquirir el aprendizaje deseado.
Por su parte, la autoevaluación es un espacio se habilita una serie de preguntas que tienen como finalidad guiar al estudiantado en las diferentes actividades que debe realizar, pretende que de forma autónoma se realice un auto seguimiento de su proceso académico. No obstante, al ser utilizada de forma voluntaria, es muy poco empleadas por las personas estudiante.
En cuanto al equipo base, es un espacio sincrónico que se hablita en cuestionarios y tareas comprensivas, con el fin de que se cuente con uno o dos profesores atendiendo dudas académicas y administrativas de forma oportuna. A pesar de ello, la interacción no es como se espera, ya que se ha identificado que las personas estudiantes prefieren plantear sus dudas en los grupos formados con la aplicación WhatsApp, los cuales no son medios oficiales, pero de interacción constante entre la población estudiantil de cada asignatura.
· Pruebas virtuales
A raíz de las reflexiones realizadas por los tutores, quienes observaban muchas similitudes en las tareas comprensivas, en algunas cátedras se retomaron las pruebas escritas ordinarias, ahora 100% virtuales, manteniendo las tareas regulares y los cuestionarios. Al ser pruebas escritas ordinarias cuentan con prueba de reposición y son monitoreadas por el tutor en tiempo real con cámara.
B) Reflexiones de las personas Encargadas de Cátedra
Algunos de los aspectos involucrados en la evaluación de los aprendizajes que han sido de reflexión de los encargados son los siguientes:
· Aplicación de pruebas escritas de forma virtual
La aplicación de pruebas escritas a través de las plataformas que tiene la Universidad inicia con la situación provocada por el Covid-19, dado que se requería mantener a las personas aisladas con el fin de evitar la propagación de la enfermedad. Por lo que, la digitalización de los procesos educativos en la UNED era un proceso adecuado para mantener los ciclos lectivos desde los entornos virtuales de aprendizaje.
No obstante, para garantizar la validez y confiabilidad, la Dirección de la Escuela de Ciencias Exactas y Naturales, en el año 2020, a dar una pausa en la aplicación de pruebas de forma virtual. Existen varias ventajas, entre estas:
o Se disminuye considerablemente el uso de papel, lo que genera un ahorro económico para la Universidad.
o Ahorro de tiempo y combustible, dado que ya no se debe hacer la distribución de las pruebas escritas en las diferentes sedes universitarias.
o Ahorra tiempo y dinero al estudiantado, dado que en la mayoría de los casos no se deben trasladar para la aplicación de las pruebas.
o Ahorro de tiempo para los tutores que ya no deben desplazarse a retirar y devolver las pruebas calificadas en la Sede Central de Sabanilla.
o Permite el nombramiento de personas en diferentes partes del país, porque ya no deben presentarse a retirar y entregar pruebas en la Sede Central de Sabanilla.
o Disminuye el trabajo en el Centro de Operaciones Académicas que se encargaban del trasiego de las pruebas impresas.
o Al diversificar la evaluación de los aprendizajes el estudiantado tiene menor cantidad de contenidos por actividad evaluativa, lo que aumenta la seguridad de las personas estudiantes.
o Las estrategias anti plagio y fraude académico inhiben a las personas estudiantes a compartir preguntas de desarrollo, por lo que muchos dejan estas preguntas en blanco.
En relación con las desventajas, se tienen las siguientes:
o La evaluación de los aprendizajes de las asignaturas podría no tener una plena concordancia con lo que se especifica en los diseños curriculares, debido a que no fueron elaborados para una modalidad 100% virtual.
o El proceso de aplicación
completo de pruebas escritas se recargó en todo el equipo docente (personal
tutor y encargado de cátedra) y no necesariamente estos tiempos que se
reconocen en la asignación.
o La población estudiantil realiza las pruebas en un ambiente en el cual la supervisión no es la requerida, esto no permite garantizar la validez y confiabilidad del instrumento Esta persona podría estar acompañado de algún asesor que le apoye en las respuestas, además, podría tener recursos didácticos físicos o digitales no permitidos en posiciones no detectadas por cámaras web utilizadas.
o No existe seguridad que la persona estudiante matriculada sea la persona que está realizando las actividades evaluativas. Una aplicación para la virtualidad es más susceptible a situaciones de fraude, dado que se encuentran en un espacio fuera de control.
o Existen situaciones complejas que afectan la aplicación de forma virtual, donde no se consideran las condiciones del estudiantado en sus hogares. Si bien es cierto ya no tienen que salir de su casa para aplicar una prueba, sus casas no salen de ellos cuando están en la aplicación del instrumento de evaluación.
Por ejemplo, cuando se monitorean pruebas, se observan aspectos como:
ü Algunas personas estudiantes tienen que resolver la prueba con uno de sus hijos en brazos porque no tienen quien se los cuide.
ü Resolver la prueba escrita en el comedor-cocina porque no tiene otro espacio adecuado, con lo cual se puede apreciar a los familiares cocinando detrás, hablando entre ellos, se ve a los familiares entrar al baño, en fin, interrumpir durante la aplicación.
ü Estudiantes que indican que les están tocando la puerta y solicitan permiso para ir a ver quién es o para recibir algún encargo.
Por lo tanto, las pruebas con cámara nos han mostrado que muchas personas estudiantes no cuentan con las condiciones adecuadas en sus hogares para aplicarla. Si bien es cierto que la virtualidad facilita el accionar de algunos, para otros, el no contar con un espacio en la universidad equipado y programado para presentar una prueba, representa una desventaja.
o Existen grupos de redes sociales organizados. El estudiantado puede acceder desde la página denominada “Campus Estudiantil UNED” https://campusestudiantiluned.com/. En estos grupos se facilitan los enunciados de las preguntas y sus respectivas soluciones.
o La existencia de profesores de apoyo cuando el estudiante realiza la prueba, que son personas que se encargan de realizar las actividades evaluativas por el estudiantado. Estas personas generalmente ingresan con el usuario y contraseña de cada estudiante, y efectúan las actividades por ellos. En otras ocasiones, facilitaban la solución de las evaluaciones y cobran un monto económico por estas.
o Existe una brecha digital entre la población estudiantil de la zona urbana y la rural, dejando en desventaja a una gran parte de las personas de sedes como Talamanca, Buenos Aires, entre otras, por su limitación al acceso de internet estable y de recursos tecnológicos para apoyar el proceso.
o La digitación de texto matemático, por parte del estudiantado, requiere más tiempo que la escritura en papel, lo que obliga a aumentar los periodos de aplicación. En algunos casos, el estudiantado debe enviar a la plataforma imágenes de sus respuestas, lo que aumenta el tiempo y las dificultades tecnológicas tanto para el que aplica como el que califica el instrumento.
o Al no existir una programación institucional de pruebas virtuales, aumentó la cantidad de instrumentos que el estudiante debe realizar en forma simultánea y por consiguiente ahora las cátedras aplican más reposiciones. Debido a esto, la asignación de tiempos en este rubro se incrementó, inclusive en ocasiones se tienen que elaborar los instrumentos sin la asignación respectiva recargando el trabajo de los académicos. Pero, además, se aumentaron los tiempos dedicados a la coordinación con la población estudiantil para determinar cuáles días tienen disponibles para reponerlas, también, solicitarle al tutor que las califique en otros periodos, además de modificar los cronogramas de acuerdo a la diversidad de situaciones presentadas.
o Las estrategias aplicadas por las cátedras para el anti-plagio y fraude académico solamente disminuyen las posibilidades que se comentan este tipo de faltas, los procesos de aplicación continúan siendo inseguros.
o En primera instancia, la actualidad la Universidad no cuenta con una estructura tecnológica para garantizar que el proceso de aplicación de pruebas virtuales sea válido y confiable, pero, además, si tuviera estos requerimientos, las condiciones socioeconómicas y de acceso a Internet de los estudiantes y los territorios, no permitirían adecuarse a este sistema sin que existiera una exclusión estudiantil considerable.
o Las videoconferencias de Zoom que planifica el estudiantado para la elaboración de las pruebas extensas.
o Algunos estudiantes que comparten sus actividades académicas con sus pares.
Luego de que la persona ha pasado los cursos básicos iniciales y matricula el curso siguiente se detectan falencias en el nivel de aprendizaje adquirido.
Se podrían estar graduando profesionales que quizás no tienen las destrezas, conocimientos y habilidades suficientes para afrontar con éxito su vida profesional.
o Se han creado chats de inteligencia artificial que realizan reportes, ensayos e investigaciones con citas y referencias.
C) La ética: acciones realizadas para combatir el plagio y el fraude
Ante lo citado anteriormente las cátedras también han reflexionado acerca de la ética y la evaluación de los aprendizajes, a partir de ese análisis han concretado acciones para la prevención y abordaje del plagio y el fraude académico estudiantil:
a. Conferencias de honestidad académica a cargo del profesor Jeffry Barrantes Gutiérrez.
b. Campañas de honestidad académica dentro de los entornos estudiantiles.
c. Realizar declaraciones jurada de actividades evaluativas.
d. Revisar la dirección IP del estudiante.
e. Disminución del tiempo en algunas actividades evaluativas.
f. Elaboración en cada cuatrimestre de ejercicios nuevos, ya que los estudiantes tienen fotocopias de las bases de datos.
g. Instrumentos con algún componente aleatorio.
h. Aplicar la medida de que después de 30 minutos de iniciar la evaluación no podrá ingresar a resolver
D) Validez y confiabilidad de los instrumentos
Además, existe en las cátedras una preocupación por la validez y confiabilidad de los instrumentos, la primera corresponde a la precisión con la que un instrumento proporciona información y la coherencia en los puntajes, de esta manera, para establecer la confiabilidad se debe tener claro que se busca precisión y consistencia interna en un instrumento, las cuales se pueden establecer de manera empírica (AERA, APA y NCME, 2018).
Cuando se busca la confiabilidad, se analiza el valor de un instrumento de medición en relación directa con la consistencia en la medida. De esta manera, se puede indicar que la confiabilidad se relaciona con el grado de consistencia con que los examinados realizan la prueba, de ahí que sea importante determinarla.
Una manera para determinar la confiabilidad es por medio de por formas alternas, donde se utilizan dos pruebas que son similares en contenidos, las cuales se aplican a la misma muestra con diferencia de un tiempo prudencial (mínimo dos semanas) entre una y otra (Jiménez, 2010).
Por su parte, la validez se encarga de establecer si se mide lo que realmente se debe, por ello, corresponde el grado en que las evidencias empíricas y teóricas apoyan las interpretaciones de las puntuaciones dadas en los instrumentos de evaluación para el uso previsto de esta. Es decir, lo que se analiza son las interpretaciones de las puntuaciones obtenidas para el uso propuesto, ya que de esta manera se justifica su implementación. Para realizar la validación, se requiere establecer una propuesta de interpretación de los puntajes junto con una fundamentación que considere el alcance, la extensión, así como los estándares del constructo (AERA, APA y NCME, 2018).
Hay muchos tipos de evidencias de validez, y de acuerdo con el fin para el que se van a utilizar las puntuaciones, se pueden considerar varios aspectos a la hora de seleccionarlas. Para establecer cuáles son vinculantes, es recomendable desarrollar un conjunto de proposiciones que apoyen la interpretación inicial de la prueba a través de diferentes fuentes. Por ejemplo, se puede considerar evidencia empírica, basada en el juicio de expertos, en el contenido, en proceso de respuesta, en la estructura interna, en relación con otras variables o en consecuencias de la prueba.
Si se consideran las definiciones de validez y confiabilidad proporcionadas, en este documento se incluyen una serie de factores que evidencian que en la prueba virtual estas no se cumplen de forma adecuada, en especial por situaciones que están fuera del control de los profesores a cargo.
CONCLUSIONES
Las siguientes corresponden a conclusiones sobre el estudio sobre la evaluación de los aprendizajes:
1. En el período de pandemia se produjo un aprendizaje valioso en materia de didáctica y evaluación de los aprendizajes, las cátedras desarrollaron variedad de recursos didácticos e instrumentos de evaluación para desarrollar la mediación pedagógica
2. Los nuevos instrumentos de evaluación de los aprendizajes han permitido diversificar el proceso evaluativo, esto favorece la toma de decisiones cuando se realiza el planeamiento de la asignatura, además, las personas estudiantes tienen la oportunidad de mostrar sus conocimientos de distintas formas.
3. El plagio y el fraude aumentaron en este período, con las dificultades que esto ocasiona, en donde los ejercicios y problemas tienen un estándar de solución que no permite detectar la copia muy fácilmente.
4. Existen asignaturas que por las características de las áreas temáticas que se abordan, es complejo realizar instrumentos de evaluación alternativos, dado que implicarían otros niveles de dificultad no estipulado en los diseños curriculares ni concordante con los perfiles académicos de las carreras.
5. Las pruebas digitales no han podido reemplazar las presenciales, aún la Universidad no está preparada con los dispositivos tecnológicos requeridos, además, el estudiantado requiere apoyo económico o mejores posibilidades de ser atendidos por las sedes universitarias cuando realizan el instrumento.
6. Es necesario que en un futuro próximo la UNED pueda implementar las herramientas tecnológicas necesarias para asegurar que las personas estudiantes están adquiriendo el nivel de aprendizaje indicado en los diseños curriculares de las asignaturas.
RECOMENDACIONES
1. Para aquellas asignaturas que tienen objetivos que lo requieran, es deseable el retorno de al menos una prueba escrita presencial por cuatrimestre o semestre, esto garantizaría la validez y confiabilidad de los instrumentos de evaluación.
2. Las autoridades de la UNED, han de garantizar y promover las condiciones tecnológicas adecuadas para implementar las pruebas virtuales, de tal manera que la validez de resultados no sea cuestionada.
REFERENCIAS
American Educational Research Association, American Psychological Association y National Council on Measurement in Education. (2018). Estándares para Pruebas Educativas y Psicológicas. American Educational Research Association.
Jiménez, K. (2010). Validación de la Prueba “Diagnóstica de conocimientos y destrezas en Matemáticas del estudiante al ingresar a la universidad” de la Escuela de Matemática de la UCR. (Tesis de Maestría en Matemática con énfasis en Matemática Educativa). Universidad de Costa Rica, Sede Rodrigo Facio.