Percepción de docentes de una universidad a distancia de Costa Rica sobre

la elaboración de pruebas escritas y el uso de tablas de especificaciones

Yency Calderón Badilla, Carmen Andrés Jiménez & Luis Eduardo Montero Castro

Escuela de Ciencias Exactas y Naturales, Universidad Estatal a Distancia (UNED), 474-2050 Mercedes de Montes de Oca, San José-Costa Rica; ycalderon@uned.ac.cr , candres@uned.ac.cr, lemontero@uned.ac.cr

Recibido 01-vi-2017 • Corregido 27-ix-2017 • Aceptado 31-X-2017

ABSTRACT: Teaching staff perception from a distance university in Costa Rica about the preparation of written tests and the use of specification tables. The elaboration of written tests requires a series of steps that determine the quality of the final product. We surveyed 33 teachers in a Costa Rican distance university and found that most complain of insufficient time given to elaborate tests. Not all teachers elaborate an item specification chart or discuss their work with their bosses, who provide the format and objectives. Nevertheless, all teachers check course contents before designing the exam. Teachers should be given more time and supervision to prepare tests.

Key words: Written examinations, educational quality, teachers, distance education, learning

En Costa Rica, el Ministerio de Educación Pública (2008), publicó un documento en el que se enfatiza que la elaboración de pruebas escritas de alta calidad, es un trabajo que compete a cada docente y está ligado a la coherencia que existe entre el planeamiento didáctico, las actividades de mediación desarrolladas en el aula, las técnicas implementadas y los instrumentos de medición. Por su parte la UNED ha venido estableciendo sus propios lineamientos para el diseño de pruebas escritas, tal como se evidencia en el documento Recomendaciones para la Evaluación de los Aprendizajes en la Universidad Estatal a Distancia (2009) es bajo esos lineamientos que la Unidad de la Unidad de Asesoría Académica de la Escuela de Ciencias Exactas y Naturales (ECEN), se basa para la elaboración de sus pruebas escritas.

Es así como el Ministerio de Educación Pública (MEP), ha promovido el uso del cuadro de balanceo para establecer el equilibrio entre el número de lecciones dedicadas a desarrollar los objetivos de aprendizaje en el aula y los objetivos específicos que serían seleccionados para medir al estudiantado en la prueba escrita o examen, el cuadro de balanceo se utilizaba con intención de proporcionar evidencias de validez de contenido. Para Hernández (1997) el cuadro de balanceo se realiza para evitar que “la prueba escrita resulte improvisada, que se castigue al estudiantado o que se incluyan contenidos que no fueron enseñados” (p.58). Actualmente, el MEP (2008), indica que para garantizar la validez del contenido de la prueba escrita es necesario considerar el planeamiento didáctico, utilizando una tabla de especificaciones cuyo fin es representar los productos de aprendizaje desglosados en el planeamiento didáctico y logrado por el estudiantado durante la mediación pedagógica.

Por otro lado, para Mehrens y Lemhann (1982) la planificación de la prueba escrita requiere incluir el diseño de la tabla de especificaciones. Por otro lado, según Bolaños (1999) es “una buena práctica que conviene aplicar cuando se diseña una prueba y consiste en mostrar en primer lugar y de manera esquemática qué contenidos y qué objetivos serán evaluados” (p.94). Además Mehrens y Lemhann (1982); y Castillo y Cabrerizo (2007) mencionan que la tabla de especificaciones permite construir los ítems con base a los objetivos y los contenidos de aprendizaje lo cual lleva a obtener y evidenciar la validez de contenido de la prueba dado que tiene como propósito establecer claramente el alcance y el énfasis de la prueba. Finalmente, Santos y Pérez (2013) indican que ítems no representativos de los componentes o inadecuadamente redactados llevarán a problemas posteriores que impedirán la consecución de una prueba de calidad; lo cual sucede si no se utiliza la tabla de especificaciones.

Con respecto al diseño de instrumentos de evaluación, propiamente la prueba escrita, Sans (2008) menciona que posterior a la formulación de los ítems es necesario revisar aspectos tales como el vocabulario utilizado, la redacción, la concordancia gramatical, las indicaciones para su resolución, la presencia real de respuesta para cada ítem, la asignación de puntos, entre otros puntos que permitan garantizar los principios técnicos, estéticos y de redacción en cada uno de los ítems y sus instrucciones.

Por su parte, en la UNED tradicionalmente se ha utilizado la prueba escrita o examen para evaluar el aprendizaje del estudiantado, a raíz de esto se han realizado informes acerca de la gestión de las pruebas escritas (CONCAL, 1995; CIEI, 2010; D´ Agostino y Vargas, 2005; CIEI, 2010; PACE et al., 2007). En ellos se destacan las debilidades técnicas que poseen los ítems y la ausencia de la tabla de especificaciones como instrumento para planificar la prueba escrita. Además se han elaborado documentos para guiar al personal docente en el diseño técnico de los ítems Bolaños (1999) y UNED (2009).

Conjuntamente, Andrés, Calderón y Herrero (2017), elaboraron una investigación comparando la prueba escrita con estrategias de evaluación alternativa y en este estudio se determinó cómo la prueba escrita se utiliza de una forma menos frecuente que otras formas alternativas de evaluación y la combinación de ambas resulta la mejor opción para el personal docente.

En la Universidad Estatal a Distancia (UNED), los encargados de cátedra son las personas responsables de elaborar los instrumentos de evaluación de los aprendizajes (UNED, 2008), sin embargo, el diseño de pruebas escritas actualmente es realizado por el equipo de docentes que conforman la Cátedra a los cuales se les asigna tiempo académico según lo estipulado en la normativa institucional referida al sistema de asignación de tiempo para realizar las tareas académicas, en esta normativa se otorgan dos horas absolutas por instrumento de evaluación y su respectivo solucionario (UNED, 2008).

Por otra parte, la UNED (2012) ha establecido en el reglamento general estudiantil una clasificación de las pruebas escritas para evaluar el aprendizaje estudiantil. En este sentido, está la prueba escrita ordinaria, la prueba de reposición y la prueba diferenciada. Cada tipo de prueba puede ir en formato físico o digital y deben evaluar los objetivos y contenidos de aprendizaje de la asignatura y contar con el respectivo solucionario u hoja de respuestas. La UNED (2011) define la prueba escrita como un “instrumento de evaluación de los aprendizajes constituido por ítems objetivos y de ensayo, que se construye a partir de la selección de los objetivos que se van a evaluar, determinar o considerar las debilidades y fortalezas del estudiantado” (p.67).

Como se mencionó aunado al diseño de la prueba escrita el personal docente también deben elaborar el respectivo solucionario, el cual “tiene como finalidad orientar al estudiantado en su proceso de autorregulación de aprendizajes, por cuanto le ayudará a comprender la calificación obtenida y a la vez realimentar su proceso de construcción de conocimientos” (p. 72) (UNED, 2011). Con respecto a la tabla de especificaciones la UNED (2009) menciona que “está relacionada con lo que realmente se quiere medir, de acuerdo con el valor porcentual que le otorgue la cátedra a los objetivos de aprendizaje del curso, acorde con la cantidad de horas asignadas a cada uno de ellos, consignado en la Tabla de Distribución de Horas del diseño de asignatura/curso” (p. 29).

Finalmente, aunque este estudio no pretende desestimar los aspectos éticos, sociales y didácticos de la prueba escrita, su propósito es dar un acercamiento a la percepción que poseen el personal docente acerca de la planificación de la prueba escrita y el tiempo que se requiere para elaborar las pruebas y los respectivos solucionarios.

MÉTODOS

Realizamos un estudio exploratorio para conocer la percepción de un grupo de docentes referida a la planificación de la prueba escrita y al tiempo que deben dedicar en el diseño de prueba. El estudio se realizó en la Escuela de Ciencias Exactas y Naturales (ECEN), la cual está conformada por una Dirección, una unidad de asesoría académica, un programa de laboratorio de ciencias básicas, 11 carreras, 46 cátedras y un programa de extensión en Gerontología.

Inicialmente, realizamos una revisión bibliográfica de los lineamientos institucionales acerca del diseño de pruebas escritas, tales como el Reglamento general estudiantil, el manual de puestos de la UNED, el sistema de asignación de tiempos para la actividad académica en la UNED. Igualmente, se revisaron algunos estudios realizados en la UNED que hacen referencia al diseño de las pruebas escribas o exámenes. Además aplicamos un instrumento en línea a 33 docentes de la ECEN durante el primer cuatrimestre del 2017. El cuestionario fue conformado por 27 preguntas (Apéndice digital 1)

Al ser un estudio exploratorio, el análisis de resultados se hizo de forma cualitativa, en términos de porcentajes y cuadros.

RESULTADOS

A continuación se presentan los principales hallazgos obtenidos a partir de la información de los encuestados.

• Información general

Se realizó una encuesta a 33 docentes, de los cuales 29 contestaron siendo la mayoría de la provincia de San José (42,42%), con un rango de edad la mayoría (54,55%) entre los 26 y 40 años, un 47% de los docentes son mujeres y un 53% hombres.

Seguidamente, se indagó el tiempo que tenían de trabajar en la UNED y se encontró que un 43% tienen de 1 a 4 años y un 25% de 5 a 8 años. El resto tienen de 9 a 13 años o más. Casi un 58% del personal docente tienen grado de maestría, un 33% licenciatura, un 6% bachillerato y 3% doctorado.

• Información por tema

Acciones al iniciar y terminar de elaborar las pruebas escritas: Las acciones que el personal docente realiza previamente cuando se les asigna la elaboración de una prueba escrita se resumen en el Cuadro 1.

El 70% del personal docente diseña parcialmente los ítems y los finaliza en otro momento, sólo un 30% los diseña y finaliza en el mismo momento.

El personal docente afirman que una vez finalizada la elaboración de la prueba escrita realizan acciones para verificar la calidad de la prueba escrita, tales como leer nuevamente los ítems (93,1%), verificar si cada ítem posee la respuesta correcta (96,55%) y corregir aspectos gramaticales u ortográficos (100%).

• Horas utilizadas para la elaboración de las pruebas escritas: El tiempo que el personal docente utiliza para diseñar una prueba escrita con y sin su respectivo solucionario se muestra en el Cuadro 2.

• Ambiente de trabajo: El 100% del personal docente respondió que utiliza un espacio físico con ventilación e iluminación adecuada.

• Asignación de puntajes: El 100% del personal docente afirma que asigna el puntaje de los ítems según el nivel de dificultad.

• Formato utilizado: El 100% del personal docente afirma los ítems los redacta bajo el formato y lineamientos que solicita la Cátedra.

• Redactar los ítems: El 93,55% del personal docente afirma que es el responsable de redactar los ítems de la prueba escrita y un 93,33% dice que los redacta a partir de los objetivos y contenidos de aprendizaje de la asignatura.

• Elaboración de instrucciones: El 83,87% afirma que redacta las instrucciones generales de la prueba escrita y el 16,13% indica que no hace la redacción de las instrucciones generales. Asimismo, el 100% del personal docente redacta instrucciones para cada ítem.

• Tiempo asignado para elaborar ítems: Con respecto a tiempo disponible para diseñar la prueba escrita se obtuvieron los siguientes resultados:

Un 6,9% del personal docente consideró que es suficiente asignar 12 horas absolutas a la elaboración de 6 pruebas escritas (93,1% dijo que no). Además, un 96,55% dijo que no está de acuerdo en que se asignen dos horas absolutas para elaborar una prueba escrita (un 3,45% dijo que sí).

Para presentar las razones principales del por qué no están de acuerdo con el tiempo asignado se procedió a categorizar los comentarios. Dichas categorías se identificaron a partir de las respuestas dadas por los participantes (Cuadro 3).

DISCUSIÓN

El análisis del proceso de elaboración de pruebas escritas por parte del personal docente arrojó información importante en pro de la mejora dentro del quehacer de la Escuela de Ciencias Exactas y Naturales (ECEN), que también puede ser aplicado a la UNED, de acuerdo a las recomendaciones que arroja este estudio. La tarea de elaborar pruebas escritas no está restringida a un grupo específico de profesionales, sino en el caso de la UNED se observa que el personal docente posee grados académicos que van desde el bachillerato hasta el doctorado lo cual sugiere la complejidad de esta actividad.

Además, dado que todo el personal docente realiza como parte de su quehacer, la revisión previa del material a evaluar, la selección de contenidos e ítems más adecuados y consideración del tiempo que dispone el estudiantado para elaborar la prueba; implica algo positivo a rescatar dado que están destinando tiempo a tareas de planificación, tal como lo señalan Mehrens y Lemhann (1982), es necesario contar con una lista para verificar que se cumpla con la etapa de la planificación para preparar las pruebas escritas. Aunado a lo anterior, otros aspectos de verificación que podrían recomendarse son: el propósito de la prueba, qué pretendo medir, los objetivos de aprendizaje, los ítems son los adecuados según el propósito y objetivos, el tipo de prueba, entre otros.

A pesar de que se llevan a cabo acciones de planificación dentro del proceso de elaboración de pruebas escritas en la ECEN, una acción que debería ser parte de la planificación no está siendo utilizada y es lo que corresponde a la elaboración del cuadro de balanceo o tabla de especificaciones que implica la asignación del puntaje total y la selección de los ítems según los objetivos de aprendizaje y contenidos. En un estudio elaborado por Santos y Pérez (2013) destacan la importancia de realizar la construcción de los ítems posterior al diseño de la tabla de especificaciones además indican que son pocos los trabajos que utilizan esta metodología. Por otro lado, las evidencias relacionadas con la validez de contenido, se garantizan en la medida que la prueba se construya con una muestra representativa de los objetivos y contenidos desarrollados por cada docente durante el proceso de aprendizaje (MEP, 2008). El cumplimiento de lo anterior, evita que no se incluyan contenidos que sí eran importantes y que definen la calidad de las pruebas.

Complementando lo anterior, a nivel internacional, la preparación correcta de las pruebas escritas tiene relevancia y un efecto positivo en el desempeño de los estudiantes. Así se ve en un estudio realizado por James (2017), se encontró que por mucho tiempo el objetivo del profesorado fue asegurarse de que la población estudiantil obtuviera las mejores calificaciones, sin importar si de éstas se lograba o no un aprendizaje, cuando lo importante es motivar a cada estudiante a participar, aportar nuevas ideas y razonar. Asimismo, Pellegrino (2017), encontró que la evaluación debe diseñarse de manera que pueda enfocarse en el aprendizaje.

Tal y como se mencionó antes la tabla de especificaciones no se está utilizando por parte de cada docente, lo que puede estar afectando la calidad de las pruebas escritas dado que se observa que solamente un 30% los diseña y finaliza en el mismo momento. El hecho de no contar con una tabla de especificaciones y elaborar la prueba escritas de manera fragmentada puede alterar el hilo conductor en el diseño de los ítems y su estructura relacionada con los objetivos de aprendizaje, mientras que si se contara con esta tabla existiría una guía permanente para que prevenir y orientar al tutor cada vez que retoma la elaboración de la prueba.

Con respecto a lo anterior, en el documento elaborado por el MEP (2008), se indica que la tabla de especificaciones incluye los objetivos específicos, número de lecciones, puntos por objetivo, tipo de ítem y el total, lo cual permite calcular la puntuación total de la prueba y los puntos por objetivo. Lo anterior es de suma importancia para asegurar la mediación pedagógica que el personal docente pueda dar en la prueba escrita al estudiantado. Sin esta guía, no se asegura que se estén cumpliendo a cabalidad los objetivos propuestos.

A nivel internacional, de igual manera Kalantari, Zadeh, Agahi, Navabi, Hashemipour & Nassab (2017), realizaron un estudio para determinar los niveles de ansiedad de los estudiantes a la hora de realizar una prueba escrita y lo que encontraron además de que cada discente tenía un nivel de ansiedad similar, el hecho de haberse preparado lo suficiente y sentirse con confianza para realizar la prueba, significó una ventaja ante el estudiantado que no se había capacitado lo suficiente.

Finalmente, el hecho de que menos del 60% del personal docente no se reúnen con las cátedras sugiere la necesidad de incorporar esta práctica en el quehacer de las Cátedras dado que es necesario establecer la comunicación y la armonía entre los actores responsables del proceso de enseñanza y aprendizaje incluyendo la prueba escrita como parte de este. En un estudio realizado por Garrido, López, Urban y Herrera (2006), recomiendan utilizar herramientas como foros, blogs o wikis, para mejorar la comunicación entre docentes. En este caso podría resultar útil para las Cátedras, las cuales tienen diferentes docentes elaborando pruebas escritas, para que se tenga una comunicación fluida y concordante entre cada miembro del equipo de trabajo y no se dejen de lado detalles que pueden incidir en la calidad de los instrumentos de evaluación.

Posterior al diseño de la prueba escrita el personal docente verifican la calidad de la prueba escrita considerando temas gramaticales, lectura de los ítems y la veracidad en las respuestas que posean los ítems planteados, lo cual puede señalarse como un resultado positivo que incide directamente en la calidad de las pruebas escritas.

El hecho de que la elaboración de la prueba escrita con su respectivo solucionario implica mayor cantidad de horas dedicadas por el personal docente que las que le son asignadas de acuerdo con la normativa institucional es un hallazgo importante. Una de las tendencias actuales a largo plazo, según el Informe Horizon (Adams, Cummins, Davis, Freeman, Hall & Ananthanarayanan, 2017), sobre el aprendizaje, es utilizar estrategias que profundicen más sobre los temas y el conocimiento que los estudiantados adquieran tenga un impacto profundo en el mundo. Si no se asigna suficiente tiempo a el personal docente para elaborar las pruebas escritas, no se logrará elaborar instrumentos que promuevan un profundo análisis de los temas en estudio, tal como lo pide el Informe Horizon.

A pesar de que la tabla de especificaciones no está siendo siempre utilizada por la docencia, cada docente afirma que el puntaje de los ítems los asigna según el nivel de dificultad. Lo anterior refleja la necesidad de capacitar al personal docente en los aspectos técnicos relacionados con la prueba escrita.

Dado que todo el personal docente procura trabajar el diseño de pruebas escritas en ambientes provistos de una ventilación e iluminación adecuada puede considerarse que existe preocupación por atender dicha tarea bajo condiciones óptimas para la salud. Un tratamiento adecuado del ambiente visual permite incidir en la seguridad, confort y productividad de la fuerza laboral (INSHT, s.f.). Asimismo, con respecto a una ventilación adecuada, Pardo (2011), indica que la Organización Mundial de la Salud señala que el síndrome del edificio enfermo se caracteriza por las siguientes patologías: irritación ocular y de garganta, sensación de sequedad en las membranas mucosas, fatiga mental, dolor de cabeza. Estos padecimientos deben evitarse para el personal docente que están realizando las pruebas escritas en la UNED.

Otro aspecto importante que debe estar presente en las pruebas escritas es lo concerniente a la información administrativa que permite ubicar al estudiantado con relación a la institución, el contenido de la prueba, nombre de la asignatura, bloque, entre otros. Lo cual en este estudio se comprueba dado que el personal docente afirma que los ítems los redacta bajo el formato y lineamientos que solicita la Cátedra tal requisito es normado a nivel institucional.

Se concluye que los profesionales que están elaborando las pruebas escritas en la ECEN están realizando una planificación que incluye aspectos importantes para que sean aprovechadas de la mejor manera por parte de cada discente, pero es necesario reforzar y definir políticas del uso de la tabla de especificaciones para que todo el personal docente se vea en la necesidad de utilizarlas, de manera que se pueda mejorar la calidad del producto final y se beneficie a cada estudiante. Asimismo, se recomienda realizar reuniones con las cátedras para llegar a acuerdos que vayan más de la mano con los objetivos de aprendizaje de las asignaturas. De forma similar, se sugiere analizar la cantidad de horas que se le está dando a cada docente para que realice las pruebas escritas, dado que se demostró que la cantidad asignada no es suficiente para el tipo de trabajo que se requiere realizar si se apunta a un trabajo de alta calidad.

REFERENCIAS

Adams, S; Cummins, M; Davis, A; Freeman, A; Hall, C & Ananthanarayanan, V. (2017). NMC Horizon report: 2017 Higher Education Edition. Austin, Texas: The New Media Consortium.

Andrés, C., Calderón, Y., & Herrero, D. (2017). Estrategias adicionales de evaluación en una universidad a distancia: ¿alternativas o complementarias al examen escrito? UNED Research Journal, 9(1), 157-164.

Bolaños, G. (1999). Evaluación de los Aprendizajes. San José, Costa Rica: Universidad Estatal a Distancia.

Castillo, S., * Cabrerizo, J. (2007). Evaluación Educativa y Promoción Escolar. España: PEARSON/ Prentice Hall.

CIEI (Centro de Investigación y Evaluación Institucional). (2005). El uso de exámenes aplicados en la UNED durante el período 2004-2005. San José, Costa Rica: UNED.

CIEI (Centro de Investigación y Evaluación Institucional). (2010). Informe de investigación: Evaluación del proceso de evaluación de los aprendizajes en la UNED. San José, Costa Rica: UNED.

CONCAL (Centro de Control de Calidad Académica). (1995). Informe de Avance sobre evaluación de los aprendizajes en la UNED. San José, Costa Rica: UNED.

D´Agostino, G., & Vargas, A. (2005). Informe: proyecto de evaluación de los aprendizajes en la Escuela de Ciencias Sociales y Humanidades. San José, Costa Rica: EUNED,

Garrido, R., López, S., Urban, J., & Herrera, J. (2006) Mejorar la comunicación y la coordinación entre el personal docente mediante una aplicación informática. Recuperado de: http://www.cervantes.es/imagenes/File/cidic/1.%20Mejorar%20la%20comunicacin%20y%20la%20coordinacin%20entre%20los%20docentes%20mediante%20una%20aplicacin%20informtica.pdf

Hernández (1997). Aprendamos a elaborar exámenes escritos. San José, Costa Rica: EUNED.

Kalantari, M., Zadeh, N. L., Agahi, R. H., Navabi, N., Hashemipour, M. A., & Nassab, A. H. G. (2017). Measurement of the levels anxiety, self-perception of preparation and expectations for success using an objective structured clinical examination, a written examination, and a preclinical preparation test in Kerman dental students. Journal of Education and Health Promotion, 6, 28.

INSTH. (s.f.). NTP 211: Iluminación de los centros de trabajo. Ministerio de trabajo y asuntos sociales de España. Instituto Nacional de Seguridad e Higiene en el trabajo, España.

James, M. (2017). (Re)viewing assessment: changing lenses to refocus on learning. Assessment in Education: Principles, Policy & Practice, 24(3): 404-414. doi 10.1080/0969594x.2017.1326876.

Mehrens, W., & Lemhann, I. (1982). Medición y evaluación en la educación y la psicología. México: Continental.

Ministerio de Educación Pública. (2008). La prueba escrita. Dirección de Desarrollo Curricular. Recuperado de: http://www.uned.ac.cr/ece/images/catedras/didactica_matematica/lecturas_obligatorias14_2_12/02prueba_escrita.pdf

PACE (Programa de Apoyo Curricular y. Evaluación de los Aprendizajes). (2007). Informe de revisión de pruebas escritas. Comisión Institucional de Evaluación de los Aprendizajes. San José, Costa Rica.

Pardo, A. (2011). Ventilar hogares y oficinas es clave para sentirse bien y trabajar mejor. Energía y jardines. Recuperado de: http://energiayjardines.blogspot.com/2011/11/ventilar-hogares-y-oficinas-es-clave.html

Pellegrino, J. (2017). The two disciplines problem-“it´s like Déjà vu all over again!”. Assessment in Education: Principles, Policy & Practice, 24(3), 359-368. doi 10.1080/0969594x.2017.1326876.

Santos-Roig, M. D. L., & Pérez-Meléndez, C. (2013). De la definición semántica a los ítems a través de las tablas de especificaciones: elaboración de la Escala sobre Representación de la Enfermedad, ERCE. Anales de psicología, 29(2), 345-359.

Sans, A. (2008). La evaluación de los aprendizajes: construcción de instrumentos. Cuadernos de Docencia. Universidad de Barcelona, España: OCTAEDRO.

UNED (Universidad Estatal a Distancia). (2008). Sistema de Asignación de Tiempos para la Actividad Académica. San José, Costa Rica: EUNED.

UNED (Universidad Estatal a Distancia). (2009). Recomendaciones para la Evaluación de los Aprendizajes en la Universidad Estatal a Distancia. Comisión Institucional de Evaluación de los Aprendizajes. San José, Costa Rica: EUNED.

UNED (Universidad Estatal a Distancia). (2011). Glosario de términos curriculares para la Universidad Estatal a Distancia. San José, Costa Rica: EUNED.

UNED (Universidad Estatal a Distancia). (2012). Reglamento General Estudiantil. Costa Rica. San José, Costa Rica: EUNED.

RESUMEN: La elaboración de pruebas escritas requiere una serie de pasos que determinan la calidad del producto final. Encuestamos a 33 profesores en una universidad a distancia costarricense y encontramos que la mayoría se queja de que el tiempo para elaborar pruebas es insuficiente. No todos los profesores elaboran un cuadro de especificaciones de elementos ni discuten su trabajo con sus jefes, quienes proporcionan el formato y los objetivos. Sin embargo, todos los profesores verifican el contenido del curso antes de diseñar el examen. Los profesores deberían tener más tiempo y supervisión para preparar los exámenes.

Palabras clave: Prueba escrita, calidad, personal docente, educación a distancia, aprendizaje

CUADRO 1

Acciones que el personal docente realiza antes de iniciar la elaboración de las pruebas escritas

Cantidad de docentes

Acciones que se realizan

Entre 80 y 100%

Lectura del libro de texto de la asignatura

Selección de los contenidos que serán evaluados

Revisión del tiempo del que dispondrá el estudiantado para elaborar la prueba

Análisis de cuáles son los mejores ítems para evaluar la materia en estudio y revisión de materiales como videos, links.

Entre 60 y 80%

Revisión de otras fuentes bibliográficas externas a la UNED.

Revisión de pruebas escritas ya aplicadas en cuatrimestres anteriores

Definición del puntaje total que tendrá la prueba escrita.

Elaboración del cuadro de balanceo o tabla de especificaciones.

Menos del 60%

Reunión con las Cátedras para definir los ítems a utilizar.

CUADRO 2

Tiempo utilizado en la elaboración de una prueba escrita con y sin su respectivo solucionario

Horas utilizadas

Porcentaje de respuesta con solucionario

Porcentaje de respuesta sin solucionario

1 a 3

3,57

32,14

4 a 6

32,14

14,29

7 a 9

7,14

21,43

10

0

14,29

11

57,14

17,86

CUADRO 3

Razones principales del por qué el personal docente no están de acuerdo con

el tiempo asignado se procedió a categorizar los comentarios

Categorías identificadas

Respuesta de docentes

Material

Muchas veces requiere de la revisión de varios textos diferentes.

Del mismo material utilizado en años consecutivos “es un reto construir además, una prueba de reposición, con base en la misma materia, sin cometer repeticiones”.

Investigación de contenidos

No hay una posibilidad real de realizar una investigación profunda con esta cantidad de tiempo, hay muchos detalles que cumplir.

Herramienta o software

En el caso de matemática se debe considerar que la edición es en .tex y la digitación requiere de horas.

Dificultad de los ítems

Es necesario medir la dificultad de cada ítem, para que concuerde con la importancia que tiene en el contenido el curso.

Se invierte más tiempo que ese (normado) si se quiere elaborar una prueba no memorística y que fomente el desarrollo de respuestas.

Aquellos ítems que ameritan mayor capacidad de pensamiento por parte del estudiantado, requerirán mayor tiempo por parte del tutor para el diseño y elaboración.

Diseño de ítems

Se requiere planear y revisar la prueba con detalle

Se debe cumplir con la tabla de puntaje por objetivo, definir en qué apartado debe introducirse un rubro a evaluar, se debe redactar la pregunta y revisarse.

Los tipos de preguntas deben ser distintas en cada prueba, entre un periodo y otro, por lo que los exámenes se hacen desde cero.

Diseñar y luego resolver nuestro propio examen, es una actividad muy seria y compleja.

La sencillez y la claridad son elementos claves.

No se trata de hacer exámenes masivamente como si se tratara de una fábrica.

Se deben tomar en cuenta, no solo los objetivos del curso, sino que además, los contenidos temáticos y documentos que conforman el curso.

Solucionario u hoja de respuesta

Generarse el solucionario

Sólo en el solucionario son 3 horas y a veces se cambian las preguntas porque tienen errores.

See Digital Appendix at: / Ver Apéndice digital en: http://investiga.uned.ac.cr/revistas/index.php/cuadernos