Marcación tipográfica de énfasis en ítems de razonamiento en una prueba de admisión

Typographic marking of emphasis on reasoning items in an admission test

Marcação tipográfica da ênfase em itens de raciocínio em um teste de admissão

Karen Calvo Díaz

Universidad de Costa Rica

San José, Costa Rica

karenalejandra.calvo@ucr.ac.cr

ORCID: https://orcid.org/0000-0001-7024-8501

Guaner Rojas Rojas

Universidad de Costa Rica

San José, Costa Rica

guaner.rojas@ucr.ac.cr

ORCID: https://orcid.org/0000-0002-3064-9631

Diana Martínez Alpízar

Universidad de Costa Rica

San José, Costa Rica

diana.martinez@ucr.ac.cr

ORCID: https://orcid.org/0000-0001-8751-6891

Sigrid Solano Moraga

Universidad de Costa Rica

San José, Costa Rica

sigrid.solano@ucr.ac.cr

ORCID: https://orcid.org/0000-0003-2022-7491

Recibido – Received – Recebido: 07/03/23 Corregido – Revised – Revisado: 26/05/23 Aceptado – Accepted – Aprovado: 15/06/23

DOI: https://doi.org/10.22458/ie.v25i39.4672

URL: https://revistas.uned.ac.cr/index.php/innovaciones/article/view/4672

Resumen: El presente artículo es producto de una investigación sobre la relevancia de la marcación tipográfica en ítems de razonamiento en contexto verbal y matemático de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica. El objetivo consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Desde un estudio de tipo exploratorio, con un enfoque cualitativo, se recabó información a partir de entrevistas a un grupo de estudiantes de primer ingreso a la universidad para el 2019. El análisis se centró en las partículas “No”, “Falso”, “Verdadero” “Con certeza” y “Contradice” y las razones para mantener su marcación, según las personas entrevistadas, obedece a tres razones fundamentales: 1. Es una estrategia para resaltar palabras claves como las negaciones. 2. Clarifica la pregunta o instrucción del ítem. 3. Permite mantener la atención durante la lectura. Los principales resultados muestran que no hay una diferencia significativa entre mantener y eliminar la marcación independientemente del tipo de ítem y de la población, de tal modo que conviene prescindir de su uso para una prueba estandarizada como la PPA.

Palabras claves: Prueba de aptitud, entrevista, razonamiento, universidad, tipografía, admisión

Abstract: This article is the result of an investigation on the relevance of typographic marking in verbal and mathematical reasoning items of the Academic Aptitude Test (PAA: Spanish acronyms) of the University of Costa Rica. The objective is to gather evidence on the influence of the marking (bold, underline and capital letters) on the instruction of the selected items and to observe if there are variations in the technical properties when these marks of emphasis are present or not. From an exploratory study, with a qualitative approach, information was collected from interviews with a group of first-time students entering the university for 2019. The analysis focused on the particles “No”, “False”, “True” “Certainty” and “Contradicts” and the reasons for maintaining their marking, according to the people interviewed, obeyed to three fundamental reasons: 1. It is a strategy for highlighting key words such as negations. 2. It clarifies the question or instruction of the item. 3. It allows attention to be maintained during reading. The main results show that there is no significant difference between maintaining and eliminating marking regardless of the type of item and population, so that its use should be dispensed with for a standardized test such as the PPA.

Keywords: Aptitude test, interview, reasoning, university, typography, admission

Resumo: Este artigo é o resultado de uma investigação sobre a relevância da marcação tipográfica nos itens de raciocínio verbal e matemático do Teste de Aptidão Acadêmica (PAA) da Universidade da Costa Rica. O objetivo é reunir evidências sobre a interferência da marcação (negrito, sublinhado e letras maiúsculas) na instrução dos itens selecionados e observar se há variações nas propriedades técnicas quando essas marcas de ênfase estão presentes ou não. A partir de um estudo do tipo exploratório, com abordagem qualitativa, foram coletadas informações de entrevistas com um grupo de alunos iniciantes na universidade para 2019. A análise se concentrou nas partículas “Não”, “Falso”, “Verdadeiro”, “Com certeza” e “Contradiz” e as razões para manter sua marcação, de acordo com as pessoas entrevistadas, se devem a três motivos fundamentais: 1. 2. esclarece a pergunta ou a instrução do item. 3. permite que a atenção seja mantida durante a leitura. Os principais resultados mostram que não há diferença significativa entre manter e eliminar a marcação, independentemente do tipo de item e da população, de modo que seu uso deve ser dispensado em um teste padronizado como o PPA.

Palavras-chave: Teste de aptidão, entrevista, raciocínio, universidade, tipografia, admissão

INTRODUCCIÓN

La forma en cómo se presentan los ítems en una prueba, independientemente de su naturaleza, es tan determinante como el constructo que se pretende medir. La Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica nació hace más de 50 años y según Mainieri (2008) fue en 1960 cuando se aplicó por primera vez como una tarea liderada por el Dr. Gonzalo Adis Castro, desde del Comité de la Evaluación que luego se convertiría en el Instituto de Investigaciones Psicológicas de dicha Universidad.

Como parte de los procesos de validez y confiabilidad de una prueba de admisión como la que anualmente aplica la UCR para la selección de aspirantes con mejores probabilidades de rendimiento académico, se desarrollan diferentes proyectos de investigación sobre aspectos como la modificación en el formato, contenido de ítems, así como del diseño teórico, los cuales garantizan un instrumento de calidad. Además de ello, se implementa la consulta a jueces expertos, las aplicaciones de pruebas piloto, el desarrollo de entrevistas con la población meta y el análisis de los datos con distintos parámetros estadísticos (Montero, 2022, p. 24).

Para esta prueba también se implementa una serie de análisis cuantitativos que tanto Montero (2022) como otros autores del cuerpo de investigadores de la prueba (Rodríguez et al., 2009; Brizuela et al., 2015; Molina y Villalobos, 2010; Brizuela y Montero, 2013) distinguen como fundamentales para la validación del instrumento. Entre estos: los Análisis de factores exploratorio y confirmatorio, con Teoría Clásica de los Tests (TCT), los con Teoría de Respuesta a los Ítems (TRI), el Modelo de Rasch, los Estándares de calidad para pruebas estandarizadas, la Teoría G (Generalizabilidad), los Análisis del funcionamiento diferencial del ítem, los Análisis de distractores y la Equiparación de puntajes. Asimismo, se han desarrollado estudios de tipo cualitativo a partir del trabajo con jueces expertos, entrevistas y reportes verbales con los estudiantes (Calvo et al., 2019; Brizuela et al., 2018; Brizuela et al., 2016; y Smith et al., 2011).

El cimiento de esta investigación radica en la importancia que tiene para el Equipo Técnico de Investigación (ETI) del Programa Permanente de la Prueba de Aptitud Académica (PPPAA) de la Universidad de Costa Rica el análisis de los ítems que se mantienen en banco y de aquellos que potencialmente ingresarán gracias a las buenas características que mantengan desde su construcción.

La marcación tipográfica se entiende como el énfasis que acompaña letras, caracteres, signos de puntuación y otros símbolos a partir de rasgos como mayúsculas, negritas, redondeo y cursivas que permiten un realce visual y facilitan la comprensión del texto. La marcación en tipografía implica más que un cambio de determinada letra; su uso corresponde a una modificación en la pauta de lectura, tal y como lo propone Ponds y Bulloch:

Cuando leemos percibimos conscientemente y reconocemos el significado de las palabras. Se podría pensar que nuestros ojos se desplazan por el texto de forma secuencial, como lo hace un escáner, pero esta impresión es errónea. En realidad, lo que ocurre cuando leemos es que prestamos atención a la silueta de palabras completas y a grupos de palabras, y no examinamos el texto letra por letra, como se podría llegar a intuir. Los ojos se quedan quietos en un punto concreto y en su entorno inmediato y hacen movimientos cortos y rápidos llamados saltos sacádicos. Este proceso se interrumpe cuando aparece algún elemento inesperado, como un espaciado desafortunado, una letra extravagante, un desajuste en la alineación, etc. A veces, cuando no acaba de entenderse algo que se lee, el ojo da saltos atrás, denominados regresiones. (2017, p. 8).

Este tipo de marcación en los textos convencionales responde a una visualización que para el emisor resulte obvia; sin embargo, su uso en pruebas estandarizadas y evaluativas, en las cuales este tipo de ventaja no garantiza la neutralidad de lectura, debería estar limitado puesto que carece de una justificación teórica definida para su empleo. El interés del presente trabajo consiste, justamente, en reconocer la relevancia de este énfasis textual en la resolución de ítems de razonamiento en contextos verbales y matemáticos.

Uno de los aspectos que debe considerarse sobre la marcación es que típicamente han sido las estructuras complejas, en términos de comprensión, como las negaciones, las que se han destacado. La mayoría de los estudios enfocados en este realce se han inclinado por el estudio de las partículas “no” y “falso”, como se puede notar en la bibliografía que dicta parámetros de construcción de preguntas, entre ellos: AERA et al. (2014), Haladyna et al. (2013), Moreno et al. (2004), Murillo (2012), Osterlind (2001), Schweizer et al. (2016).

Aportes como los de Tamir (1993) insisten en que la negación es una de esas estructuras gramaticales que más desafío representa dentro de una pregunta, debido a que implica un doble esfuerzo en la memoria de trabajo y que por ello se debe destacar, pues según el razonamiento natural no se piensa en orden negativo. Algunas de las conclusiones de su estudio señalan que, en ítems de bajo nivel cognitivo, no hay diferencias en el rendimiento si existen partículas negativas; por el contrario, sí se requiere de un alto razonamiento cognitivo, pues el modo negativo es, en promedio, más difícil que el positivo (1993, p. 319).

Otros autores como Wason (1959) y Wason y Jones (1963) también indican que la existencia de estas partículas negativas genera una doble carga en la memoria de trabajo. Wason señala que pareciera existir una subvaloración de la información negativa, pese a que los conceptos (positivo y negativo) no se aprenden de manera aislada.

También, otros autores como Just y Carpenter (1971) se interesan en la necesidad de enfatizar otras partículas negativas, además del “no”, como “poco” y “casi ninguno”. Otras consideraciones como las de Burton et al. (1991) indican que el hecho de preguntar por una respuesta incorrecta no garantiza que el estudiantado sepa la respuesta correcta y por ello no se recomienda el uso de la partícula negativa. Este autor señala, de igual manera, que, de presentarse, las negaciones siempre deben enfatizarse mediante el uso del subrayado, la cursiva, la negrita o la mayúscula.

Por su parte, Chiavaroli (2017) se cuestiona si las preguntas de opción múltiple redactadas negativamente son una amenaza para la validez de una prueba. Según el autor, este tipo de redacción induce a error debido a que una parte considerable del estudiantado contesta la pregunta pensando de manera positiva, lo cual constituye una varianza irrelevante para el constructo. Desde su enfoque, otros autores no han sido contundentes en la prohibición del uso de las partículas negativas y más bien dan pautas para su uso a través de la mayúscula, el subrayado o el resaltado; o bien, algunos autores insisten en ser selectivos con el uso negativo, si este es estrictamente necesario (Collins, 2006) o si se implementa en palabras muy cortas.

Pocos autores enfatizan la marcación de otros elementos en la oración que no sean las partículas negativas. Por ejemplo, Dyson (2014) caracteriza las habilidades de percepción respecto de diferentes tipos de fuentes de letras e indica que cuando hay un cambio en el tipo de letra, como la cursiva o negrita para marcar énfasis o cuando existe una modificación en la fuente para distinguir un encabezado, se puede presentar una dificultad en el procesamiento de las letras (2014, p. 18).

Existen también abordajes más generales como los de Cruz-Rosón y Morant (1998), centrados en las implicaciones lingüísticas de las negaciones o las dobles negaciones en ciertas lenguas, como en Déprez et al. (2015). Como se observa, los autores interesados en el tema provienen de un contexto anglosajón o europeo. En el caso de Latinoamérica, no se ha encontrado, por el momento, ningún autor que aborde el tema. En este sentido, la presente investigación resulta innovadora.

De igual manera, al centrarse en recabar pruebas respecto del efecto de la marcación en los ítems, la presente investigación permite a quienes construyen ítems tomar decisiones técnicas con base en evidencia empírica. Esta consideración resulta pertinente no solo para las personas encargadas de elaborar la Prueba de Aptitud Académica (PAA) de la UCR, sino también para quienes construyen otras pruebas estandarizadas que utilicen ítems con marcación tipográfica de algún tipo.

En resumen, desde la perspectiva de esta investigación, la marcación tipográfica se refiere a esos segmentos o partículas en un texto que son destacadas con el fin de crear un sentido de énfasis en el lector. Esta marcación atribuible a negaciones ha sido usada también en la prueba de admisión para resaltar aspectos como la afirmación y la certeza en la instrucción indicada. El objetivo de este estudio consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis.

MATERIALES Y MÉTODOS

Esta investigación es cualitativa y parte de un paradigma pospositivista. Asumir esta perspectiva implica, como bien explica Guba y Lincoln (2002), que la realidad se puede aprehender, pero siempre de una forma imperfecta, inacabada. Si bien desde este paradigma no se mantiene la dualidad entre objeto/sujeto, la objetividad se mantiene como un norte que orienta la investigación. En cuestiones metodológicas, se busca “reunir información más situacional y reintroducir el descubrimiento como un elemento de la investigación” (Guba y Lincoln, 2002, p. 126).

De igual manera, de acuerdo con el planteamiento de su propósito, la investigación es de carácter exploratorio, pues explora un fenómeno particular (Hernández et al., 2014). Específicamente, recaba información a partir de entrevistas a un grupo seleccionado de personas estudiantes de primer ingreso a la universidad para el 2019, con el fin de identificar en qué medida la marcación tipográfica (negrita, subrayado y mayúscula) afecta la instrucción del ítem y sus propiedades técnicas.

Como parte de los instrumentos utilizados, se incluyó un protocolo de confidencialidad que todo participante debía leer, comprender y firmar como parte de los requisitos para la realización de la entrevista. En este protocolo, se consigna información relevante para el desarrollo de la actividad: los nombres de los investigadores del proyecto y la forma para contactarlos, el propósito de la actividad, las instrucciones a seguir, la duración de la entrevista y el carácter voluntario de la participación. El protocolo también incluye los riesgos y los beneficios a los que podrían exponerse o acceder los participantes en las entrevistas. Toda la información recolectada es confidencial y las personas entrevistadas pueden abandonar la sesión cuando así lo deseen.

Otro instrumento utilizado para recolectar la información fue la entrevista. Esta fue grabada en su totalidad y con una duración en promedio de una hora, en la cual uno o dos de los investigadores hicieron preguntas específicas sobre el enunciado, la instrucción o los distractores y la pertinencia o no de la marcación tipográfica para la resolución del ítem. Los examinados también indicaron la dificultad aproximada del ítem.

Por cada ítem, se hicieron las siguientes preguntas: ¿existe algún elemento del ítem que impidió comprenderlo?, ¿considera que el formato del ítem le dificultó llegar a su respuesta?, ¿subrayaría o marcaría algo en el ítem?, ¿mantendría la marcación en el ítem?, ¿qué dificultad le daría al ítem entre alta, media y baja? Al término de la resolución de todos los ítems, se consultó por aspectos más generales como los siguientes: ¿qué tan pertinente le parece el uso de la marcación en los ítems?, ¿recomendaría el uso de las negaciones en los ítems?, ¿sabe cuál es el significado de “con certeza”?, ¿qué sinónimo usaría para cambiarlo?

El muestreo no probabilístico intencional fue de 10 personas estudiantes (5 hombres y 5 mujeres), mayores de edad, de primer ingreso a la Universidad de Costa Rica para el 2019, provenientes de colegios públicos y diferenciados, entre quienes obtuvieron las notas más altas y las más bajas en la PAA de la aplicación del 2018, con el fin de reconocer qué tipo de estudiante ofrece más o menos información sobre lo preguntado.

Para las entrevistas, se seleccionaron 10 ítems de razonamiento en contexto verbal y matemático, cuyo formato está compuesto por un encabezado, una instrucción y cuatro opciones; además, cada ítem incluye algún tipo de marcación tipográfica (negrita, subrayado o mayúscula), cuya muestra de ejemplo es la siguiente:

Cada ítem se presentó de manera independiente y se solicitó al participante responder a preguntas concretas y a reportar el razonamiento que le condujo a la opción elegida. Ello permite observar qué estrategias idea la persona entrevistada y si reporta aspectos específicos que se le preguntan en torno a la marcación.

Una vez recabada esta información, se transcribieron las grabaciones y se codificaron los datos para realizar el análisis de las respuestas, reconocer la concordancia o discrepancia de criterios y definir la injerencia sobre el uso de la marcación tipográfica. Mediante una tabla de codificación, a partir de valores numéricos, se tabularon las características del ítem: número de ítem; clasificación de ítem (banco o experimental); contexto (verbal o matemático); categoría de ítem: parafrasear, oponer, reducir, suponer, indagar, verificar, generalizar, representar (las definiciones de estas categorías pueden ampliarse en Brizuela et al.[2015] y Brizuela et al. [2018]); formato (con marcación y sin marcación); y dificultad, según los investigadores (alta, media, baja) y clave del ítem. Asimismo, en esta tabla se consignaron las categorías de análisis para las entrevistas compuestas por 1. partículas negativas: no, contradice, falso; 2. partículas positivas: con certeza, verdadero.

Posteriormente, se codificaron las características de las personas examinadas: persona estudiante según puntuación obtenida en la prueba (alta, baja) y sexo (femenino, masculino); junto con las respuestas obtenidas de las entrevistas: opción marcada, acierto de la clave, distractores poco plausibles o problemáticos, necesidad de conocimiento previo, aspecto por mejorar del ítem, dificultad asignada al ítem, mantenimiento de la marcación y parte del ítem donde colocaría la marcación (encabezado, instrucción, opciones).

DISCUSIÓN DE RESULTADOS

La discusión de resultados muestra la inexistencia de una diferencia significativa respecto del uso de la marcación tipográfica o su eliminación, indistintamente de la población entrevistada o del tipo de ítem. A continuación, se presentan los resultados de acuerdo con la presencia de partículas negativas y afirmativas y la información propuesta por el estudiantado sobre el mantenimiento de la marcación.

Partículas negativas y afirmativas

De los ítems seleccionados, existen dos tipos de partículas sometidas a estudio: las negaciones y las afirmaciones. Las primeras son las más representativas del banco de ítems de la PAA y son, además, las que cuentan con más cantidad de estudios. Estas partículas, tal y como lo establece la bibliografía, han sido tradicionalmente marcadas para plantear un razonamiento inverso al natural.

De los ítems seleccionados para las entrevistas, destacan las partículas “No”, “Falso” y “Contradice”. Las afirmaciones, por su parte, normalmente se marcan como reafirmadoras de la información, como en el caso de “verdadero” y “con certeza”. Esta última ha sido de uso frecuente en la prueba.

En la siguiente tabla, se muestra el comportamiento para cada partícula de acuerdo con las 10 entrevistas realizadas a la población estudiantil, presentado en el mismo orden aleatorio en el que se les facilitaron a los entrevistados.

De acuerdo con la tabulación anterior y según las opiniones de las personas entrevistadas, el mantenimiento de la marcación es muy contextual. Así, en los tres ítems en los que aparece la partícula “no”, para dos casos (ítem 1, ítem 5), la mayoría de las personas entrevistadas indica que mantendría la marcación, mientras que en otro contexto (ítem 3) no lo haría; asimismo, se podría mantener la marcación o no, indistintamente, como en el caso del ítem 8. Cabe añadir que la decisión de marcar el ítem o no hacerlo no está condicionada por si la persona estudiante obtuvo bajas o altas puntuaciones ni tampoco por el contexto (verbal o matemático pareciera no incidir).

Para los casos de la partícula “falso” (o “falsa”, por concordancia gramatical en la oración), la mayoría de las personas entrevistadas se inclina por mantener su marcación (ítem 4 y 10), pero igual que la partícula negativa “no”, ni el contexto ni el tipo de participante incide en esta decisión. Por el contrario, las personas participantes señalan que podría acuñarse al hecho de que se debe estar más atento ante aquella instrucción que solicita lo opuesto a lo verdadero. El ítem 4 tiene en la entrevista una baja dificultad, mientras que el 10 es de alta dificultad. Al respecto, puede considerarse que no es la partícula como tal la que marca la dificultad, sino más bien el contexto matemático.

En el ítem con la partícula “contradice”, sucede algo particular: es la población estudiantil de altas puntuaciones quien propone su mantenimiento. Es, además, un constructo que solo aciertan dos personas entrevistadas y que presenta una alta dificultad en la entrevista. Ello, se puede adelantar, es un indicador de que la dificultad no se rige por la marcación, sino por la intencionalidad de la instrucción que solicita la oposición.

Para las partículas afirmativas, “con certeza”, según las personas entrevistadas, debería mantenerse la marcación en dos casos (en el ítem 5, en el que coaparece con la partícula “no”, y en el ítem 9). Existe un caso en donde no es necesario (ítem 2). Ahora bien, en este último ítem la mitad del estudiantado de altas puntuaciones lo marcaría, pero solo un entrevistado selecciona la respuesta correcta, lo cual puede aducirse al hecho de no comprender qué significa la expresión “con certeza” o, bien, se omite su importancia para indicar la respuesta.

Finalmente, el adjetivo “verdadero” que tradicionalmente ha sido marcado en la PAA, como era de esperar, no sería marcado por la mayoría y presenta una baja dificultad en la entrevista. Su marcación tiene un uso reafirmador y es menos ambiguo que todos los casos anteriores.

Mantenimiento de la marcación en una prueba estandarizada

Respecto de la posición de las personas entrevistadas frente a la marcación en general para una prueba estandarizada, la mayoría de ellas lo propone como una recomendación y no como una obligatoriedad; es decir, se asume como un recurso útil, pero no indispensable. A modo de síntesis, las razones señaladas para su uso son las siguientes:

1. Es una estrategia para indicar palabras claves, principalmente para el caso de las negaciones, como las partículas “no” o aquellas de menor uso como con certeza: Entonces, sí, siempre esas palabras son como muy claves que estén marcadas o que uno lea bien y las tenga en mente siempre cuando las va resolviendo […] Y el “no”, le da un giro completo a esa respuesta, puede ser que usted lea las opciones como todas correctas y que después vea que dice que no, entonces ahí empieza a descartar. (Hombre entrevistado 2, con nota de alta puntuación, entrevista de investigación, 05 de abril, 2019)
2. Indica claridad en la pregunta o instrucción del ítem: Sí, en mi caso sí considero que es muy necesario porque permite identificar qué se le está preguntando, por ejemplo, los términos en negativos. (Hombre entrevistado 4, con nota de alta puntuación, entrevista de investigación, 08 de abril, 2019) Para la pregunta, sí me parece importante especialmente para las negaciones y para con certeza. (Mujer entrevistada 6, con nota de alta puntuación, entrevista de investigación, 10 de abril, 2019)
3. Permite mantener la concentración de lectura: Desde mi punto de vista, es bastante útil, cuando uno está leyendo y uno está intentando responder un ítem […] Tener en cuenta qué sí y qué no me están preguntando. […] Eso ayuda mucho, quizá, para no perder la concentración de lo que me están preguntando. (Mujer entrevistada 8, con nota de baja puntuación, entrevista de investigación, 18 de abril, 2019)

Ahora bien, las personas entrevistadas que en la prueba de admisión obtuvieron notas de altas puntuaciones enfatizan que la marcación consiste en una ayuda visual y que de no aparecer, supone un mayor cuidado de lectura por parte del examinado, lo cual es parte de un proceso evaluativo, propio de una prueba estandarizada:

A mí me parece que uno igual tiene que leer todo con cuidado, porque parte de lo que se está evaluando es justamente la comprensión de lectura, entonces no sería como una injusticia por parte de los examinadores no ponerlo en negrita, perfectamente se podría poner así. […] Uno escucha a la gente, uno conoce los promedios y todo eso. Yo varias preguntas las tuve malas por leer mal, entonces es una manera de cómo evaluar [se ríe], es un detalle bonito, pero no lo considero necesario. Principalmente, cuando es: ¿cuál no es verdadera o cuál es falsa?, eso a uno sí se le olvida. Enreda bastante. Entonces tiene que leer varias veces la pregunta. O estarla leyendo para recordar qué estoy buscando. Entonces cuando está subrayado queda más claro, uno lo tiene más presente, sin estar leyendo tanto. Entonces es útil, no es indispensable. (Mujer entrevistada 3, con nota de alta puntuación, entrevista de investigación, 07 de abril, 2019)

Uso de las negaciones en una prueba estandarizada

De acuerdo con algunos autores como Tamir (1993), Wason (1959), Just y Carpenter (1971), Burton at al. (1991), Chiavaroli (2017), Collins (2006), Dyson (2014) e Ito et al., (1998), en materia de construcción de ítems, el uso de las negaciones en las preguntas ha sido considerado no recomendable. En vista de que las negaciones sí aparecen en los ítems e incluso se ligan a procesos de razonamiento como la oposición, es habitual su uso en la PAA.

A la pregunta concreta: ¿Recomendaría el uso de las negaciones en los ítems? Los examinados respondieron que el empleo como tal no es problemático, sino que está condicionado por el contexto y por la instrucción misma, como se lee en el siguiente fragmento:

No sé, depende, a veces hay unas muy fáciles donde usted puede descartar opciones, porque, de una vez, preguntan cómo que no, entonces usted tiene opciones más fáciles. Pero a veces el no que le pregunten hace que más bien uno se confunda mucho más. Entonces siento que a veces sí es más fácil, pero depende de la pregunta, puede ser más difícil. (Hombre entrevistado 2, con nota de alta puntuación, entrevista de investigación, 05 de abril, 2019)

Este contexto podría estar ligado, en algunas ocasiones, a un tipo de ítem en específico. Por ejemplo, una de las personas entrevistadas indicó que le resulta particularmente problemático el uso de las negaciones en los ítems de razonamiento en contexto verbal, lo cual podría explicarse por el hecho de que este tipo de ítems tiene más carga textual y, por lo tanto, mantener la atención en la negación se vuelve más complejo:

Sinceramente las de lectura me cuestan un poco más. Son más complicadas en mi parecer y en realidad para un montón de compañeros. A todos nos pareció más fácil la parte de matemática o, al menos, la de verbal está un poco difícil. (Hombre entrevistado 1, con nota de alta puntuación, entrevista de investigación, 02 de abril, 2019)

Asimismo, algunas personas entrevistadas indicaron que el empleo de las negaciones debe ser equilibrado, debido a que este tipo de preguntas invita a reordenar las ideas, y que no recomendarían el empleo de una doble negación, puesto que resulta una redundancia informativa.

Siempre no, porque al final hay que cambiar las preguntas, diría yo. A veces sí, yo no vi [la partícula “no”] en este caso. Hay prácticas en las que sí se exceden un poquito en el número de negaciones, como cuál no es falsa. Entonces ya es como innecesario, diría yo. Sí se pueden usar, no siempre, para agregarle variedad, si uno no está con esa mentalidad de que lo que sigue es una pregunta de no, pero sí se pueden usar. (Mujer entrevistada 3, con nota de alta puntuación, entrevista de investigación, 07 de abril, 2019)

Por último, otra persona entrevistada indicó que la utilización de las negaciones es recomendable si se mantiene la marcación, y otra coincidió en que un ítem con negación es más difícil y que requiere de mucha más concentración, lo cual es favorecido por la tipología de énfasis:

Yo lo considero importante [refiriéndose a la negación] […] muchas veces hay 4 opciones que pueden ser verdaderas y uno termina marcando una y lo que le preguntaban era: cuál no era verdadera. [La negación sirve] para ver qué tanta atención estaba prestando en el examen. (Hombre entrevistado 5, con nota de baja puntuación, entrevista de investigación, 09 de abril, 2019)

CONCLUSIONES

Esta investigación se planteó como objetivos: recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Al respecto se concluye que:

Respecto a las partículas afirmativas y negativas, su preferencia de uso por parte de las personas entrevistadas es contextual y no se relaciona necesariamente con el nivel de habilidad de la persona. En relación con el mantenimiento de la marcación en una prueba estandarizada, las personas entrevistadas, sin importar su nivel de habilidad, lo consideran complementaria visual, pues colabora en la claridad y seguimiento de la instrucción.

Respecto al empleo de las negaciones en las preguntas de los ítems, las personas entrevistadas no lo consideran per se dificultoso: en algunos casos, la elección de la respuesta se alcanza fácilmente; en otros, llegar a la respuesta correcta en el caso de instrucciones negativas implica una reorganización más compleja de las ideas.

En relación con las negaciones, es interesante destacar que diferentes autores (Abedi, 2006; Trumbull y Solano-Flores, 2011 y Young, 2008) desaconsejan su uso. Las razones son varias: en primer lugar, puede generar un doble negativo y agregar una mayor carga cognitiva; en consecuencia, incrementa los niveles de ansiedad en las personas que responden la pregunta. En segundo, la premura de lectura o descuido puede provocar la pérdida de la orientación de una negación. En tercer lugar, preguntar por una alternativa falsa supone que el examinado conoce los aspectos verdaderos, lo cual no siempre es correcto, ya que entender lo falso no siempre conlleva comprender lo verdadero. Finalmente, la pregunta en negación puede tener una ilimitada elección de respuesta.

Estas consideraciones asidas en la bibliografía, sin embargo, no se muestran en las respuestas de las entrevistas aplicadas. Si bien la utilización de ítems escritos con partículas negativas no es una práctica tan extendida en el banco de ítems de la PAA, por el momento se puede prescindir su uso. La evidencia recabada en esta investigación no evidencia que altere el constructo o que modifique automáticamente las calidades técnicas (la dificultad, por ejemplo) de los ítems. Queda para futuras investigaciones ahondar en las implicaciones del uso de la negación.

En pocas palabras, con base en los resultados de las entrevistas, la evidencia recabada indica que la marcación en sus diversas presentaciones (en las partículas “no”, “con certeza”, “falso”, “verdadero” y “contradice”) no incide significativamente en el proceso de resolución de los ítems. Es decir, según lo expresado por los entrevistados, mantener o prescindir del uso de la negrita no reporta un comportamiento diferenciado.

Aunado a lo anterior, la evidencia recabada señala que la presencia de la marcación en el ítem no tiene repercusiones en la dificultad u otras calidades técnicas de los ítems. Lo anterior sugiere que la marcación no es indispensable en un examen como la PAA de la UCR y la UNA y que por una estandarización de formato podría eliminarse su uso en todos los ítems. Este aspecto queda también para ahondar en futuras investigaciones, a través de otras aproximaciones metodológicas que permitan ampliar, por ejemplo, la muestra analizada.

Como se observa a lo largo de este artículo, en el caso de pruebas estandarizadas, cada detalle es importante. Por eso mismo, recabar evidencias sobre el posible efecto de aspectos tipográficos, como el uso de la marcación, en las calidades técnicas de los ítems es todavía una labor pendiente. Se abre entonces una línea de trabajo interesada en otros aspectos tipográficos (como el tipo de letra, la distribución del espacio, etc.) y su posible relación con las características técnicas de los ítems o los procesos de respuesta.

REFERENCIAS

Abedi, J. (2006). Language issues in item development. En S. Downing& T. Haladyna (Eds.), Handbook of test development ( 377-398). Lawrence Erlbaum Associates. https://fatihegitim.files.wordpress.com/2014/03/hndb-t-devt.pdf

AERA (American Educational Research Association), APA (American Psychological Association) y NCME (National

Council on Measurement in Education). (2014). Standards for Educational and Psychological Testing. American Educational Research Association.

Brizuela, A. (2012). Fuentes de dificultad de los ítems de la parte verbal de la prueba de aptitud académica de la Universidad de Costa Rica [Tesis de maestría no publicada] . Universidad de Costa Rica.

Brizuela, A. Pérez, N. & Rojas, G. (2018). Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta. Actualidades Investigativas en Educación, 18(3), 1-21. http://dx.doi.org/10.15517/aie.v18i3.33456

Brizuela, A. & Montero, E. (2013). Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva. Revista Electrónica de Investigación y Evaluación Educativa, 19 (2), pp. 1-23.https://doi.org/10.7203/relieve.19.2.3143

Brizuela, A., Jiménez, K.; Pérez, N. & Rojas, G. (2016). Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas. Revista Costarricense de Psicología, 35 (1), pp. 23-36 http://dx.doi.org/10.22544/rcps.v35i01.02

Brizuela, A., Pérez, N. & Rojas, G. (2018). Respuestas guiadas por el experto: validación de las inferencias basadas en los procesos de respuesta. Actualidades Investigativas en Educación, 18(3), pp. 1-21. https://doi.org/10.15517/aie.v18i3.33456

Brizuela, A., Jiménez, K., Rojas, G. & Pérez, N. (2018). Validación de un modelo de cuatro estrategias de resolución de ítems de razonamiento en una prueba estandarizada. Revista Costarricense de Psicología, 37(1), 77-88. http://dx.doi.org/10.22544/rcps.v37i01.04

Burton, S., Sudweeks, R., Merrill, P. & Wood, B. (1991). How to Prepare Better Multiple-Choice Test Items: Guidelines for University Faculty [Tesis doctoral no publicada]. Brigham Young University. https://testing.byu.edu/handbooks/betteritems.pdf

Calvo, K., Rojas, G., Pérez, N. & Ríos, A. (2019). Identificación de elementos irrelevantes para la comprensión de ítems de una prueba de razonamiento. Revista Mexicana de Investigación Educativa, 24(81), 463-480. http://bit.ly/3OvKxrg

Chiavaroli, N. (2017). Negatively-Worded Multiple Choice Questions: An Avoidable Threat to Validity. Practical Assesment. Research & Evaluation, 22(3), 1-14. https://doi.org/10.7275/ca7y-mm27

Collins, J. (2006). Education techniques for lifelong learning: Writing multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics, 26(2), 543-551. https://doi.org/10.1148/rg.262055145

Cruz-Rosón, F. & Morant, R. (1998, 24-26 de octubre). Consideraciones sobre la negación [Ponencia]. Atti del XVII Convegno, Università di Trieste y Università di Valencia. https://cvc.cervantes.es/literatura/aispi/pdf/10/10_035.pdf

Déprez, V., Tubau, S., Cheylus, A. & Espinal, T. (2015). Double Negation in a Negative Concord language: An experimental investigation. Lingua, 163, 75-107. https://bit.ly/43hPtEh

Dyson, M. C. (2014). Applying psychological theory to typography: is how we perceive letterforms special?. En D. Machin (Ed.), Visual communication. Handbooks of communication science (pp. 215-242). https:/bit.ly/3MO6zUT

Guba, E. & Lincoln, Y. (2002). Paradigmas en competencia en la investigación cualitativa. En C. Denman y J. A. Haro (Eds.), Por los rincones: Antología de métodos cualitativos en la investigación social. El Colegio de Sonora.

Haladyna, T. & Rodríguez, M. (2013). Developing and validating test ítems. Taylor and Francis Group.

Ito, T., Larsen, J., Smith, K. & Cacioppo, J. (1998). Negative Information Weighs More Heavily on the Brain: The Negativity Bias in Evaluative Categorizations. Journal of Personality and Social Psychology, 75(4), 887-900. https://doi.org/10.1037/0022-3514.75.4.887

Hernández Sampieri, R. (2014). Metodología de la investigación. Mc Graw Hill Education.

Just, A. & Carpenter, P. (1971). Comprehension of negation with qualification. Journal Of Verbal Learning And Verbal Behavior, 10(3), 244-253. https://doi.org/10.1016/S0022-5371(71)80051-8

Mainieri, A. (2008). Reseña Histórica de la Prueba de Aptitud Académica (PAA- UCR). Revista Electrónica de Historia, 9(20) , 829-851. https://doi.org/10.15517/dre.v9i0.31204

Molina, M. & Villalobos, J. (2010). Análisis de la estructura subyacente de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica [Informe final de proyecto, no publicado]. Escuela de Psicología: Universidad de Costa Rica

Montero- Rojas, E. (2022). Validez y psicometría. En M. Arias, A. Castillo, D. Martínez, O. Rodríguez, L. Torres (Eds.), Cuaderno 9: Estándares de calidad para pruebas estandarizadas de alto impacto en el contexto académico y profesional costarricense (pp.20-26). Instituto de Investigaciones Psicológicas, Universidad de Costa Rica.

Moreno, R., Martínex, R. & Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16(3), 490-497. https://www.redalyc.org/pdf/727/72716324.pdf

Murillo, J. (2012). Manual de estándares de publicación. Módulo 2: Tipografía y ortotipografía. Universidad Estatal a Distancia. https://bit.ly/45rPPtV

Osterlind, S. (2001). Constructing Test Items: Multiple-Choice, Constructed-Response, Performance, and Other Formats. Kluwer Academic Publishers.

Ponds, J. & Bullich, I. (2017). Tipografia. Universidad oberta de Catalunya. http://bit.ly/45usckA

Rodríguez, O., Fallas, S. & Morales, S. (2009). Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítemes de analogías [Informe final de proyecto no publicado]. Escuela de Psicología: Universidad de Costa Rica.

Schweizer, K. & DiStephano. (2016). Principles and Methods of Test Construction. Standards and Recent Advances. Hogrefe Publishing. https://bit.ly/3MHy8OK

Smith, V. & Molina, M. (2011). Cuaderno metodológico 5: La entrevista cognitiva: guía para su aplicación en la evaluación y mejoramiento de instrumentos de papel y lápiz. Instituto de Investigaciones Psicológicas-Universidad de Costa Rica. https://bit.ly/3IKCaVb

Tamir, P. (1993). Positive and negative multiple-choice items: how different are they? Studies in Educational Evaluation, 19(3), 311-325. https://bit.ly/3q5sAFP

Trumbull, E. & Solano-Flores, G. (2011). The role of language in assessment. En M. Basterra, E. Trumbull, G. Solano (Eds.), Cultural Validity in Assessment: Addressing Linguistic and Cultural Diversity (pp. 1-21). Taylor and Francis.

Wason, P. (1959). The processing of positive and negative information. Quarterly Journal of experimental Psychology, 11(2), 92-107. https://doi.org/10.1080/17470215908416296

Wason, P. & Jones, S. (1963). Negatives: Denotation and connotation. British Journal of Psychology, 54(4), 299-307. https://doi.org/10.1111/j.2044-8295.1963.tb00885.x

Young, J. (2008). Ensuring Valid Content Tests for English Language Learners. R&D Connections, (8), 1-7. https://www.ets.org/Media/Research/pdf/RD_Connections8.pdf