Typographic marking of emphasis on reasoning items in an admission test
DOI:
https://doi.org/10.22458/ie.v25i39.4672Keywords:
aptitud test, interview, Reasoning, university, typography, admissionAbstract
Abstract: This essay was the result of an investigation about the relevance of typographic marking in reasoning items in a verbal and mathematical context of the Academic Aptitude Test (PAA) of the University of Costa Rica. The objective was to gather evidence on the interference of the marking (bold, underlined and capital letters) in the instruction of the selected ítems, and to observe if there are variations in the technical properties when these emphasis marks are present. From an exploratory study with a qualitative approach, information was collected from interviews with a selected group of first-time students at the University for 2019 and a pilot test was applied to analyze the technical quality of the items with emphatic marking differences; the detail with the results of this experimental test is expected in a second publication. The analysis focused on the particles "No", "False" "True" "With certainty" and "Contradicts" and the reasons for maintaining their marking, according to the interviewees, due to three fundamental reasons: 1. It is a strategy to highlight words clues such as negations, 2. Clarifies the question or instruction of the item, 3. Allows to maintain attention during reading. The main results show that there is no significant difference between maintaining or eliminating the marking regardless of the type of item and population, so that it should be dispensed with for a standardized test such as the PPA.
References
Abedi, J. (2006). Language issues in item development. En S. Downing& T. Haladyna (Eds.), Handbook of test development ( 377-398). Lawrence Erlbaum Associates. https://fatihegitim.files.wordpress.com/2014/03/hndb-t-devt.pdf
AERA (American Educational Research Association), APA (American Psychological Association) y NCME (National
Council on Measurement in Education). (2014). Standards for Educational and Psychological Testing. American Educational Research Association.
Brizuela, A. (2012). Fuentes de dificultad de los ítems de la parte verbal de la prueba de aptitud académica de la Universidad de Costa Rica [Tesis de maestría no publicada] . Universidad de Costa Rica.
Brizuela, A. Pérez, N. & Rojas, G. (2018). Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta. Actualidades Investigativas en Educación, 18(3), 1-21. http://dx.doi.org/10.15517/aie.v18i3.33456
Brizuela, A. & Montero, E. (2013). Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva. Revista Electrónica de Investigación y Evaluación Educativa, 19 (2), pp. 1-23.https://doi.org/10.7203/relieve.19.2.3143
Brizuela, A., Jiménez, K.; Pérez, N. & Rojas, G. (2016). Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas. Revista Costarricense de Psicología, 35 (1), pp. 23-36 http://dx.doi.org/10.22544/rcps.v35i01.02
Brizuela, A., Pérez, N. & Rojas, G. (2018). Respuestas guiadas por el experto: validación de las inferencias basadas en los procesos de respuesta. Actualidades Investigativas en Educación, 18(3), pp. 1-21. https://doi.org/10.15517/aie.v18i3.33456
Brizuela, A., Jiménez, K., Rojas, G. & Pérez, N. (2018). Validación de un modelo de cuatro estrategias de resolución de ítems de razonamiento en una prueba estandarizada. Revista Costarricense de Psicología, 37(1), 77-88. http://dx.doi.org/10.22544/rcps.v37i01.04
Burton, S., Sudweeks, R., Merrill, P. & Wood, B. (1991). How to Prepare Better Multiple-Choice Test Items: Guidelines for University Faculty [Tesis doctoral no publicada]. Brigham Young University. https://testing.byu.edu/handbooks/betteritems.pdf
Calvo, K., Rojas, G., Pérez, N. & Ríos, A. (2019). Identificación de elementos irrelevantes para la comprensión de ítems de una prueba de razonamiento. Revista Mexicana de Investigación Educativa, 24(81), 463-480. http://bit.ly/3OvKxrg
Chiavaroli, N. (2017). Negatively-Worded Multiple Choice Questions: An Avoidable Threat to Validity. Practical Assesment. Research & Evaluation, 22(3), 1-14. https://doi.org/10.7275/ca7y-mm27
Collins, J. (2006). Education techniques for lifelong learning: Writing multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics, 26(2), 543-551. https://doi.org/10.1148/rg.262055145
Cruz-Rosón, F. & Morant, R. (1998, 24-26 de octubre). Consideraciones sobre la negación [Ponencia]. Atti del XVII Convegno, Università di Trieste y Università di Valencia. https://cvc.cervantes.es/literatura/aispi/pdf/10/10_035.pdf
Déprez, V., Tubau, S., Cheylus, A. & Espinal, T. (2015). Double Negation in a Negative Concord language: An experimental investigation. Lingua, 163, 75-107. https://bit.ly/43hPtEh
Dyson, M. C. (2014). Applying psychological theory to typography: is how we perceive letterforms special?. En D. Machin (Ed.), Visual communication. Handbooks of communication science (pp. 215-242). https:/bit.ly/3MO6zUT
Guba, E. & Lincoln, Y. (2002). Paradigmas en competencia en la investigación cualitativa. En C. Denman y J. A. Haro (Eds.), Por los rincones: Antología de métodos cualitativos en la investigación social. El Colegio de Sonora.
Haladyna, T. & Rodríguez, M. (2013). Developing and validating test ítems. Taylor and Francis Group.
Ito, T., Larsen, J., Smith, K. & Cacioppo, J. (1998). Negative Information Weighs More Heavily on the Brain: The Negativity Bias in Evaluative Categorizations. Journal of Personality and Social Psychology, 75(4), 887-900. https://doi.org/10.1037/0022-3514.75.4.887
Hernández Sampieri, R. (2014). Metodología de la investigación. Mc Graw Hill Education.
Just, A. & Carpenter, P. (1971). Comprehension of negation with qualification. Journal Of Verbal Learning And Verbal Behavior, 10(3), 244-253. https://doi.org/10.1016/S0022-5371(71)80051-8
Mainieri, A. (2008). Reseña Histórica de la Prueba de Aptitud Académica (PAA- UCR). Revista Electrónica de Historia, 9(20) , 829-851. https://doi.org/10.15517/dre.v9i0.31204
Molina, M. & Villalobos, J. (2010). Análisis de la estructura subyacente de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica [Informe final de proyecto, no publicado]. Escuela de Psicología: Universidad de Costa Rica
Montero- Rojas, E. (2022). Validez y psicometría. En M. Arias, A. Castillo, D. Martínez, O. Rodríguez, L. Torres (Eds.), Cuaderno 9: Estándares de calidad para pruebas estandarizadas de alto impacto en el contexto académico y profesional costarricense (pp.20-26). Instituto de Investigaciones Psicológicas, Universidad de Costa Rica.
Moreno, R., Martínex, R. & Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16(3), 490-497. https://www.redalyc.org/pdf/727/72716324.pdf
Murillo, J. (2012). Manual de estándares de publicación. Módulo 2: Tipografía y ortotipografía. Universidad Estatal a Distancia. https://bit.ly/45rPPtV
Osterlind, S. (2001). Constructing Test Items: Multiple-Choice, Constructed-Response, Performance, and Other Formats. Kluwer Academic Publishers.
Ponds, J. & Bullich, I. (2017). Tipografia. Universidad oberta de Catalunya. http://bit.ly/45usckA
Rodríguez, O., Fallas, S. & Morales, S. (2009). Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítemes de analogías [Informe final de proyecto no publicado]. Escuela de Psicología: Universidad de Costa Rica.
Schweizer, K. & DiStephano. (2016). Principles and Methods of Test Construction. Standards and Recent Advances. Hogrefe Publishing. https://bit.ly/3MHy8OK
Smith, V. & Molina, M. (2011). Cuaderno metodológico 5: La entrevista cognitiva: guía para su aplicación en la evaluación y mejoramiento de instrumentos de papel y lápiz. Instituto de Investigaciones Psicológicas-Universidad de Costa Rica. https://bit.ly/3IKCaVb
Tamir, P. (1993). Positive and negative multiple-choice items: how different are they? Studies in Educational Evaluation, 19(3), 311-325. https://bit.ly/3q5sAFP
Trumbull, E. & Solano-Flores, G. (2011). The role of language in assessment. En M. Basterra, E. Trumbull, G. Solano (Eds.), Cultural Validity in Assessment: Addressing Linguistic and Cultural Diversity (pp. 1-21). Taylor and Francis.
Wason, P. (1959). The processing of positive and negative information. Quarterly Journal of experimental Psychology, 11(2), 92-107. https://doi.org/10.1080/17470215908416296
Wason, P. & Jones, S. (1963). Negatives: Denotation and connotation. British Journal of Psychology, 54(4), 299-307. https://doi.org/10.1111/j.2044-8295.1963.tb00885.x
Young, J. (2008). Ensuring Valid Content Tests for English Language Learners. R&D Connections, (8), 1-7. https://www.ets.org/Media/Research/pdf/RD_Connections8.pdf
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2023 Innovaciones Educativas
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.