La Generación Automática de Ítems (en inglés Automatic Item Generation, AIG), o Generación Automatizada de Ítems, es un proceso ideado originalmente por BormuthBormuth, J. (1969). On a theory of achievement test items. Chicago, IL: University of Chicago Press. y que comenzó un amplio desarrollo hacia fines de los '90. Es una disciplina joven en psicología, que reúne conocimientos de psicometría con elementos de programación. Consiste en la creación de ítems (que son las unidades que componen los tests psicológicos) controlada por algoritmos computacionales. Dicha creación utiliza como base un ítem modelo (IM), que es una representación prototípica de los reactivos a generar.Gierl, M.J., & Haladyna, T.M. (2012). Automatic item generation, theory and practice. New York, NY: Routledge Chapman & Hall. En lugar de redactar cada ítem en forma individual, los mencionados algoritmos se utilizan para generar familias de ítems partiendo de un grupo más pequeño de IM-padres.Glas, C.A.W., van der Linden, W.J., & Geerlings, H. (2010). Estimation of the parameters in an item-cloning model for adaptive testing. In W.J. van der Linden, & C.A.W. Glas (Eds.). Elements of adaptive testing (pp. 289-314). DOI: 10.1007/978-0-387-85461-8_15. Gierl, M.J., & Lai, H. (2012). The role of item models in automatic item generation. International journal of testing, 12(3), 273-298. DOI: 10.1080/15305058.2011.635830. Se espera que la AIG reduzca costos monetarios, ya que la generación tradicional de ítems resulta costosa para muchas organizaciones reconocidas a nivel mundial.Rudner, L. (2010). Implementing the graduate management admission test computerised adaptive test. In W.J. van der Linden, and C.A.W. Glas (Eds.). Elements of adaptive testing (pp. 151-165). DOI: 10.1007/978-0-387-85461-8_15. La AIG incrementa enormemente la cantidad de ítems generados en el mismo lapso de tiempo invertido para la creación tradicional de ítems. Los ítems pueden incluso crearse al instante en el transcurso de un Test Adaptativo Informatizado. Las formas paralelas de un test pueden generarse de manera sencilla a través de la AIG para reducir la sobreexposición del individuo a un grupo de ítems, lo cual promueve la seguridad de testeo. También se espera que la AIG produzca ítems con una gama amplia de niveles de dificultad, evite errores de construcción y permita una comparabilidad mayor entre los ítems gracias a una definición más sistemática del IM prototípico.Irvine, S. (2002). The foundations of item generation for mass testing. In S.H. Irvine, & P.C. Kyllonen (Eds.). Item generation for test development (pp. 3-34). Mahwah: Lawrence Erlbaum Associates.Lai, H., Alves, C., & Gierl, M.J. (2009). Using automatic item generation to address item demands for CAT. In D.J. Weiss (Ed.), Proceedings of the 2009 GMAC Conference on Computerized Adaptive Testing. Web: www.psych.umn.edu/psylabs/CATCentral.
Desarrollos existentes
Varios programas han sido creados con el fin de automatizar la generación de reactivos de todo tipo. Entre ellos se destacan los siguientes en orden cronológico inverso. Embretson y KingstonEmbretson, S.E., & Kingston, N.M. (2018). Automatic item generation: a more efficient process for developing mathematics achievement items? Journal of educational measurement, 55(1), 112-131. DOI: 10.1111/jedm.12166 examinaron las propiedades cualitativas y psicométricas de ítems de ejecución matemática que fueron creados automáticamente con el programa MathGen.Willson, J., Morrison, K., & Embretson, S.E. (2014). Automatic item generator for mathematical achievement items: MathGen3.0. Technical report IES1005A-2014 for the Institute of Educational Sciences Grant R305A100234. Atlanta, GA: Cognitive Measurement Laboratory, Georgia, Institute of Technology. Dichos ítems sobrevivieron exitosamente a revisiones cualitativas extensas así como a ensayos empíricos. Aquellos ítems generados bajo una misma estructura mostraron propiedades psicométricas predecibles. Harrison, Collins y MüllensiefenHarrison, P.M., Collins, T., & Müllensiefen, D. (2017). Applying modern psychometric techniques to melodic discrimination testing: item response theory, computerised adaptive testing, and automatic item generation. Scientific reports, 7(3618), 1-18. desarrollaron ítems para evaluar la discriminación de melodías musicales y para ello emplearon un generador de ítems basado en el modelo computacional Racchman-Jun2015.Collins, T., Laney, R., Willis, A., & Garthwaite, P.H. (2016). Developing and evaluating computational models of music style. Artificial intelligence for engineering design, analysis and manufacturing, 30, 16-43. DOI: 10.1017/S0890060414000687 Los resultados de calidad psicométrica son óptimos. Ferreyra y Backhoff-EscuderoFerreyra, M.F., & Backhoff-Escudero, E. (2016). Validez del Generador Automático de Ítems del Examen de Competencias Básicas (Excoba). Relieve, 22(1), art. 2, 1-16. DOI: 10.7203/relieve.22.1.8048 desarrollaron el programa GenerEx para crear dos versiones paralelas del Examen de Competencias Básicas y luego estudiaron la estructura interna así como equivalencia psicométrica de estos tests. Los estudios empíricos de calidad psicométrica revelan resultados favorables a rasgos generales y además, los tests guardan múltiples similitudes con respecto a los índices psicométricos estudiados. Gierl y sus colegasGierl, M.J., Lai, H., Pugh, D., Touchie, C., Boulais, A.P., & De Champlain, A. (2016). Evaluating the psychometric characteristics of generated multiple-choice test items. Applied measurement in education, 29(3), 196-210. DOI: 10.1080/08957347.2016.1171768Lai, H., Gierl, M.J., Byrne, B.E., Spielman, A.I., & Waldschmidt, D.M. (2016). Three modelling applications to promote automatic item generation for examinations in dentistry. Journal of dental education, 80(3), 339-347.Gierl, M.J., & Lai, H. (2013). Evaluating the quality of medical multiple-choice items created with automated processes. Medical education, 47, 726-733. DOI: 10.1111/medu.12202Gierl, M.J., Lai, H., & Turner, S.R. (2012). Using automatic item generation to create multiple-choice test items. Medical education, 46(8), 757-765. DOI: 10.1111/j.1365-2923.2012.04289.x presentaron nuevos métodos de AIG aplicados a la evaluación de la educación médica y utilizaron el Generador de Ítems (Item Generator, IGORGierl, M.J., Zhou, J., & Alves, C. (2008). Developing a taxonomy of item mode types to promote assessment engineering. J technol learn assess, 7(2), 1-51.) para la creación de reactivos de respuesta múltiple sobre conocimiento médico. Los resultados generales revelan buenas propiedades psicométricas de los ítems proporcionados por IGOR, incluso al compararlas con aquellas pertenecientes a ítems manualmente creados. Arendasy, Sommer y MayrArendasy, M.E., Sommer, M., & Mayr, F. (2011). Using automatic item generation to simultaneously construct German and English versions of a Word Fluency Test. Journal of cross-cultural psychology, 43(3), 464-479. DOI: 10.1177/0022022110397360. describieron la alta calidad psicométrica de ítems verbales generados en forma automática luego de administrarlos a dos muestras, las cuales consistían respectivamente en participantes de habla alemana e inglesa. Los grupos de ítems administrados a estas muestras se basaron en un conjunto común de ítems de anclaje interlingüísticos, lo cual facilitó la comparación del desempeño de los individuos a través de ambos idiomas. Holling, Bertling y ZeuchHolling, H., Bertling, J.P., & Zeuch, N. (2009). Automatic item generation of probability word problems. Studies in educational evaluation, 35(2-3), 71-76. utilizaron teoría de la probabilidad para generar automáticamente problemas de palabras de matemática con dificultades anticipadas. Los autores consiguieron ajustar el modelo de RaschRasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Chicago: University of Chicago Press. y las dificultades de los ítems pudieron anticiparse con ayuda del Modelo Logístico Lineal de Rasgo Latente (Linear Logistic Test Model, LLTMFischer, G.H. (1973). The linear logistic test model as an instrument of educational research. Acta Psychological, 37, 359-374. DOI: 10.1016/0001-6918(73)90003-6.), así como del LLTM por Efectos Aleatorios. Holling, Blank, Kuchenbäcker y KuhnHolling, H., Blank, H., Kuchenbäcker, K., & Kuhn, J.T. (2008). Rule-based item design of statistical word problems: a review and first implementation. Psychology science quarterly, 50(3), 363-378. realizaron un estudio similar con problemas de palabras de estadística, pero sin el uso de la AIG. Arendasy y cols.Arendasy, M.E., Sommer, M., Gittler, G., & Hergovich, A. (2006). Automatic generation of quantitative reasoning items. A pilot study. Journal of individual differences, 27(1), 2-14. DOI: 10.1027/1614-0001.27.1.2.Arendasy, M.E., & Sommer, M. (2007). Using psychometric technology in educational assessment: the case of a schema-based isomorphic approach to the automatic generation of quantitative reasoning items. Learning and individual differences, 17(4), 366-383. DOI: 10.1016/j.lindif.2007.03.005. presentaron estudios con problemas de palabras de álgebra generados en forma automática y examinaron la manera en que un marco de control de calidad de la AIG puede afectar la calidad de medida de dichos ítems.
Generación automática de ítems de figuras