La puntuación automatizada de ensayos (PAE) es el uso de programas informáticos especializados para asignar notas a los ensayos escritos en un ámbito educativo. Es una forma de valoración educativa y una aplicación de procesamiento de lenguaje natural. Su objetivo es clasificar un gran conjunto de textos en una pequeña cantidad de categorías, correspondiendo a las posibles calificaciones, por ejemplo, de los números 1 a 6. En este caso, el disminuir el tamaño puede ser considerado un problema de clasificación estadística.
Varios factores han despertado un interés creciente para el uso de las PAE. Entre ellos están: el coste, la responsabilidad, los estándares, y la tecnología. El aumento de costes en la educación ha hecho presión sobre el sistema educativo para que establezca estándares a la hora de evaluar. Los avances tecnológicos de la información miden resultados educativos a un coste reducido.
El uso de PAE para pruebas con grandes consecuencias en la educación ha generado una reacción violenta significativa, ya que los oponentes señalan que los ordenadores no pueden todavía puntuar con precisión y argumentando que su uso para tales propósitos promueve enseñar escritura de manera reducida (i.e. enseñando para la prueba).
Historia La mayoría de resúmenes históricos de PAE se encuentran en el trabajo de Ellis Batten Page. En 1966, discutió por la posibilidad de puntuar ensayos por ordenador, y en 1968 publicóPage, E.B. (1968). "The Use of the Computer in Analyzing Student Essays", International Review of Education, 14(3), 253-263. su exitoso proyecto llamado Project Essay Grade (PEG). Utilizando la tecnología de aquel tiempo, la puntuación informatizada del ensayo no habría sido rentable,Page, E.B. (2003), pp. 44-45. así que Page redujo sus esfuerzos durante dos décadas. Finalmente, Page vendió PEG a Measurement Incoporated.
En 1990, los ordenadores de sobremesa habían llegado a ser tan potentes y tan extendidos que PAE era una posibilidad práctica. A principios de 1982, un programa de UNIX llamado Writer´s Workbench era capaz de ofrecer puntuación, ortografía y consejos gramaticales.MacDonald, N.H., L.T. Frase, P.S. Gingrich, and S.A. Keenan (1982). "The Writers Workbench: Computer Aids for Text Analysis", IEEE Transactions on Communications, 3(1), 105-110. En colaboración con varias empresas (sobre todo Educational Testing Service), Page actualizó PEG y realizó algunas pruebas exitosas a principios de los 1990.Page, E.B. (1994). "New Computer Grading of Student Prose, Using Modern Concepts and Software", Journal of Experimental Education, 62(2), 127-142.
Peter Foltz y Thomas Landauer desarrollaron un sistema utilizando un motor de puntuación llamado Intelligent Essay Assessor (IEA). IEA fue primero utilizado para puntuar ensayos en 1997 para sus cursos de pregrado. Es ahora un producto de Pearson Educational Technologies y se utiliza para obtener calificaciones en el mercado de productos y en exámenes nacionales.
IntelliMetric es un motor PAE de Vantage Learning. Su desarrollo empezó en 1996.Elliot, Scott (2003). "Intellimetric TM: From Here to Validity", p. 75. In Shermis, Mark D., and Jill Burstein, eds., Automated Essay Scoring: A Cross-Disciplinary Perspective. Lawrence Erlbaum Associates, Mahwah, New Jersey, Se utilizó al principio comercialmente para puntuar ensayos en 1998."IntelliMetric®: How it Works", Vantage Learning. Retrieved 28 February 2012.
Educational Testing Service ofrece "e-rater", un programa de puntuación automatizada de ensayos. Primero se utilizó comercialmente en febrero de 1999.Burstein, Jill (2003). "The E-rater(R) Scoring Engine: Automated Essay Scoring with Natural Language Processing", p. 113. In Shermis, Mark D., and Jill Burstein, eds., Automated Essay Scoring: A Cross-Disciplinary Perspective. Lawrence Erlbaum Associates, Mahwah, New Jersey, Jill Burstein era el dirigente de equipo en su desarrollo. El servicio de evaluación online Criterion de Educational Testing Service utiliza el motor e-rater para proporcionar ambas puntuaciones y retroalimentación específica.
Lawrence Rudner ha hecho algún trabajo con puntuación bayesiana, y desarrolló un sistema llamado BETSY (Bayesian Essay Test Scoring sYstem). Algunos de sus resultados han sido publicados a papel u online, pero ningún sistema comercial incorpora BETSY aún.
Bajo el liderazgo de Howard Mitzel y Sue Lottridge, Pacific Metrics desarrolló un motor de puntuación automatizado de respuesta, CRASE. Actualmente utilizado por varios Departamentos de Estado de Educación y en un Departamento de EE. UU. Y en la subvención de Evaluación Mejorada del Departamento, la tecnología de Pacific Metrics ha sido utilizada a gran escala en entornos formativos y de valoración desde 2007.
Measurement Inc. adquirió los derechos de PEG en 2002 y ha continuado con su desarrollo.
En 2012, Hewlett Foundation patrocina una competición en Kaggle llamada Automated Student Assessment Prize (ASAP). El intento era demostrar que PAE puede ser tan fiable como un evaluador humano, o incluso más. La competición también organizó una demostración aparte entre nueve proveedores PAE en un subconjunto de datos ASAP. Sin embargo los investigadores informaron que la puntuación automatizada de ensayos era tan fiable como la de un humano,- Shermis, Mark D., and Jill Burstein, eds. Handbook of Automated Essay Evaluation: Current Applications and New Directions. Routledge, 2013. esta afirmación no estaba probada por ninguna evidencia estadística, porque algunos proveedores solicitaron que tales pruebas no se realicen como condición previa para participar en la demostración. Además, la afirmación de Hewlett Study, demostró que PAE puede ser tan fiable como los evaluadores humanos, fue entonces cuando ha sido fuertemente cuestionado,Perelman, L. (2014). "When 'the state of the art is counting words'", Assessing Writing, 21, 104-111. incluyendo alguna como la de Randy E. Bennett, Norman O. Frederiksen Chair in Assessment Innovation en el Educational Testing Service. Algunas de las críticas más importantes del estudio fueron que cinco de los ocho datasets fueron párrafos más que ensayos, cuatro de los ocho datasets eran evaluados por lectores humanos que se centraban más en el contenido que en la habilidad de escritura, y eso en vez de medir a los lectores humanos y máquinas PAE frente a la "verdadera puntuación", la media de las puntuaciones de los dos lectores, el estudio empleó una construcción artificial, llamada "puntuación resuelta", el cual en cuatro datasets consistió en la más alta de las dos puntuaciones humanas si había un desacuerdo. Esta última práctica, en particular, dio a las máquinas una ventaja injusta por dejarles redondear hacia arriba para estos datasets.
En 1966, Page hipotetizó que, en el futuro, el juez computacional será mejor que se correlacione con cada juez humano, en vez de con todos los jueces que haya. A pesar de criticar la aplicabilidad de este enfoque a la calificación de ensayos en general, esta hipótesis fue apoyada para calificar respuestas libres a preguntas cortas, tales como aquellos típicos del sistema británico GCSE. Los resultados del aprendizaje supervisado demuestran que los sistemas automáticos actúan bien cuando las calificaciones de los diferentes profesores humanos son concordantes. El clustering no supervisado de las respuestas mostraron que los papeles excelentes y los papeles flojos formaron clusters bien definidos, y la regla de calificación automatizada para estos clusters funcionó bien, mientras que las calificaciones dadas por profesores humanos para el tercer cluster (‘mixed’), la fiabilidad de cualquier valoración de trabajos del cluster ‘mixed’ a menudo son cuestionados (ambos humano y computacional).
Diferentes parámetros en la calidad del ensayo Según una encuesta reciente, los sistemas PAE intentan puntuar variables diferentes de la calidad de un ensayo para proporcionar retroalimentación a los usuarios. Algunas de estas variables son las siguientes:
Gramaticalidad: Reglas de la gramática. Uso: Uso de las preposiciones, uso de las palabras. Mecánica: Reglas de ortografía, puntuación, capitalización. Estilo: Elección de palabras, variedad en las estructuras de las oraciones. Relevancia: Como de relevante es el contenido. Organización: Como de bien esté organizado el ensayo. Desarrollo: Desarrollo de las ideas con ejemplos. Cohesión: Uso adecuado de conectores lingüísticos. Coherencia: Transiciones entre ideas de forma apropiada. Claridad: Claridad de la tesis. Persuasión: Convencimiento del argumento importante.
Procedimiento Desde el principio, el procedimiento básico para el uso de las PAE ha sido empezar con un entrenamiento con ensayos cuidadosamente seleccionados.Keith, Timothy Z. (2003), p. 149. El programa evalúa detalles superficiales de cada ensayo, como por ejemplo el número total de palabras, el número de cláusulas dependientes, o el porcentaje de letras en mayúscula y en minúscula, las cuales son cantidades que se pueden medir sin intuición humana. Posteriormente se construye un modelo matemático que relacione las cantidades evaluadas con la puntuación obtenida en cada ensayo. Con este modelo luego se calculará la puntuación de nuevos ensayos.
Recientemente, Isaac Persing y Vincent Ng.Persing, Isaac, and Vincent Ng (2015). "Modeling Argument Strength in Student Essays", pp. 543-552. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Retrieved 2015-10-22. Crearon uno de estos modelos matemáticos, el cual no solo evalúa ensayos por los detalles anteriores, sino también en su fuerza argumental. Evalúa varias características del ensayo, como el nivel de acuerdo del autor y razones para el mismo, la conexión con el tema del trabajo, la ubicación de los componentes del argumento (reclamación importante, reclamación, premisa), errores en los argumentos, cohesión en los argumentos entre varias otras características. En contraste a los otros modelos mencionados antes, este modelo está más cerca de duplicar la comprensión humana al calificar ensayos.
La diferencia entre los PAE reside en qué detalles están midiendo, cuántos ensayos se han necesitado para entrenar, y principalmente en qué modelo matemático se basan. En un inicio se usó regresión lineal. Los sistemas modernos pueden usar regresión lineal u otras técnicas de aprendizaje automático en combinación con técnicas estadísticas, como por ejemplo análisis semántico latenteBennett, Randy Elliot, and Anat Ben-Simon (2005), p. 7. e inferencia bayesiana.
Criterios para el éxito Cualquier método de valoración debe ser evaluado para determinar su validez, precisión y fiabilidad.Chung, Gregory K.W.K., and Eva L. Baker (2003). "Issues in the Reliability and Validity of Automated Scoring of Constructed Responses", p. 23. In: Automated Essay Scoring: A Cross-Disciplinary Perspective. Shermis, Mark D., and Jill Burstein, eds. Lawrence Erlbaum Associates, Mahwah, New Jersey, Un instrumento es válido si realmente mide la característica que pretende medir. Es justo si este no penaliza ni otorga ningún privilegio a ninguna persona. Es fiable si su resultado se repite, incluso cuando los factores externos irrelevantes se ven alterados.
Antes de que los ordenadores se metieran en la sociedad, la calificación de trabajos de grandes consecuencias, solía ser dada por dos humanos expertos en el tema. Si las puntuaciones difieren por más de un punto, un tercer experto más experimentado resolvería la diferencia. En este sistema, hay una manera fácil de medir la fiabilidad: por acuerdo entre evaluadores. Si los evaluadores no se ponen de acuerdo en ningún momento, puede haber un error en su entrenamiento. Si un evaluador discrepa consistentemente con cómo otros calificadores califican a los mismos ensayos, probablemente necesita más entrenamiento.