La herramienta de retroalimentación de IA mejora las prácticas de enseñanza

Aug 30, 2023

El primer estudio de este tipo muestra que una herramienta que brinda retroalimentación automatizada mejora las prácticas de comunicación de los instructores y la satisfacción de los estudiantes.

La inteligencia artificial está transformando rápidamente la educación, tanto de manera preocupante como beneficiosa. En el lado positivo del libro de contabilidad, una nueva investigación muestra cómo la IA puede ayudar a mejorar la forma en que los instructores interactúan con sus alumnos, a través de una herramienta de vanguardia que brinda retroalimentación sobre sus interacciones en clase.

La herramienta M-Powering Teachers proporciona comentarios con ejemplos de diálogos de la clase para ilustrar patrones de conversación de apoyo. Haga clic en la imagen para ampliar. (Crédito de la imagen: cortesía de Dora Demszky)

Un nuevo estudio dirigido por Stanford, publicado el 8 de mayo en la revista revisada por pares Educational Evaluation and Policy Analysis, encontró que una herramienta de retroalimentación automatizada mejoró el uso de los instructores de una práctica conocida como aceptación, donde los maestros reconocen, reiteran y construyen sobre las opiniones de los estudiantes. contribuciones. Los hallazgos también proporcionaron evidencia de que, entre los estudiantes, la herramienta mejoró su tasa de finalización de tareas y su satisfacción general con el curso.

Para los instructores que buscan mejorar su práctica, la herramienta ofrece un complemento de bajo costo para la observación convencional del aula, que no requiere un entrenador de instrucción u otro experto para observar al maestro en acción y recopilar un conjunto de recomendaciones.

"Sabemos por investigaciones anteriores que la retroalimentación específica y oportuna puede mejorar la enseñanza, pero simplemente no es escalable ni factible que alguien se siente en el aula de un maestro y brinde retroalimentación cada vez", dijo Dora Demszky, profesora asistente en la Escuela de Graduados en Educación de Stanford. (GSE) y autor principal del estudio. "Queríamos ver si una herramienta automatizada podría apoyar el desarrollo profesional de los docentes de una manera escalable y rentable, y este es el primer estudio que demuestra que lo hace".

Reconociendo que los métodos existentes para brindar retroalimentación personalizada requieren recursos significativos, Demszky y sus colegas se propusieron crear una alternativa de bajo costo. Aprovecharon los avances recientes en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés), una rama de la IA que ayuda a las computadoras a leer e interpretar el lenguaje humano, para desarrollar una herramienta que pudiera analizar las transcripciones de una sesión de clase para identificar patrones de conversación y brindar retroalimentación consistente y automatizada.

Para este estudio, se centraron en identificar la aceptación de las contribuciones de los estudiantes por parte de los profesores. "La aceptación es clave para hacer que los estudiantes se sientan escuchados y, como práctica, se ha relacionado con un mayor rendimiento de los estudiantes", dijo Demszky. "Pero también se considera que es difícil mejorar para los maestros".

Dora Demszky es profesora asistente en la Escuela de Graduados en Educación de Stanford. (Crédito de la imagen: cortesía de Stanford GSE)

Los investigadores entrenaron la herramienta, llamada M-Powering Teachers (la M significa máquina, como en aprendizaje automático), para detectar hasta qué punto la respuesta de un maestro es específica a lo que ha dicho un estudiante, lo que mostraría que el maestro entendió y construido sobre la idea del estudiante. La herramienta también puede brindar retroalimentación sobre las prácticas de cuestionamiento de los maestros, como plantear preguntas que provocaron una respuesta significativa de los estudiantes y la proporción de tiempo de conversación entre maestros y estudiantes.

El equipo de investigación puso la herramienta a trabajar en la sesión de primavera de 2021 de Code in Place de Stanford, un curso en línea gratuito que ahora está en su tercer año. En el programa de cinco semanas, basado en el popular curso introductorio de ciencias de la computación de Stanford, cientos de instructores voluntarios enseñan programación básica a estudiantes de todo el mundo, en secciones pequeñas con una proporción de maestro-alumno de 1:10.

Los instructores de Code in Place provienen de todo tipo de antecedentes, desde estudiantes universitarios que recientemente tomaron el curso hasta programadores informáticos profesionales que trabajan en la industria. Entusiasmados como son para introducir a los principiantes en el mundo de la codificación, muchos instructores se acercan a la oportunidad con poca o ninguna experiencia previa en la enseñanza.

Los instructores voluntarios recibieron capacitación básica, objetivos de lecciones claros y esquemas de sesiones para prepararse para su función, y muchos agradecieron la oportunidad de recibir información automatizada en sus sesiones, dijo el coautor del estudio Chris Piech, profesor asistente de educación en ciencias de la computación en Stanford. y co-fundador de Code in Place.

"Le damos tanta importancia a la educación sobre la importancia de la retroalimentación oportuna para los estudiantes, pero ¿cuándo reciben los maestros ese tipo de retroalimentación?" él dijo. "Tal vez el director entre y se siente en tu clase, lo que parece aterrador. Es mucho más cómodo participar con comentarios que no provienen de tu director, y puedes obtenerlos no solo después de años de práctica, sino desde el primer día en adelante". el trabajo."

Los instructores recibieron sus comentarios sobre la herramienta a través de una aplicación unos días después de cada clase, para que pudieran reflexionar sobre ellos antes de la siguiente sesión. Presentados en un formato colorido y fácil de leer, los comentarios utilizaron un lenguaje positivo y sin prejuicios e incluyeron ejemplos específicos de diálogo de su clase para ilustrar patrones de conversación de apoyo.

Los investigadores encontraron que, en promedio, los instructores que revisaron sus comentarios aumentaron posteriormente el uso de la captación y el cuestionamiento, y los cambios más significativos tuvieron lugar en la tercera semana del curso. El aprendizaje de los estudiantes y la satisfacción con el curso también aumentaron entre aquellos cuyos instructores recibieron retroalimentación, en comparación con el grupo de control. Code in Place no administra un examen de fin de curso, por lo que los investigadores utilizaron las tasas de finalización de las tareas opcionales y las encuestas del curso para medir el aprendizaje y la satisfacción de los estudiantes.

La investigación posterior de Demszky con uno de los coautores del estudio, Jing Liu, PhD '18, estudió el uso de la herramienta entre los instructores que trabajaron individualmente con estudiantes de secundaria en un programa de tutoría en línea llamado Polygence. Los investigadores, que presentarán sus hallazgos en julio en la conferencia Learning at Scale de 2023, descubrieron que, en promedio, la herramienta mejoró la aceptación de las contribuciones de los estudiantes por parte de los mentores en un 10 %, redujo su tiempo de conversación en un 5 % y mejoró la experiencia de los estudiantes con la programa, así como su relativo optimismo sobre su futuro académico.

Actualmente, Demszky está realizando un estudio sobre el uso de la herramienta para aulas escolares K-12 en persona, y señaló el desafío de generar la transcripción de alta calidad que pudo obtener de un entorno virtual. "La calidad del audio del salón de clases no es muy buena y separar las voces no es fácil", dijo. "El procesamiento del lenguaje natural puede hacer mucho una vez que tiene las transcripciones, pero necesita buenas transcripciones".

Hizo hincapié en que la herramienta no fue diseñada con fines de vigilancia o evaluación, sino para apoyar el desarrollo profesional de los docentes al darles la oportunidad de reflexionar sobre sus prácticas. Ella lo comparó con un rastreador de actividad física, que brinda información para el beneficio de sus propios usuarios.

La herramienta tampoco fue diseñada para reemplazar la retroalimentación humana sino para complementar otros recursos de desarrollo profesional, dijo.

Junto con Dora Demszky, Jing Liu y Chris Piech, el estudio fue coautor de Dan Jurafsky, profesor de lingüística y ciencias de la computación en Stanford, y Heather C. Hill, profesora de la Escuela de Graduados en Educación de Harvard.

Dora Demszky, Escuela de Graduados en Educación de Stanford: [email protected]

Carrie Spector, Escuela de Graduados en Educación de Stanford: [email protected]

Los científicos han sospechado durante mucho tiempo que el peso de la nieve y el hielo en las montañas cercanas podría alterar las evaluaciones de las aguas subterráneas vinculadas a los cambios de elevación en el Valle Central de California, pero carecían de una forma de cuantificar el efecto. Un nuevo estudio demuestra una solución.

Algunos tipos de maltrato infantil son precursores especialmente significativos de la alexitimia adulta, un rasgo de personalidad que puede dificultar las relaciones interpersonales y la salud mental.

Los dos miembros más nuevos del equipo de liderazgo en la Oficina del Vicerrector y el Decano de Investigación analizan cómo sus funciones respaldan el ecosistema de investigación de Stanford.