Los grandes modelos lingüísticos desafían el futuro de la educación superior

Jan 15, 2024

Nature Machine Intelligence volumen 5, páginas 333–334 (2023)Citar este artículo

5221 Accesos

1 Citas

20 Altmetric

Detalles de métricas

ChatGPT es un chatbot basado en un modelo de lenguaje grande (LLM) que genera texto en formato de diálogo. Fue lanzado públicamente por OpenAI en diciembre de 2022 y ha causado conmoción en el sector de la educación superior por su capacidad para crear textos pulidos y que suenan seguros, que podrían usarse para escribir ensayos y tareas. Si bien por ahora puede producir respuestas1 que solo son lo suficientemente competentes para lograr una calificación aprobatoria, es capaz de responder correctamente preguntas de opción múltiple en varias áreas temáticas, incluidas las preguntas de muestra para aprobar exámenes de licencia de alto perfil. La tasa de progreso de tales aplicaciones ha sido tal que no es difícil imaginar que pronto se lanzará un sucesor muy mejorado de ChatGPT.

Una pregunta que surge es si la educación superior debería reaccionar y cómo. ¿Deberían las universidades prohibir su uso? ¿O deberían los académicos aceptar que los modelos lingüísticos se convertirán en una parte integral de su conjunto de herramientas profesionales e incorporarlos en nuestras prácticas de enseñanza y evaluación?

En un nivel práctico, permitir el uso de herramientas basadas en LLM afectaría la estructura de la evaluación. Y en el nivel de conducta profesional, muchos comparten el sentimiento de que usar texto producido por un LLM es equivalente a cometer plagio. Dado que las universidades ya cuentan con severas sanciones para sancionar el plagio por otros medios, parece natural extenderlas a los LLM. Sin embargo, un problema con este enfoque es que su aplicación será un desafío. A diferencia de copiar y pegar o parafrasear, los LLM producen texto nuevo que no se puede rastrear a una sola fuente, y aunque se ha lanzado un software para verificar la probabilidad de hacer trampa con la ayuda de LLM (ref. 2), su confiabilidad parece ser baja para ahora. Además, es probable que cualquier intento de actualizar el software de detección fracase3 ante la rápida evolución de los LLM.

Otra reacción de algunas universidades ha sido (al menos temporalmente) volver a los antiguos exámenes supervisados ​​de lápiz y papel como su principal modo de evaluación. Si bien esta solución reducirá drásticamente las trampas relacionadas con LLM a corto plazo, es poco probable que sea sostenible o ampliamente aplicable. El enfoque solo se puede utilizar en instituciones tradicionales donde los estudiantes están físicamente presentes, y es un movimiento regresivo con respecto a las transformaciones digitales en la entrega y evaluación de la educación superior4 que fueron instigadas por la pandemia mundial de COVID-19. La transformación de la evaluación escrita en exámenes orales puede adaptarse mejor a los entornos digitales, pero esto genera preocupaciones sobre la confiabilidad, la validez y la escalabilidad.

Un tercer tipo de reacción a los LLM, y quizás la única sostenible, es adaptarlos y abrazarlos, como se prevé en un editorial reciente5 de esta revista y en consonancia con el reciente anuncio del Bachillerato Internacional sobre sus calificaciones6. Hay muchas posibilidades para experimentar y ser creativo con ChatGPT al enseñar y evaluar a los estudiantes. Sin embargo, la adopción de ChatGPT (o aplicaciones similares de propiedad privada) como parte de la práctica habitual plantea graves riesgos de consecuencias operativas, financieras, pedagógicas y éticas negativas para las universidades. En particular, OpenAI no tiene la obligación de atender las necesidades de las instituciones educativas en lo que respecta al mantenimiento y acceso a su modelo, lo que crea problemas operativos básicos si esto forma parte de la evaluación.

Las implicaciones pedagógicas a largo plazo de aceptar los LLM como herramientas de aprendizaje también necesitan consideración. Practicar la escritura académica es una forma común de enseñar y evaluar la argumentación lógica y el pensamiento crítico7 (que, irónicamente, son habilidades necesarias para evaluar el resultado de un LLM). Es probable que los estudiantes de idiomas extranjeros o los estudiantes con desventajas educativas sean los más afectados, y los educadores ponen menos énfasis en aprender a redactar textos bien escritos y argumentados. Esto podría terminar reforzando las divisiones sociales y disminuyendo la movilidad social una vez que los estudiantes se gradúen y se vean envueltos en entornos laborales donde los LLM pueden no estar disponibles o no ser útiles.

Otro desafío se refiere a la confianza que los educadores pueden depositar en el modelo, cómo se entrenó y sobre qué datos. El texto producido por LLM es un reflejo de patrones8 en los datos de entrenamiento. Su uso en la educación podría afianzar aún más los daños a la representación en formas que son insidiosamente difíciles de documentar y reparar9. OpenAI hizo algunos progresos en la mejora de la precisión de ChatGPT en las indicaciones fácticas y también en la moderación del contenido tóxico. Sin embargo, los límites de esta ingeniería son imposibles de probar, y han tenido el costo de explotar la mano de obra de los trabajadores de datos que, según ha surgido10, fueron contratados para ver y etiquetar contenido tóxico. Los educadores que adopten ChatGPT en su enseñanza validarían implícitamente estas prácticas dañinas y extractivas.

Finalmente, debería haber preocupación por los recursos que se requieren para ejecutar los LLM, particularmente a la luz de los compromisos de cero emisiones netas y bajas emisiones de carbono de cientos de universidades. Un artículo reciente estima que la huella de carbono diaria de ChatGPT es de alrededor de 23 kg CO2e, aproximadamente lo mismo que un solo viaje de ida y vuelta de Londres a París en el Eurostar, pero esto no incluye el costo de entrenar al modelo. Si bien esto puede parecer relativamente pequeño, aumentará rápidamente a medida que la tecnología se vuelva omnipresente. Por lo tanto, las instituciones educativas deben tener cuidado de pedir a los estudiantes que utilicen un modelo cuyo funcionamiento esté contribuyendo activamente a la crisis climática, a menos que el valor que pueda derivarse de su uso supere de manera demostrable el costo ambiental.

Ante estos desafíos, ¿qué pueden hacer los académicos? Un paso podría ser la creación de LLM financiados con fondos públicos en colaboración con iniciativas abiertas dirigidas por partes interesadas como el proyecto BigScience. Dichos modelos podrían desarrollarse específicamente para entornos educativos, asegurando que sean auditables y transparentes con respecto a sus costos humanos y ambientales. Esto requerirá una visión prospectiva, inversiones sustanciales y la participación activa y el cabildeo de las instituciones educativas y sus patrocinadores. El entusiasmo por ChatGPT y otras herramientas LLM presagia el gran problema político de quién posee y establece los estándares para la educación en la era de la IA.

Choi, JH, Hickman, KE, Monahan, A. y Schwarcz, D. SSRN https://doi.org/10.2139/ssrn.4335905 (2023).

Artículo Google Académico

Heikkilä, M. Cómo detectar texto generado por IA. MIT Technology Review https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/ (2022).

Naturaleza 613, 612–612 (2023).

García-Morales, V. J., Garrido-Moreno, A. & Martín-Rojas, R. Front. Psychol. 12, (2021).

Nat. Mach. Intel. 5, 1 (2023).

Hill, C. y Lawton, WJ High. Educ. Gestión de políticas 40, 598–610 (2018).

Artículo Google Académico

Liu, F. y Stapleton, P. Evaluar. Escritura. 38, 10–20 (2018).

Artículo Google Académico

Bender, EM, Gebru, T., McMillan-Major, A. y Shmitchell, S. en Actas de la Conferencia ACM de 2021 sobre equidad, responsabilidad y transparencia 610–623 (ACM, 2021).

Weidinger, L. et al. Preimpresión en arXiv http://arxiv.org/abs/2112.04359 (2021).

Tiempo. Exclusivo: los trabajadores de $ 2 por hora que hicieron que ChatGPT sea más seguro. Hora https://time.com/6247678/openai-chatgpt-kenya-workers/ (18 de enero de 2023).

Descargar referencias

Centro de Exeter para el Estudio de las Ciencias de la Vida (Egenis), Universidad de Exeter, Exeter, Reino Unido

Silvia milano y sabina leonelli

Melbourne Graduate School of Education, Universidad de Melbourne, Melbourne, Victoria, Australia

Josué A. McGrane

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

Correspondencia a Silvia Milano.

Los autores declaran no tener conflictos de intereses.

Nature Machine Intelligence agradece a los revisores anónimos por su contribución a la revisión por pares de este trabajo.

Reimpresiones y permisos

Milano, S., McGrane, JA & Leonelli, S. Los grandes modelos lingüísticos desafían el futuro de la educación superior. Marcha nocturna Intel 5, 333–334 (2023). https://doi.org/10.1038/s42256-023-00644-2

Descargar cita

Publicado: 31 de marzo de 2023

Fecha de emisión: abril de 2023

DOI: https://doi.org/10.1038/s42256-023-00644-2

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt