La técnica eficiente mejora la máquina

Sep 01, 2023

Las imágenes para descargar en el sitio web de la oficina de noticias del MIT están disponibles para entidades no comerciales, la prensa y el público en general bajo una licencia Creative Commons Attribution Non-Commercial No Derivatives. No puede alterar las imágenes proporcionadas, excepto para recortarlas al tamaño. Se debe utilizar una línea de crédito al reproducir imágenes; si no se proporciona uno a continuación, acredite las imágenes a "MIT".

Imagen anterior Imagen siguiente

Se están utilizando potentes modelos de aprendizaje automático para ayudar a las personas a abordar problemas difíciles, como la identificación de enfermedades en imágenes médicas o la detección de obstáculos en la carretera para vehículos autónomos. Pero los modelos de aprendizaje automático pueden cometer errores, por lo que en entornos de alto riesgo es fundamental que los humanos sepan cuándo confiar en las predicciones de un modelo.

La cuantificación de la incertidumbre es una herramienta que mejora la confiabilidad de un modelo; el modelo produce una puntuación junto con la predicción que expresa un nivel de confianza de que la predicción es correcta. Si bien la cuantificación de la incertidumbre puede ser útil, los métodos existentes generalmente requieren volver a entrenar todo el modelo para darle esa capacidad. El entrenamiento consiste en mostrarle a un modelo millones de ejemplos para que pueda aprender una tarea. Entonces, el reentrenamiento requiere millones de entradas de datos nuevos, que pueden ser costosos y difíciles de obtener, y también consumen enormes cantidades de recursos informáticos.

Investigadores del MIT y del MIT-IBM Watson AI Lab ahora han desarrollado una técnica que permite que un modelo realice una cuantificación de la incertidumbre más efectiva, utilizando muchos menos recursos informáticos que otros métodos y sin datos adicionales. Su técnica, que no requiere que el usuario vuelva a entrenar o modificar un modelo, es lo suficientemente flexible para muchas aplicaciones.

La técnica implica la creación de un modelo complementario más simple que ayude al modelo original de aprendizaje automático a estimar la incertidumbre. Este modelo más pequeño está diseñado para identificar diferentes tipos de incertidumbre, lo que puede ayudar a los investigadores a profundizar en la causa raíz de las predicciones inexactas.

"La cuantificación de la incertidumbre es esencial tanto para los desarrolladores como para los usuarios de modelos de aprendizaje automático. Los desarrolladores pueden utilizar medidas de incertidumbre para ayudar a desarrollar modelos más sólidos, mientras que para los usuarios, puede agregar otra capa de confianza y confiabilidad al implementar modelos en el mundo real. Nuestro El trabajo conduce a una solución más flexible y práctica para la cuantificación de la incertidumbre", dice Maohao Shen, estudiante de posgrado en ingeniería eléctrica e informática y autor principal de un artículo sobre esta técnica.

Shen escribió el artículo con Yuheng Bu, ex postdoctorado en el Laboratorio de Investigación de Electrónica (RLE) que ahora es profesor asistente en la Universidad de Florida; Prasanna Sattigeri, Soumya Ghosh y Subhro Das, miembros del personal de investigación del MIT-IBM Watson AI Lab; y el autor principal Gregory Wornell, profesor de Ingeniería de Sumitomo que dirige el Laboratorio de Señales, Información y Algoritmos RLE y es miembro del MIT-IBM Watson AI Lab. La investigación se presentará en la Conferencia AAAI sobre Inteligencia Artificial.

Cuantificación de la incertidumbre

En la cuantificación de la incertidumbre, un modelo de aprendizaje automático genera una puntuación numérica con cada salida para reflejar su confianza en la precisión de esa predicción. La incorporación de la cuantificación de la incertidumbre mediante la creación de un nuevo modelo desde cero o el reentrenamiento de un modelo existente generalmente requiere una gran cantidad de datos y un cálculo costoso, lo que a menudo no es práctico. Además, los métodos existentes a veces tienen la consecuencia no deseada de degradar la calidad de las predicciones del modelo.

Los investigadores del MIT y MIT-IBM Watson AI Lab se han concentrado en el siguiente problema: dado un modelo previamente entrenado, ¿cómo pueden permitirle realizar una cuantificación de incertidumbre efectiva?

Resolven esto mediante la creación de un modelo más pequeño y más simple, conocido como metamodelo, que se adjunta al modelo preentrenado más grande y utiliza las características que el modelo más grande ya ha aprendido para ayudarlo a realizar evaluaciones de cuantificación de incertidumbre.

"El metamodelo se puede aplicar a cualquier modelo previamente entrenado. Es mejor tener acceso a las partes internas del modelo, porque podemos obtener mucha más información sobre el modelo base, pero también funcionará si solo tiene un resultado final. aún puede predecir un puntaje de confianza", dice Sattigeri.

Diseñan el metamodelo para producir el resultado de la cuantificación de la incertidumbre utilizando una técnica que incluye ambos tipos de incertidumbre: la incertidumbre de los datos y la incertidumbre del modelo. La incertidumbre de los datos es causada por datos corruptos o etiquetas inexactas y solo se puede reducir reparando el conjunto de datos o recopilando nuevos datos. En la incertidumbre del modelo, el modelo no está seguro de cómo explicar los datos recién observados y puede hacer predicciones incorrectas, muy probablemente porque no ha visto suficientes ejemplos de entrenamiento similares. Este problema es un problema especialmente desafiante pero común cuando se implementan modelos. En entornos del mundo real, a menudo encuentran datos que son diferentes del conjunto de datos de entrenamiento.

"¿Ha cambiado la confiabilidad de sus decisiones cuando usa el modelo en una nueva configuración? Quiere alguna forma de tener confianza en si está funcionando en este nuevo régimen o si necesita recopilar datos de capacitación para esta nueva configuración en particular", Wornell dice.

Validación de la cuantificación

Una vez que un modelo produce un puntaje de cuantificación de incertidumbre, el usuario aún necesita cierta seguridad de que el puntaje en sí es preciso. Los investigadores a menudo validan la precisión creando un conjunto de datos más pequeño, extraído de los datos de entrenamiento originales, y luego probando el modelo en los datos reservados. Sin embargo, esta técnica no funciona bien para medir la cuantificación de la incertidumbre porque el modelo puede lograr una buena precisión de predicción sin dejar de tener un exceso de confianza, dice Shen.

Crearon una nueva técnica de validación al agregar ruido a los datos en el conjunto de validación; estos datos ruidosos son más como datos fuera de distribución que pueden causar incertidumbre en el modelo. Los investigadores utilizan este conjunto de datos ruidoso para evaluar las cuantificaciones de incertidumbre.

Probaron su enfoque al ver qué tan bien un metamodelo podía capturar diferentes tipos de incertidumbre para varias tareas posteriores, incluida la detección fuera de distribución y la detección de clasificación errónea. Su método no solo superó todas las líneas de base en cada tarea posterior, sino que también requirió menos tiempo de capacitación para lograr esos resultados.

Esta técnica podría ayudar a los investigadores a habilitar más modelos de aprendizaje automático para realizar eficazmente la cuantificación de la incertidumbre, lo que en última instancia ayudaría a los usuarios a tomar mejores decisiones sobre cuándo confiar en las predicciones.

En el futuro, los investigadores quieren adaptar su técnica para nuevas clases de modelos, como modelos de lenguaje grandes que tienen una estructura diferente a la de una red neuronal tradicional, dice Shen.

El trabajo fue financiado, en parte, por el MIT-IBM Watson AI Lab y la Fundación Nacional de Ciencias de EE. UU.

Elemento anterior Elemento siguiente