Para algunas personas, el término “caja negra” recuerda los dispositivos de grabación en los aviones que son valiosos para los análisis post mortem si sucede lo impensable. Para otros evoca pequeños teatros mínimamente equipados. Pero caja negra también es un término importante en el mundo de la inteligencia artificial.

Las cajas negras de IA se refieren a sistemas de IA con funcionamiento interno que es invisible para el usuario. Puede alimentarlos con entradas y obtener salidas, pero no puede examinar el código del sistema o la lógica que produjo la salida.

El aprendizaje automático es el subconjunto dominante de la inteligencia artificial. Es la base de sistemas generativos de IA como ChatGPT y DALL-E 2 . Hay tres componentes para el aprendizaje automático: un algoritmo o un conjunto de algoritmos, datos de entrenamiento y un modelo. Un algoritmo es un conjunto de procedimientos. En el aprendizaje automático, un algoritmo aprende a identificar patrones después de haber sido entrenado en un gran conjunto de ejemplos: los datos de entrenamiento. Una vez que se ha entrenado un algoritmo de aprendizaje automático, el resultado es un modelo de aprendizaje automático. El modelo es lo que la gente usa.

Por ejemplo, se podría diseñar un algoritmo de aprendizaje automático para identificar patrones en imágenes, y los datos de entrenamiento podrían ser imágenes de perros. El modelo de aprendizaje automático resultante sería un observador de perros. Le daría una imagen como entrada y obtendría como salida si y en qué parte de la imagen un conjunto de píxeles representa un perro.

Cualquiera de los tres componentes de un sistema de aprendizaje automático puede estar oculto o en una caja negra. Como suele ser el caso, el algoritmo se conoce públicamente, lo que hace que ponerlo en una caja negra sea menos efectivo. Entonces, para proteger su propiedad intelectual, los desarrolladores de IA a menudo colocan el modelo en una caja negra. Otro enfoque que adoptan los desarrolladores de software es oscurecer los datos utilizados para entrenar el modelo; en otras palabras, poner los datos de entrenamiento en una caja negra.

Lo contrario de una caja negra a veces se denomina caja de cristal . Una caja de vidrio de IA es un sistema cuyos algoritmos, datos de entrenamiento y modelo están disponibles para que cualquiera los vea. Pero los investigadores a veces caracterizan aspectos de incluso estos como caja negra.

Esto se debe a que los investigadores no entienden completamente cómo funcionan los algoritmos de aprendizaje automático, en particular los algoritmos de aprendizaje profundo . El campo de la IA explicable está trabajando para desarrollar algoritmos que, si bien no son necesariamente una caja de cristal, pueden ser mejor entendidos por los humanos.

Por qué son importantes las cajas negras de IA

En muchos casos, hay buenas razones para desconfiar de los algoritmos y modelos de aprendizaje automático de caja negra. Supongamos que un modelo de aprendizaje automático ha hecho un diagnóstico sobre su salud. ¿Te gustaría que el modelo fuera caja negra o caja de cristal? ¿Qué pasa con el médico que prescribe su curso de tratamiento? Tal vez le gustaría saber cómo llegó la modelo a su decisión.

¿Qué sucede si un modelo de aprendizaje automático que determina si califica para un préstamo comercial de un banco lo rechaza? ¿No te gustaría saber por qué? Si lo hizo, podría apelar la decisión de manera más efectiva o cambiar su situación para aumentar sus posibilidades de obtener un préstamo la próxima vez.

Las cajas negras también tienen implicaciones importantes para la seguridad del sistema de software. Durante años, muchas personas en el campo de la informática pensaron que mantener el software en una caja negra evitaría que los piratas informáticos lo examinaran y, por lo tanto, sería seguro. En gran medida, se ha demostrado que esta suposición es incorrecta porque los piratas informáticos pueden aplicar ingeniería inversa al software, es decir, crear un facsímil observando de cerca cómo funciona una pieza de software, y descubrir vulnerabilidades para explotar.

Si el software está en una caja de cristal, los probadores de software y los piratas informáticos bien intencionados pueden examinarlo e informar a los creadores de las debilidades, minimizando así los ataques cibernéticos.