¿Cuál es la “verdad fundamental” en la Inteligencia Artificial?
Una demostración que muestra por qué no debes tratar a la IA como una mágica caja de magia.
Traducido por Carlos Secada del original por Cassie Kozyrkov
Nota: todos los enlaces de abajo te llevan a otros artículos del mismo autor.
Con toda la antropomorfización gratuita que infecta el espacio del Machine Learning (ML) y la inteligencia artificial (IA), muchos empresarios se ven engañados a pensar sobre la IA como un colega objetivo e imparcial, que conoce todas las respuestas correctas. Aquí hay una rápida demostración del por qué eso es un pensamiento equivocado.
Una tarea que prácticamente todos los estudiantes de IA tienen que sufrir es construir un sistema que clasifique las imágenes como “gato” (la foto contiene un gato) o “no gato” (no se ve ningún gato). La razón por la que se trata de una tarea clásica de IA es que reconocer objetos es una tarea que es relativamente fácil de realizar para los humanos, pero es muy difícil para nosotros decir cómo lo hacemos (por lo que es difícil codificar reglas explícitas que describan la “gatuidad”). Este tipo de tareas son perfectas para la IA.
La demostración
Escucho gruñidos de aquellos de ustedes que han estado alrededor de la IA ya por un tiempo — tú que estás ya harto del ejemplo gato / no-gato. Me parece justo, pero sígueme la corriente sólo esta vez. Para este ejercicio, tú serás mi sistema de inteligencia artificial. Tu trabajo es clasificar las seis imágenes de abajo. Puedes elegir entre sólo dos etiquetas/salidas permitidas:
- Gato
- No-gato
¡Vamos! Asigna una etiqueta permitida a cada una de las 6 imágenes, como lo haría un sistema de IA:
¡Ajá! Las imágenes 1–5 fueron fáciles, pero ¿qué es eso que te oigo murmurar para la imagen 6? ¿”Gato grande”? ¿”Una especie de gato”? ¿”Tal vez gato”? ¡Esas no son opciones permitidas! Eres un sistema que está programado para emitir sólo “gato” o “no-gato”. Entonces, ¿cuál es?
Y así, comenzamos a ver cuán importante es el tomador de decisiones del proyecto. La respuesta correcta no es platónica y ciertamente no proviene del sistema de inteligencia artificial … de hecho, no hay una respuesta “correcta”. La respuesta “correcta” depende de lo que el dueño del sistema quiera que haga el sistema.
La IA no puede fijar el objetivo por ti — ese es el trabajo del humano.
Si estoy tratando de construir un sistema de recomendación de mascotas que sólo sugiere criaturas que son seguras para ser acariciadas en su típico tamaño adulto, entonces la respuesta es clara. Mi objetivo para este sistema significa que la acción correcta para ti es etiquetar la imagen 6 como “no-gato”. Si todavía la etiquetas como “gato” en este punto, bueno… recomiendo que contrates un seguro de vida.
Las respuestas “correctas” del machine learning suelen estár en el ojo del espectador, por lo que un sistema que está diseñado para un propósito puede no funcionar para un propósito diferente.
Si tienes la intención de clasificar a los gatos para algún otro propósito, entonces tal vez la respuesta “correcta” será diferente. ¡El propósito u objetivo proviene del tomador de decisiones humano! Hazte a un lado Platón; diferentes respuestas serán apropiadas para diferentes proyectos. En IA, el objetivo es siempre subjetivo. Depende del dueño del proyecto el definir esos objetivos subjetivos. (Y depende de todos los demás entender que los sistemas de IA tienen mucha subjetividad en ellos.)
¡En la inteligencia artificial, el objetivo siempre es subjetivo! Los sistemas de inteligencia artificial tienen mucha subjetividad dentro de ellos.
Los tomadores de decisiones deben actuar como padres responsables que eligen los comportamientos que desean que sus sistemas produzcan … y casi nunca hay una única forma “correcta” de definir categorías y establecer objetivos en los que cada tomador de decisiones estaría de acuerdo. Esas cosas dependen de cada persona. Diferentes personas encontrarán diferentes conjuntos de comportamientos apropiados para la replicación.
Si heredas mi sistema y tus intenciones son diferentes a las mías o si planeas usarlo para un propósito diferente para el que lo diseñé, o por ejemplo, si tienes opiniones diferentes a las mías sobre lo que debería llamarse un gato, podrías encontrar que mi sistema no funciona para ti. Incluso podrías lastimarte, aunque me hayas hecho muy feliz por usarlo.
Si eso sucediera, la culpa sería tuya, no mía; fuiste lo suficientemente ingenuo como para suponer que solo hay una forma de definir las cosas. Pensaste que un sistema con un componente matemático no podría tener ambigüedad y debilidades humanas, así que terminaste con una gran solución al problema incorrecto porque no era tu problema (era mío).
Siempre debes probar un sistema de IA que alguien más desarrolló, especialmente si no sabes cómo definieron sus objetivos.
¿Estoy diciendo que no puedes usar sistemas desarrollados por otros equipos de ingeniería de IA y que tienes que construir el tuyo desde cero todo el tiempo? De ningún modo. Sin embargo, debes formarte una clara idea de lo que significa realizar tu tarea correctamente (por ejemplo, qué hacer si hay un tigre) y debes probar cuidadosamente el sistema que estás pensando heredar con una batería de tus propios ejemplos (como las fotos que has etiquetado a mano).
¿Qué es la verdad fundamental?
Es posible que haya escuchado el término “verdad fundamental” (o “ground truth” en inglés) en el espacio ML / AI, pero ¿qué significa? Noticia de último minuto: La verdad fundamental no es verdad. Es un resultado esperado ideal (según las personas responsables a cargo). En otras palabras, es una forma de reducir las opiniones de los dueños de proyectos mediante la creación de un conjunto de ejemplos con etiquetas de salida que esos dueños consideran apetecibles.
Podría consistir en etiquetar a mano los puntos de datos de ejemplo o colocar sensores “sobre los fundamentos” (en un lugar del mundo real curado) para recoger datos de respuesta deseables para entrenar a tu sistema.
Noticia de última hora: La verdad fundamental no es verdad.
Por ejemplo, un conjunto de imágenes podría ser cuidadosamente etiquetadas a mano como gato o no-gato de acuerdo con las opiniones de quien estuviera a cargo del proyecto y esas etiquetas de gato o no gato se llamarán “verdad fundamental” para el proyecto.
Cuando dicho conjunto de datos se usa para entrenar sistemas de ML / AI, los sistemas basados en él heredarán y amplificarán los valores implícitos de las personas que decidieron cómo era el comportamiento ideal del sistema para ellos.
Cuando creamos sistemas de máquinas basados en datos, les enseñamos un sentido de nuestros valores.
Ya que estamos en este tema, ten en cuenta que la creación de la “verdad fundamental” pidiéndole a seres humanos de confianza que realicen esta tarea por ti, está sujeta a todo tipo de errores, incluido el error humano. Es una buena idea tratar de minimizar el potencial de este error a través de enfoques como flujos de trabajo de recopilación de datos basados en el consenso, el monitoreo del tiempo de reacción y trucos inteligentes de experiencia del usuario (UX) que reducen la probabilidad de errores en la entrada de datos. (Más sobre esto en un artículo futuro).
Siempre es una buena idea que el tomador de decisiones de tu proyecto revise una muestra aleatoria para verificar que la calidad sea lo suficientemente alta.
¿Qué sucede si encuentras un conjunto de datos en Internet y lo utilizas en lugar de recopilar el tuyo? Luego, tu proyecto hereda los valores implícitos y los prejuicios de quien creó tu conjunto de datos. Siempre hay decisiones subjetivas en el camino y quien las haga determina “correcto” e “incorrecto” para tu proyecto. ¡Ten cuidado en quién confías! Hay mucho que decir sobre los tomadores de decisiones que se toman el tiempo para realizar la tarea ellos mismos para comprender mejor el problema que están tratando de resolver, junto con los datos, los objetivos y los casos límite.
Advertencia (cómo ser un buen ciudadano)
He escrito mucho elogiando los pruebas de los sistemas ML / AI con cuidado, ¡pero cuidado! Dado que todo el proceso invita fundamentalmente a la subjetividad de la definición y el objetivo, todas las pruebas se realizarán a la luz de las respuestas que le gustaron al responsable de la toma de decisiones de tu equipo. Desafortunadamente, en primer lugar no hay prueba para la insensatez de esas partes subjetivas. No hay controles ni equilibrios en el tomador de decisiones, excepto otros tomadores de decisiones que revisan su justificación para las elecciones realizadas en la primera fase del proyecto.
No existe una prueba que verifique la insensatez de las definiciones y objetivos subjetivos, así que elige sabiamente a tu líder de proyecto.
Ahora que sabes cuán subjetiva es la primera parte de todos los proyectos de ML / AI, puedes ser un mejor ciudadano en una sociedad cada vez más empapada de IA. En lugar de tomar las soluciones de IA al pie de la letra, siempre pregúntate:
- ¿Quién construyó este sistema?
- ¿Cuáles fueron sus objetivos (subjetivos)?
- ¿Cómo definieron las respuestas correctas?
- ¿A la mayoría de las personas se les ocurrirían definiciones similares?
- ¿Cómo se crea el conjunto de datos de verdad fundamental?
- ¿A qué personas se beneficiará con este sistema?
- ¿Cuán dolorosos pueden ser los errores?
- ¿Hay apropiadas redes de seguridad incorporadas? (¿Los creadores del sistema tuvieron la humildad de anticipar la posibilidad de que sus elecciones pudieran ser incorrectas y lo previeron?)
En muchas situaciones, tus respuestas a estas preguntas no revelarán nada aterrador. La IA ya está a tu alrededor y, en su mayor parte, está bien diseñada y es nutritiva. Por desgracia, de vez en cuando te encontrarás en aguas turbulentas. Por ejemplo, no querrás ser víctima de un sistema de detección de fraude miope con definiciones imprecisas de cómo es el fraude financiero, especialmente si dicho sistema tiene permitido acusar falsamente a las personas sin darles una manera fácil de demostrar su inocencia. Ese tipo de cosas es un barril de pólvora pidiendo fuego. Como ciudadano responsable, depende de ti notar situaciones inflamables y señalarlas. Una vez que comiences a ver la subjetividad inherente en el juego de la IA, estarás mejor armado para señalar a los feos elementos humanos que podrían reproducirse si nadie los vigila.
Para una guía sobre cómo trabajar sabiamente a través de las poco claras partes subjetivas, consulta mi Guía Fundamental para para iniciar IA para Tomadores de Decisiones.
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
