Cómo ser un idiota de la Inteligencia Artificial (IA)
7 maneras de arruinar tu proyecto de machine learning
Traducido por Carlos Secada del original por Cassie Kozyrkov. (Editado por Ale Koretzky)
En el artículo anterior, te uniste a Mr. Bean en su aventura a través de los conceptos básicos de entrenamiento, validación y pruebas. Algunas reglas sobre cómo (no) ser un idiota con IA se derivan de forma natural de ese ejemplo, pero déjame explicarte explícitamente. (Mis disculpas si suena pavorosamente familiar).
La historia hasta ahora
En el episodio anterior, interpretaste el papel del paciente profesor de Mr. Bean. Ya que te estás volviendo bueno en eso, vamos a dejarte seguir interpretándolo. A menudo he dicho que la mejor manera de evitar los mayores escollos en la IA aplicada es nunca olvidar los fundamentos del aprendizaje y la enseñanza, así que secretamente espero que mantengas la mentalidad del profesor de Mr. Bean para siempre.
¡Nunca olvides las bases del aprendizaje y la enseñanza!
Recordatorio rápido de las tres fases (explicadas con más detalle en el artículo anterior):
- Fase de entrenamiento: Mr. Bean (un marcador de posición para tu amado sistema de IA) busca patrones en los ejemplos que vio en clase, luego convierte estos patrones en un modelo (receta).
- Fase de validación: mira cómo le va a la receta de Mr. Bean en los ejemplos que no estudió explícitamente. Si el puntaje se ve bien, va a dar el examen, de lo contrario, reinicia la fase de entrenamiento.
- Fase de prueba: Mr. Bean toma el examen final y averigua si se le permite ir a producción o debe cambiar de especialidad.
La fase de entrenamiento es bastante sencilla: se introducen ejemplos en los estudiantes (datos en los algoritmos de machine learning) y, sobre todo se espera lo mejor (solo estoy medio bromeando). Más información sobre cómo funciona aquí.
Antes de enumerar las formas de ser un idiota de la IA, hablemos de las fases más sutiles — validación y pruebas — desde tu valorada perspectiva de profesor.
La sutil diferencia entre validación y pruebas
Si lo único que te importa es reprobar a los estudiantes indignos, no necesitas una fase de validación. Todo lo que necesitas es una prueba. El pobre Mr. Bean se entrena, encuentra un patrón (era un patrón absurdo), se apresura a rendir su examen, no pasa el examen, y es expulsado de la especialidad de matemáticas. Atrapaste y ejecutaste a un ignorante. ¡Gran trabajo!
Las pruebas son acerca de cuidar la puerta de entrada. ¡Solo los dignos deben pasar! Las pruebas te mantienen a salvo de liberar prototipos malos.
¿Pero dónde está tu deseo de ayudar a sus estudiantes a mejorar? ¿Dónde está tu compromiso de ayudarlos a ser mejores? ¿Dónde está tu oportunidad para la redención y superación personal? Validación, ahí es donde está.
La validación se trata de la redención. Es una oportunidad para desempolvarse e intentar nuevamente. La validación te permite iterar hacia mejores prototipos.
Si realmente te preocupas por tus alumnos, sería triste descubrir que tus intentos utilizando una receta son en vano , solo después de que ya es demasiado tarde para ayudarlos. (En el propio examen final.) ¿Qué eres, un maestro o un verdugo?
¿Qué eres, un maestro o un verdugo?
Si tu objetivo final es formar estudiantes calificados y efectivos, querrás proporcionar problemas para practicar (del conjunto de datos de validación) para ayudar a tus estudiantes a mejorar antes de que se enfrenten a la guillotina del profesor.
Cómo no ser un idiota de la IA
Mientras que el líder de un proyecto de IA puede ser excusado de conocer los detalles matemáticos que manejan sus ingenieros y científicos de datos, no hay excusa para olvidar los fundamentos del aprendizaje y la enseñanza. Si alguna vez has pensado en hacer un examen, ya tienes la mayoría de las herramientas de sentido común que necesitas para prevenir arruinar algunos procesos importantes. Aquí hay algunos ejemplos.
Nunca olvides que la IA se trata de explicar con ejemplos.
Si tus ejemplos son malos, deberías sentirte mal. ¿Cómo puedes esperar que un estudiante aprenda efectivamente si no le das suficientes ejemplos de alta calidad para aprender? Ah, y si le das a tu estudiante ejemplos sesgados, tendrás un estudiante sesgado. Es tu culpa, profesor.
Nunca entrenes con los datos de la prueba.
Ese examen no te sirve si se puede aprobar por memorización. El aprendizaje automático es para tener éxito en los nuevos ejemplos — salta el dolor de cabeza de ML/AI y usa una tabla de búsqueda si todo lo que te importa es tener un buen rendimiento en las cosas viejas. Para garantizar que está evaluando lo correcto (rendimiento en los nuevos datos) en lugar de la capacidad de memorizar los datos antiguos, asegúrese de que su estudiante nunca tuvo la oportunidad de estudiar (er, memorizar) ninguno de sus ejemplos de prueba.
Nunca pongas datos de entrenamiento o validación en el examen final, sólo reduce su capacidad de evaluar a su estudiante adecuadamente. (Oh, ¿y mencioné que las computadoras son los mejores memorizadores que existen?)
Nunca mezcles tus datos
¿Cómo vas a evitar el problema anterior si no has curado cuidadosamente y dividido tus datos antes de sumergirse en él? La división de los datos es la mejor solución rápida de la ciencia de los datos que existe. Asegúrate de guardar los ejemplos de pruebas en un lugar seguro antes de empezar a enseñar a tus estudiantes.
Nunca pruebes a tus estudiantes antes de haber establecido los criterios de examen
Nunca evalúes a tus alumnos antes de haber establecido los criterios de examen
¿A punto de frustrarte? ¡Aún no! Aunque esto parece demasiado obvio para mencionarlo, te sorprendería la frecuencia con la que los equipos de proyectos reales con un liderazgo débil realizan la prueba y luego mueven los postes de la portería después, para que la puntuación de su estudiante termine siendo lo suficientemente buena sin importar lo que pase. No lo hagas. (Aprende más quí.)
Nunca reutilices los datos de la prueba
Si estás tentado a poner los ojos en blanco ante esos quisquillosos estadísticos que insisten en que no puedes usar un conjunto de datos de prueba más de una vez, intentemos decirlo de otra manera: “Si le das al mismo estudiante el mismo examen final dos veces, no confíes en su desempeño en la segunda ocasión.” ¡No reutilices las preguntas del examen!
Nunca omitas las pruebas
Las pruebas son lo que te salvan del desastre. Es tu protección contra la aprobación de prototipos venenosos. Si realmente no te importa (por ejemplo, si estás haciendo arte), ten las agallas de establecer tu barra de rendimiento mínima requerida en -infinito. ¿No te parece? Bien, entonces haz la prueba correctamente.
Nunca confíes demasiado en ti mismo
Aún queda un eslabón débil: usted, profesor. ¿Qué pasaría si no te dieras cuenta de que has hecho un mal examen? Podría pasarle al mejor de nosotros. Asegúrese de construir algunas redes de seguridad para mantener el mundo a salvo de su estudiante recién graduado, por si acaso.
Cómo ser un idiota de la IA
Cuando los equipos carecen sin un liderazgo experto de la IA, o cuando se ven demasiado atrapados en el meollo de la ingeniería, su sentido común puede esfumarse. Pueden perder de vista lo básico y terminar lanzando soluciones verdaderamente horribles. Casi todos los desastres de inteligencia artificial que he visto en la vida real se deben a uno de los elementos de la lista anterior, así que si buscas que te pongan el sombrero de idiota de la inteligencia artificial, te he dado una bonita lista de errores para que elijas, ¡la mesa esta servida!
Pero si prefieres construir soluciones de IA buenas, útiles y efectivas, entonces ten en cuenta la perspectiva del profesor en todo momento. Vamos, avanza machine learning… ¡es hora de pensar en machine teaching (la enseñanza de las máquinas)!
Obtén más información sobre ciencia de datos e inteligencia artificial en español aquí.
