Consejos para construir un ecosistema de IA eficaz

En todos los casos de uso empresarial y verticales, los ingenieros y los líderes están discutiendo constantemente el valor que la inteligencia artificial puede aportar; a menudo, las oportunidades parecen infinitas. Puede predecir sus intereses, las personas que conoce o su próximo trabajo.

Sin embargo, a menudo pasamos por alto los pasos que se deben tomar para ejecutar sistemas a escala de AI. La implementación de la IA puede ser costosa en términos de talento, recursos informáticos y tiempo, y para desencadenar completamente la ola de innovación que la AI promete, los desarrolladores deben estar debidamente capacitados y equipados. De hecho, muchos de los elementos clave necesarios para una implementación exitosa de AI tienen menos que ver con los detalles del algoritmo y más con las herramientas y los procesos implementados alrededor de ellos.

Varias de estas herramientas y procesos giran en torno a la estandarización de los flujos de trabajo más frecuentes. Esto puede tomar la forma de algo tan simple como una hoja de cálculo que enumera características comunes, o tan sofisticado como una plataforma de desarrollador de AI completa. A medida que hemos escalado nuestros esfuerzos de inteligencia artificial en LinkedIn, gradualmente avanzamos hacia lo último, creando nuestro programa de "Aprendizaje automático productivo" ("Pro-ML" para abreviar) para mejorar la productividad y la eficiencia de los desarrolladores.

Aquí hay algunos consejos clave y sugerencias para organizaciones de cualquier tamaño que hemos acumulado a través de este trabajo.

Datos limpios adentro, ideas inteligentes fuera

Un prerrequisito para el proceso de implementación de AI es tener una comprensión profunda de sus datos. El rendimiento de un modelo de IA está intrínsecamente ligado a los datos en los que está entrenado, por lo que es importante saber que tiene datos limpios con los que trabajar. Luego, al elegir qué conjuntos de datos usar para la capacitación, es útil colaborar con sus socios comerciales para comprender cuál es el objetivo comercial más importante. Por ejemplo, si desea "aumentar el compromiso" con un servicio de noticias, ¿lo mide por la tasa de clics en los artículos y publicaciones, o la tasa de "me gusta" o comentarios en las publicaciones? Al determinar conjuntamente los mejores datos que se usarán para respaldar objetivos comerciales claros, diseñará un modelo más efectivo.

Otro factor a tener en cuenta al seleccionar los datos de entrenamiento es cómo se etiqueta. ¿Los datos tienen suficiente contexto para ser alimentados directamente en un modelo, o requieren una anotación? En el caso de este último, es importante crear un "libro de códigos" o "libro de ejecución" que establezca estándares sobre cómo deben clasificarse los datos. Una vez trabajé con un pequeño equipo de expertos que buscaban etiquetar un conjunto de datos a mano, y cuando evaluamos el producto terminado, nos dimos cuenta de que la tasa de acuerdo entre ellos era inferior a 0,2. Esto significa que los anotadores expertos no estuvieron de acuerdo entre sí en absoluto, y no hay razón para esperar que un modelo entrenado en dichos datos se desempeñe de manera aceptable. Si los expertos no pueden ponerse de acuerdo sobre cómo se deben etiquetar los datos, es poco realista esperar que los anotadores con un servicio como CrowdFlower (ahora Figura Ocho) puedan hacerlo de manera efectiva.

La clave para llevar: eliminar la ambigüedad y los dolores de cabeza en la línea al ser muy claros desde el principio con los estándares para el etiquetado de datos.

Realiza funciones estandarizadas y repetibles.

A través de las diferentes líneas de productos de LinkedIn, diferentes equipos están utilizando la inteligencia artificial para resolver diferentes problemas (optimizando la información, identificando el ajuste del reclutador-candidato y sugiriendo cursos para su próximo cambio de carrera, por nombrar algunos). Cada equipo utiliza diferentes conductos para producir las características deseadas de sus modelos de aprendizaje automático, ya que cada caso de uso es distinto. Sin embargo, en estos equipos, vimos características similares que aparecían una y otra vez, y decidimos que el proceso debía ser simplificado.

Creamos nuestro mercado de funciones, Frame, que ayuda a resolver este problema al permitir que los equipos aprovechen las funciones y el conocimiento existentes. Frame actúa como un depósito común para que los equipos compartan, encuentren y administren funciones para sus respectivos modelos de aprendizaje automático. Su innovación clave es abstraer cómo una característica está anclada a partir de su nombre y semántica. Esto permite que todos los equipos comiencen desde la misma plantilla de características estandarizada y luego la personalicen según sea necesario para sus tuberías o entornos particulares. A medida que los equipos trabajan en diferentes tipos de proyectos, el mercado evita el trabajo duplicado, ahorrando tiempo y recursos.

Ser proactivo en el mantenimiento del modelo.

Los modelos se degradan con el tiempo; Es una parte inevitable del ciclo de vida del aprendizaje automático. Superamos esto en LinkedIn al adoptar un enfoque proactivo para el mantenimiento de modelos. Desde el principio, cuando estamos construyendo modelos, lo hacemos de una manera que sabemos que facilitará el reentrenamiento. Los modelos que creamos y probamos no se ven como experimentos desechables, sino como artefactos revisados ​​por código de calidad de producción. De esa manera, cuando llegue el momento de volver a entrenar el modelo, tenemos una definición sólida que seguir para facilitar el entrenamiento.

También nos involucramos en la "re-capacitación programada", imponiendo un horario establecido para cuando reentrenamos los modelos. Esto ayuda a quitar algo de carga cognitiva a los equipos de modelado, y también asegura que descubramos cualquier debilidad del modelo antes de que el modelo deje de funcionar por completo. También invertimos en herramientas de monitoreo del rendimiento para garantizar la salud. Si bien cualquier grado de monitoreo es mejor que ninguno, un buen objetivo para trabajar es tener un monitoreo automático que envíe alertas cuando ciertas métricas superan los umbrales preestablecidos.

La implementación de la IA puede requerir solo ciertos elementos (GPU, modelos, datos, etc.), pero la implementación exitosa de la IA en una organización a escala requiere un conjunto de herramientas de soporte que permita a los desarrolladores. Al equipar a los desarrolladores con las mejores prácticas y herramientas relacionadas con el trabajo de AI, estamos ampliando nuestra capacidad para aplicar la AI de la mejor manera posible.

Este artículo se publica como parte de la red IDG Contributor. ¿Querer unirse?

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *