Inteligencia de Negocios

Los tres pilares de una IA confiable

single-image


Haga clic aquí para obtener más información sobre el autor. Jett Oristaglio.

A medida que la IA se vuelve omnipresente en docenas de industrias, el entusiasmo inicial sobre las nuevas tecnologías está siendo reemplazado gradualmente por el desafío de construir sistemas de IA confiables. Todos hemos escuchado los titulares: el escándalo de contratación de inteligencia artificial de Amazon, la falla de $ 62 millones de IBM Watson en oncología, el ahora infame modelo de recaída COMPAS que discrimina a los acusados ​​negros. Las fallas de IA son comunes en las grandes organizaciones y son escrutadas y molestas por el público, los medios y los reguladores por igual.

La IA puede transformar radicalmente una organización, pero al igual que la toma de decisiones humana, hay muchas formas en que un sistema de IA puede fallar: inexactitud, exceso de conciencia, prejuicios, preocupaciones por la privacidad y docenas de otros riesgos pueden codificarse en la IA de una organización. Y debido a que un solo punto de falla puede tener repercusiones masivas en la toma de decisiones automatizada, las soluciones y herramientas únicas no resuelven el problema más amplio de la confianza en la IA. Para que una organización confíe en sus modelos de IA, debe analizar el problema de la confianza desde una perspectiva holística y comprender la imagen general de cómo la IA puede fallar en cada etapa de su desarrollo, desde el preprocesamiento de datos hasta la construcción y el despliegue del modelo.

En última instancia, hay tres pilares principales de una IA confiable que se requieren para implementar con éxito una IA empresarial confiable:

1. Desempeño

2. Operaciones

3. Ética

rendimiento se relaciona con la pregunta «¿Qué tan bien puede mi modelo utilizar los datos para hacer predicciones?» La precisión del modelo es la dimensión de rendimiento de la que más se habla, pero confiar en las predicciones de su IA requiere mucho más que precisión. El rendimiento también incluye criterios como la calidad de los datos, la resistencia de su modelo a los datos sucios o faltantes y la velocidad con la que se pueden realizar las predicciones.

Operaciones se relaciona con la pregunta: «¿Qué tan confiable es el sistema en el que se implementa mi modelo?» Este pilar garantiza que pueda confiar en su modelo en el mundo real, donde los datos son caóticos y dinámicos, abundan las regulaciones y la seguridad es siempre un problema. Muchos modelos que funcionan perfectamente en una caja de arena se rompen cuando se implementan y prueban con datos del mundo real.

ética se relaciona con la pregunta: «¿Mi modelo se alinea con la ética y los valores de mi organización?» O para decirlo de otra manera: “¿Qué es? Un golpe de mi modelo en el mundo? «Este es el requisito más importante para una IA confiable y también es el que más se pasa por alto. La ética abarca criterios como el sesgo y la equidad, el valor generado por el modelo y la explicabilidad de sus decisiones. En última instancia, no importa si su modelo es exacto y confiable cuando su impacto en el mundo y su negocio es negativo.

Es importante comprender cada uno de estos pilares en detalle, lo que haré en una serie de tres partes. Primero, profundicemos en el primer pilar del éxito de la IA, el rendimiento, y cómo es una forma importante de implementar con éxito una IA confiable.

Rendimiento: el primer pilar de una IA confiable

El rendimiento es importante durante todo el ciclo de vida de la IA, pero primero se evalúa durante la fase de limpieza y modelado de datos. En este caso, el modelo se prueba en una caja de arena. El objetivo es crear un modelo con el mayor rendimiento posible antes de implementarlo en el mundo real.

Los principales criterios probados en Rendimiento son:

1. Calidad de los datos

2. Precisión

3. velocidad

Calidad de los datos

La calidad de los datos es la base de cualquier IA confiable: como dice el viejo refrán: «La basura entra, la basura sale». Incluso el modelo de aprendizaje automático más avanzado no puede compensar los datos de mala calidad.

La primera forma de garantizar la calidad de los datos es rastrear el origen de los datos. Muchos proyectos de IA requieren la combinación de datos de múltiples fuentes: almacenes de datos internos, datos de terceros e incluso conjuntos de datos de código abierto como registros de censos o incluso informes meteorológicos. Es importante comprender las diversas fuentes de datos que utiliza el sistema de inteligencia artificial. Esto puede ayudar a identificar problemas como datos incompatibles y métodos de recopilación de datos deficientes antes de que produzcan errores del mundo real.

La segunda forma de garantizar la calidad de los datos es realizar una limpieza de datos como parte de la canalización de IA. Puede obtener información valiosa sobre sus datos calculando estadísticas resumidas sobre cada característica, calculando las correlaciones de características tanto con el objetivo como con otras características, e incluso modificando los datos. En última instancia, puede mejorar enormemente el rendimiento de su modelo, por ejemplo, ingresando valores faltantes, eliminando filas duplicadas y eliminando funciones «con fugas» que codifican datos que no se conocen durante el período de pronóstico y generan demasiada confianza.

La IA confiable debe ser robusta a los datos sucios. También significa que la limpieza de datos no se puede considerar como un proceso único que solo se ejecuta una vez antes de que comience el modelado. En cambio, las técnicas de limpieza de datos que se utilizan durante el entrenamiento del modelo deben incorporarse en la misma canalización repetible que se utiliza para predecir el modelo. Cada vez que el modelo recibe nuevos datos, debe realizar de nuevo la limpieza de datos necesaria. Esto asegura que el modelo no se romperá una vez que se implemente en el mundo real.

exactitud

La precisión es el componente del rendimiento que se analiza con más frecuencia, pero abarca una amplia gama de diferentes tipos de análisis. La precisión intenta obtener conocimiento sobre la tasa de error del modelo agregando las predicciones. Sin embargo, hay muchas formas diferentes de medir esto.

Los fundamentos sólidos de la ciencia de datos, como las pruebas fuera de muestra y la validación cruzada, deben estar en juego al evaluar su modelo. También debe asegurarse de que está utilizando una métrica de error que se adapte bien al problema en cuestión. Por ejemplo, la pérdida de registro y RMSE son las configuraciones predeterminadas para los problemas de regresión y clasificación binaria, respectivamente. Sin embargo, hay ocasiones en las que es posible que desee utilizar estas métricas de precisión menos comunes. Es importante que elija cuidadosamente su métrica de precisión.

Además, conocimientos como la Matriz de confusión, que puede utilizar para evaluar, le permiten examinar más a fondo la precisión de su modelo. especies errores que es más probable que cometa su modelo, como B. «falsos positivos» o «falsos negativos». Los gráficos de elevación y las curvas ROC también pueden ayudar a completar otras piezas del rompecabezas de precisión. Evaluar la precisión es fundamental para una IA confiable, y existen muchas técnicas diferentes que se pueden utilizar para generar una comprensión más profunda.

velocidad

Imagínese si su automóvil autónomo solo pudiera tomar decisiones una vez cada tres segundos. Parece obvio que no debes confiar en este sistema de IA con tu vida. Independientemente de su función, cada modelo tiene algunas limitaciones en la velocidad con la que se pueden hacer predicciones, ya sean tres milisegundos, tres segundos o tres semanas.

A menudo, el modelo más preciso es también el más lento, p. Ej. B. mezcladores complejos y redes neuronales profundas que se entrenan en hardware superior. Una optimización de optimización pura puede conducir a errores de modelo en otras dimensiones, p. Ej. B. costes, explicabilidad y sobre todo rendimiento y rapidez. Antes de elegir un modelo, debe asegurarse de que pueda devolver predicciones dentro de un período de tiempo apropiado para el caso de uso.

Aparte de la selección del modelo, hay algunas formas de mejorar la velocidad del modelo, como: B. Usar matrices dispersas para datos numéricos y eliminar características innecesarias / sin importancia del conjunto de datos. A menudo es posible lograr la misma o incluso mejor precisión entrenando un modelo en solo las 10 características más importantes de un conjunto de datos, incluso si contiene miles de características diferentes en total.

El rendimiento es el primer pilar para implementar con éxito una IA corporativa confiable. Pero ninguno de estos pilares puede existir de forma independiente. Por ejemplo, estos criterios de rendimiento deben probarse continuamente después de que se implemente el modelo para garantizar que no haya degradación. El desempeño y las operaciones se superponen en un área conocida como ML Ops. En nuestro próximo artículo, profundizaremos en las operaciones como el segundo pilar de una IA confiable.

También te gustará