Asegúrese de que los datos de alta calidad impulsan su IA

Hace veinte años, los valores respaldados por hipotecas y las obligaciones de deuda garantizadas estaban de moda. Estos nuevos productos financieros fueron, en un principio, una maravilla: ayudaron a colocar a millones de personas en viviendas y a hacer miles de millones para los bancos. Luego las cosas salieron terriblemente mal, y estuvieron a punto de hundir la economía mundial. La crisis financiera de 2007-2009 se ha estudiado desde muchas perspectivas, pero vista a través de la lente de la ciencia de datos, proporciona dos percepciones que sirven de cuento con moraleja para la inteligencia artificial y el aprendizaje automático (a los que me referiré simplemente como IA) de hoy: En primer lugar, el trabajo analítico para trocear y dividir las hipotecas en productos que se ajustaran a los diferentes perfiles de riesgo-recompensa de los inversores fue en realidad bastante bueno. Pero los resultados dependían de que los datos fueran de alta calidad. En segundo lugar, los datos no eran, de hecho, de alta calidad. Aparecieron datos erróneos o faltantes en cada paso, desde información incorrecta (a veces fraudulenta) en las solicitudes de hipotecas hasta puntuaciones crediticias y calificaciones de valores incorrectas, papeleo perdido y falta de claridad en las responsabilidades de los bancos. Los datos deficientes llevaron a los bancos a subestimar enormemente los riesgos, lo que dio lugar a un número inesperado de ejecuciones hipotecarias, provocando a su vez que los bancos no confiaran en las declaraciones de responsabilidad de los demás y que el sistema bancario se paralizara. La lección en el fondo de esta historia es sencilla: buena ciencia de datos + malos datos = malos resultados empresariales. ¿Qué tiene esto que ver con la IA? Para empezar, el bombo publicitario que rodea a la IA es mucho mayor y está más extendido de lo que fue el bombo publicitario en torno a los productos financieros. Peor aún: Las matemáticas utilizadas para cortar y dividir las hipotecas se entendían bien. En cambio, ni siquiera los expertos están seguros de por qué la IA hace las predicciones que hace. Los requisitos de calidad de la IA son mucho más amplios y profundos. Mientras que el trabajo de análisis de los productos financieros fue realizado por profesionales que entendían, o deberían haber entendido, la importancia de la calidad de los datos, mejores herramientas hacen que la IA sea accesible a personas menos informadas sobre todo lo que puede salir mal. No es necesario que la IA falle a escala mundial para causar enormes daños, a las personas, a las empresas y a las sociedades. Los modelos se equivocan con frecuencia, alucinan, van a la deriva y pueden colapsarse. Todo el mundo tiene su favorita, "mira esta ridícula respuesta que me dio un gran modelo lingüístico" o "la historia del desastre de la IA". Unido a la alta tasa de fracaso de los proyectos de IA, no es difícil ver por qué pocas empresas pueden citar un ROI positivo. Las advertencias sobre la calidad de los datos han sido abundantes, procedentes de fuentes tan diversas como las que lideran la revolución de la IA, como Google, Meta, Open AI; destacados investigadores; y la prensa popular, incluidos el New York Times y The Economist. La empresa de investigación Forrester advierte que "la calidad de los datos es ahora el principal factor que limita la adopción de la IA generativa". Sin embargo, la mayoría de las empresas ni siquiera han comenzado el trabajo que necesitan hacer. Lo que más interesa aquí son los primeros proyectos de IA de una empresa. Es importante destacar que la calidad de los datos es un problema (y una oportunidad) enorme para toda la organización, y sin embargo la mayoría de las empresas lo han descuidado. Una de las consecuencias es que ellas, y sus altos dirigentes, no comprenden los problemas, cómo abordarlos y los cambios organizativos que deben realizar. Se encuentran en una situación difícil: deben protegerse a corto plazo, crear las capacidades necesarias a más largo plazo y, al mismo tiempo, formarse para poder hacerlo con eficacia. Este artículo pretende ayudarles a empezar. Comprender el problema Cualquier proyecto de ciencia de datos debe comenzar con una reflexión sensata sobre el problema que se desea resolver. Para ilustrarlo, considere: "Necesitamos una forma mejor de decidir qué préstamos conceder y en qué condiciones". Plantear claramente el problema implica formular y responder preguntas como "¿mejor cómo?" y "¿qué préstamos a quién (por ejemplo, a la población de interés)?". Las respuestas se perfilan a la hora de determinar qué datos necesita. Por ejemplo: Si "mejor" significa libre de sesgos, necesitará datos de entrenamiento libres de sesgos, que pueden ser muy difíciles de conseguir. Si "mejor" significa más "préstamos rentables" y menos "préstamos morosos", necesitará datos sobre préstamos que no haya concedido históricamente. Si "mejor" significa decisiones que puedan explicarse más fácilmente a los reguladores, puede que la IA no sea su mejor enfoque, ya que la "explicabilidad" es diabólicamente difícil. Si "mejor" significa "funcionará en partes del mundo en las que actualmente no operamos y no tenemos datos", tiene un reto difícil. Si "mejor" significa un proceso global más barato, puede que sus datos históricos estén bien. Llegar a un acuerdo sobre el problema puede ser muy político. Aquellos deseosos de introducir la IA en la organización pueden estar motivados por completar un "caso de uso" para demostrar que la IA funciona, mientras que otros pueden querer disipar los temores de que los competidores se les adelanten, y otros pueden desear quitarse de encima a los reguladores. Todas estas perspectivas son valiosas, y es tentador seguir adelante antes de plantear claramente el problema. Hacerlo es desaconsejable. Obtener datos correctos "Basura dentro, basura fuera" podría ser una regla empírica útil, pero me parece conveniente enmarcar la idea de buenos datos a través de dos requisitos: 1) si son los "datos adecuados" para abordar el problema y 2) si esos "datos son correctos", o correctos. Los criterios para esto último son más familiares para la mayoría de la gente: precisión, ausencia de duplicados, etcétera. Disponer de los "datos correctos" es menos familiar, más sutil y complejo, pero también es esencial. A la hora de seleccionar los datos adecuados para un proyecto, tenga en cuenta: Relevancia e integridad: La IA depende de datos con poder predictivo, es decir, datos relevantes para el problema en cuestión. Por ejemplo, atributos como la edad, el historial de pagos y los ingresos son claramente relevantes para las decisiones sobre préstamos. La exhaustividad implica disponer del mayor número posible de atributos de datos relevantes. Exhaustividad y representación adecuada: Las dos cuestiones principales son "¿cubren los datos adecuadamente la población de interés (exhaustividad) y todas las subpoblaciones (representación adecuada) de interés?". Al fin y al cabo, se necesitan muchos datos para entrenar adecuadamente un modelo. Para ilustrar la representación adecuada, tenga en cuenta que si desea que su modelo funcione en todo el mundo, necesitará datos de todo el mundo. Libertad de sesgo: Reducir el sesgo histórico es (o debería ser) importante en la mayoría de los problemas en los que intervienen seres humanos. Por desgracia, muchos conjuntos de datos reflejan sesgos históricos y eliminar esos sesgos de los conjuntos de datos puede ser casi imposible. En tales situaciones, las empresas no deberían utilizar la IA. Oportunidad: La cuestión esencial es "¿cómo de nuevos deben ser los datos?". En el ejemplo del préstamo, tomar decisiones rápidamente utilizando los datos más actualizados puede resultar una fuente de ventaja competitiva. Definición clara: La mayoría de los esfuerzos de IA reúnen datos de fuentes dispares y una buena comprensión de esas fuentes y de los datos que proporcionan facilita su combinación. Las definiciones claras, de fuentes, atributos de datos y unidades de medida, facilitan el desarrollo de esta comprensión. Exclusiones adecuadas: Algunos datos deben excluirse por consideraciones legales, normativas, éticas y de propiedad intelectual. Por ejemplo, el uso de códigos postales puede ser un sustituto de la raza en las decisiones sobre préstamos, y debe evitar infringir las leyes que estipulan cómo puede utilizarse la información de identificación personal (IIP). Además, cada vez preocupa más que los modelos de IA entrenados en fuentes públicas puedan violar los derechos de propiedad intelectual. Consideraciones más importantes sobre el derecho a los datos Precisión: La exactitud es probablemente la característica más conocida de la calidad de los datos. La idea esencial es que los valores de los datos deben ser "correctos", es decir, deben reflejar la realidad. Aunque a veces son importantes sutilezas como "¿hasta qué punto los valores de los datos deben representar la realidad?", la mayoría de los conjuntos de datos estructurados están plagados de errores. Y es lógico que los documentos (datos no estructurados), que se utilizan para entrenar los modelos de grandes lenguajes estén en peor forma. Ausencia de duplicados: Es fácil que las entradas duplicadas se cuelen en las bases de datos, y pueden sesgar los resultados. Por ello, deben reducirse al mínimo Identificadores coherentes: Al reunir los datos de los préstamos, ¿es este "John Smith", con una cuenta corriente, y ese "J. E. Smith", con una línea de crédito hipotecario, la misma persona? Tiene que saberlo para poder integrar los datos. Etiquetado correcto: Un buen etiquetado de los datos (por ejemplo, "esto es un gato", "este préstamo es rentable") mejora los modelos de IA. El trabajo de calidad de los datos no termina con el entrenamiento. Entrene bien un modelo con datos de alta calidad y obtendrá un buen modelo. Pero alimente ese modelo con malos "datos futuros" y obtendrá malos resultados/ predicciones. Tanto el criterio de "los datos son correctos" como el de "los datos correctos" siguen vigentes. A una mujer se le negaron analgésicos porque se le atribuyeron recetas para su perro (es decir, los datos eran erróneos). Esto llevó a un modelo a etiquetarla como en riesgo de adicción a los opiáceos. Del mismo modo, alimente a un modelo con datos más allá del ámbito en el que fue entrenado y no se sabe lo que ocurrirá. Esto ocurre con bastante frecuencia porque las condiciones del mundo han cambiado, lo que ha provocado la entrada de datos de nuevos dominios y, a menudo, un deterioro del rendimiento del modelo. A veces el deterioro es grave. El chatbot Tay de Microsoft, que empezó a escupir discursos de odio cuando los usuarios lo alimentaron con frases viles, para las que no había sido entrenado, sirve como ejemplo de advertencia. A corto plazo, adopte una postura de "culpable hasta que se demuestre su inocencia". El paso más importante en cualquier proyecto o programa de calidad de datos implica "acertar con las responsabilidades de gestión". Y para cualquier proyecto de IA, es tentador asignar la calidad a las personas más cercanas al trabajo, incluidos los modeladores, los ingenieros de datos y los encargados de la gestión de datos. Aunque todos ellos pueden hacer un buen trabajo en la comprensión de las fuentes y la limpieza de los datos, no están equipados para reunir toda la gama de esfuerzos necesarios. Para ilustrarlo, "definir el problema" es una cuestión empresarial, no de modelado, ingeniería o wrangling. A nivel de proyecto, la responsabilidad general de la calidad de los datos debe residir en la persona de más alto nivel que dirija el esfuerzo. Deben reunir equipos de personas que puedan desarrollar el conjunto completo de requisitos y profundizar en los detalles para garantizar que se cumplen. Deben considerar la posibilidad de adquirir talento externo, si como suele ser el caso, sus empresas carecen de la amplitud y profundidad de conocimientos necesarios para ello. Estos mismos directivos deberían interrogar sin descanso a los equipos de desarrollo modelo y a los demás acerca de todo. Empiece por "¿el problema que se propusieron resolver y nuestro problema son el mismo?". Si no es así, tenga mucho cuidado. A continuación, trabaje uno a uno los criterios de los datos de formación adecuados. Profundice: ¿qué le hace pensar que los datos arrojarán buenas predicciones, que permiten ampliar el modelo a nuevos mercados y que están libres de sesgos? Desconfíe cuando los proveedores se nieguen a responder, alegando que "nuestro modelo es propietario". El modelo puede estar patentado, pero eso no significa que los datos lo estén. Con respecto a los "datos correctos", es casi seguro que los modelizadores necesiten realizar una limpieza exhaustiva de los datos de entrenamiento. Pídales que detallen cómo midieron la precisión antes y después de la limpieza, cómo encontraron y eliminaron duplicados, cómo garantizaron la integración de los datos y cómo se aseguraron de que las etiquetas eran correctas. Presione muy fuerte y, si detecta alguna blandura en las respuestas, insista en que los modeladores obtengan mejores respuestas. Las responsabilidades de gestión se extienden a los datos futuros. Los gestores deben supervisar los datos futuros de forma agresiva para asegurarse de que no se alejan demasiado de los límites de los datos sobre los que se formaron. Deben insistir en controles exhaustivos para asegurarse de que los datos futuros sean lo más completos y precisos posible. Por último, los altos dirigentes y los consejos de administración también deben insistir en la garantía de calidad, en forma de revisión independiente para asegurarse de que todas las cuestiones aquí señaladas se comprenden, se asumen y se actúa en consecuencia. Especialmente al principio, un poco de garantía de calidad es mejor que demasiado poco. A medio plazo, impulse los esfuerzos de calidad en sentido ascendente. Los científicos de datos, como todos los demás en una empresa, dependen de otros para obtener datos. Los de marketing crean datos que utilizan los de ventas; los de ventas crean datos que utilizan los de operaciones, los que construyen modelos de IA utilizan datos creados por muchas fuentes y, a su vez, crean datos en forma de predicciones. En la actualidad, cada grupo dedica una cantidad desmesurada de tiempo a tratar con datos erróneos: quizá un 30% en toda la empresa y un 80% en la ciencia de datos. Afortunadamente, existe una forma mejor: Elimine las causas de los malos datos en sentido ascendente y los que están en sentido descendente no tendrán que lidiar con ellos. Este enfoque se basa en lo que funcionó en la fabricación y ha demostrado su eficacia una y otra vez en empresas como AT&T, Gulf Bank, Chevron y otras. Desde un punto de vista práctico, esto funciona mejor cuando los grupos descendentes asumen el papel de clientes de datos; los grupos ascendentes asumen el papel de creadores de datos; y ambos trabajan juntos para ordenar los requisitos de calidad, realizar algunas mediciones básicas y, a continuación, encontrar y eliminar las causas de error, de una en una. De este modo, las empresas deberían pasar de ocuparse de los malos datos en sentido descendente a crear buenos datos en sentido ascendente. Como cualquier otra disciplina, la gestión de la calidad proporciona un rico cuerpo de fundamentos, métodos y herramientas subyacentes sobre quién hace qué. Para introducirlos en su organización, empiece por tres conceptos: Enfoque intenso en la mejora del cliente y del proceso, con el objetivo a largo plazo de crear los datos correctos con los identificadores y etiquetas adecuados, a la primera. Responsabilidades de gestión claras: Dejar claro que los responsables de la calidad de los datos son los departamentos empresariales, y no IT, el director de riesgos o los directores de datos. A su vez, esto significa responsabilidades de funciones claras para los equipos y los individuos. Consiga que participe tanta gente como pueda, a todos los niveles. No se deje abrumar. Sé que algunos reaccionarán: "Dios mío, esto es demasiado caro". Pero, de hecho, estas recomendaciones ahorran dinero. Como se ha señalado, las empresas dedican una cantidad desmesurada de su tiempo al trabajo de datos sin valor añadido. Seguir estas recomendaciones reduce drásticamente ese coste. La reacción más pertinente es "Dios mío, esto requerirá una verdadera transformación". ¡Es cierto! Si no está preparado para ello, quizá debería reducir sus ambiciones en materia de IA. De forma más proactiva, las empresas están empezando a darse cuenta de que, gestionados adecuadamente, los datos se convierten en un activo de potencial ilimitado. Merece una gestión adecuada. La IA desbloquea ese potencial. En pocas palabras: Para obtener grandes resultados de una IA de alta calidad, necesita datos de alta calidad.

Asegúrese de que los datos de alta calidad impulsan su IA

Resumen.

Partner Center