Garanta que dados de alta qualidade alimentem sua IA

Há vinte anos, os títulos lastreados em hipotecas e as obrigações de dívida colateralizadas estavam na moda. Esses novos produtos financeiros foram, inicialmente, uma maravilha: ajudaram a colocar milhões de pessoas em casas e a gerar bilhões para os bancos. Depois, as coisas deram terrivelmente errado e eles quase afundaram a economia global. A crise financeira de 2007-2009 foi estudada a partir de muitas perspectivas, mas, vista pela lente da ciência de dados, ela fornece dois insights que servem como um conto de advertência para a inteligência artificial e o aprendizado de máquina (que chamarei simplesmente de TI) hoje em dia: Em primeiro lugar, o trabalho analítico para dividir as hipotecas em produtos que se encaixam nos diferentes perfis de risco e recompensa dos investidores foi, na verdade, muito bom. Mas os resultados dependiam da alta qualidade dos dados. Segundo, os dados não eram, de fato, de alta qualidade. Dados ruins ou ausentes apareciam em todas as etapas, desde informações incorretas (às vezes fraudulentas) nos pedidos de hipoteca até pontuações de crédito e classificações de títulos incorretas, perda de documentos e falta de clareza nas responsabilidades bancárias. Os dados abaixo da média levaram os bancos a subestimar muito os riscos, o que levou a um número inesperado de execuções hipotecárias, fazendo com que os bancos não confiassem nas declarações de responsabilidade uns dos outros e o sistema bancário ficasse paralisado. A lição no centro dessa história é simples: boa ciência de dados + dados ruins = resultados comerciais ruins. O que isso tem a ver com IA? Por um lado, o hype em torno da IA é muito maior e mais difundido do que o hype em torno dos produtos financeiros. Pior ainda: A matemática usada para fatiar e cortar hipotecas era bem compreendida. Em contrapartida, nem mesmo os especialistas sabem ao certo por que a TI faz as previsões que faz. Os requisitos de qualidade da IA são muito mais amplos e profundos. Embora o trabalho de análise de produtos financeiros tenha sido realizado por profissionais que entendiam, ou deveriam ter entendido, a importância da qualidade dos dados, ferramentas melhores tornam a IA acessível a pessoas menos informadas sobre tudo o que pode dar errado. A IA não precisa falhar em escala global para causar danos enormes - a indivíduos, empresas e sociedades. Os modelos frequentemente erram, alucinam, se desviam e podem entrar em colapso. Todo mundo tem suahistória favorita, "veja essa resposta ridícula que um modelo de linguagem grande me deu" ou "história de desastre de IA". Juntamente com a alta taxa de fracasso dos projetos de TI, não é difícil ver por que poucas empresas podem citar um ROI positivo. Os avisos sobre a qualidade dos dados têm sido abundantes, vindos de fontes tão diversas quanto as que lideram a revolução da IA, incluindo Google, Meta, Open AI; pesquisadores proeminentes; e a imprensa popular, incluindo o New York Times e o Economist. A Forrester, empresa de pesquisa, informa que "a qualidade dos dados é agora o principal fator que limita a adoção da IA generativa". No entanto, a maioria das empresas ainda nem começou o trabalho que precisa fazer. O principal interesse aqui são os primeiros projetos de IA de uma empresa. É importante ressaltar que a qualidade dos dados é um problema (e uma oportunidade) enorme em toda a organização, mas a maioria das empresas a negligenciou. Uma consequência disso é que elas e seus líderes seniores não entendem os problemas, como resolvê-los e as mudanças organizacionais que precisam fazer. Elas estão em uma situação difícil - precisam se proteger no curto prazo, desenvolver os recursos necessários no longo prazo e, ao mesmo tempo, se educar para que possam fazer isso de forma eficaz. Este artigo tem o objetivo de ajudá-las a começar. Entendendo o problema Qualquer projeto de ciência de dados deve começar com um pensamento equilibrado sobre o problema que se deseja resolver. Para ilustrar, considere: "Precisamos de uma maneira melhor de decidir quais empréstimos conceder e em quais termos?" A definição clara do problema envolve fazer e responder perguntas, como "melhor como?" e "quais empréstimos para quem (por exemplo, a população de interesse)?" As respostas são importantes para determinar quais dados o senhor precisa. Por exemplo: Se "melhor" significa livre de viés, o senhor precisará de dados de treinamento livres de viés, o que pode ser muito difícil de obter. Se "melhor" significar mais "empréstimos com bom desempenho" e menos "empréstimos sem bom desempenho", o senhor precisará de dados sobre empréstimos que não foram concedidos historicamente. Se "melhor" significa decisões que podem ser mais facilmente explicadas aos órgãos reguladores, a IA pode não ser a melhor abordagem, pois a "explicabilidade" é extremamente difícil. Se "melhor" significa "funcionará em partes do mundo nas quais não operamos atualmente e não temos dados", o senhor tem um desafio difícil. Se "melhor" significar um processo geral mais barato, seus dados históricos podem ser ótimos. Chegar a um acordo sobre o problema pode ser altamente político. Aqueles que estão ansiosos para trazer a IA para a organização podem ser motivados pela conclusão de um "caso de uso" para provar que a IA funciona, enquanto outros podem querer acalmar os temores de que os concorrentes estão se adiantando, e outros ainda podem querer tirar os reguladores do seu caminho. Todas essas perspectivas são valiosas, e é tentador seguir em frente antes que o problema seja claramente definido. Fazer isso não é aconselhável. Obtendo dados corretos "Lixo dentro, lixo fora" pode ser uma regra útil, mas acho conveniente enquadrar a ideia de bons dados em dois requisitos: 1) se são os "dados certos" para resolver o problema e 2) se esses "dados estão certos" ou corretos. Os critérios para esses últimos são mais familiares para a maioria das pessoas: precisão, ausência de duplicatas e assim por diante. Ter os "dados corretos" é menos familiar, mais sutil e complexo, mas também é essencial. Ao selecionar os dados corretos para um projeto, considere: Relevância e integridade: A IA depende de dados com poder preditivo, ou seja, dados relevantes para o problema em questão. Por exemplo, atributos como idade, histórico de pagamentos e renda são claramente relevantes para as decisões de empréstimo. A integridade envolve ter o maior número possível de atributos de dados relevantes. Abrangência e representação adequada: As duas principais questões são "os dados cobrem adequadamente a população de interesse (abrangência) e todas as subpopulações (representação adequada) de interesse?" Afinal de contas, são necessários muitos dados para treinar adequadamente um modelo. Para ilustrar a representação adequada, observe que se o senhor deseja que seu modelo funcione em todo o mundo, precisará de dados de todo o mundo. Livre de viés: A redução do viés histórico é (ou deveria ser) importante na maioria dos problemas que envolvem seres humanos. Infelizmente, muitos conjuntos de dados refletem vieses históricos e a remoção desses vieses dos conjuntos de dados pode ser quase impossível. Nessas situações, as empresas não devem usar IA. Atualidade: A questão essencial é "quão novos devem ser os dados?" No exemplo do empréstimo, tomar decisões rapidamente usando os dados mais atualizados pode ser uma fonte de vantagem competitiva. Definição clara: A maioria dos esforços de IA reúne dados de fontes diferentes, e um bom entendimento dessas fontes e dos dados que elas fornecem facilita a combinação. Definições claras de fontes, atributos de dados e unidades de medição facilitam o desenvolvimento desse entendimento. Exclusões apropriadas: Certos dados devem ser excluídos por considerações legais, regulamentares, éticas e de propriedade intelectual. Por exemplo, o uso de códigos postais pode ser um substituto para a raça nas decisões de empréstimo, e o senhor deve evitar violar as leis que estipulam como as informações de identificação pessoal (PII) podem ser usadas. Além disso, há uma preocupação crescente de que os modelos de IA treinados em fontes públicas possam violar os direitos de propriedade intelectual. Considerações mais importantes sobre direitos de dados: Precisão: A precisão é provavelmente a característica mais conhecida da qualidade dos dados. A ideia essencial é que os valores dos dados devem ser "corretos", ou seja, devem refletir a realidade. Embora sutilezas, como "até que ponto os valores dos dados devem representar a realidade?", às vezes sejam importantes, a maioria dos conjuntos de dados estruturados está repleta de erros. E é lógico que os documentos (dados não estruturados), que são usados para treinar modelos de linguagem grandes, estão em pior situação. Ausência de duplicatas: É fácil que entradas duplicadas entrem nos bancos de dados e elas podem distorcer os resultados. Portanto, elas devem ser mantidas em um nível mínimo Identificadores consistentes: Ao reunir os dados de empréstimos, será que esse "John Smith", com uma conta corrente, e esse "J. E. Smith", com uma linha de crédito para financiamento da casa própria, são a mesma pessoa? O senhor precisa saber para poder integrar os dados. Rotulagem correta: Bons rótulos de dados (por exemplo, "este é um gato", "este empréstimo está sendo executado") melhoram os modelos de IA. O trabalho de qualidade dos dados não termina com o treinamento. Treine bem um modelo com dados de alta qualidade e o senhor terá um bom modelo. Mas se esse modelo for alimentado com "dados futuros" ruins, os resultados/previsões serão ruins. Os critérios "os dados estão corretos" e "os dados corretos" continuam em vigor. Uma senhora teve os analgésicos negados porque as prescrições para seu cão foram atribuídas a ela (ou seja, os dados estavam errados). Isso levou um modelo a rotulá-la como tendo risco de dependência de opioides. Da mesma forma, se o senhor alimentar um modelo com dados que vão além do domínio no qual ele foi treinado, não há como prever o que acontecerá. Isso ocorre com bastante frequência porque as condições do mundo mudaram, levando a entradas de dados de novos domínios e, com frequência, a um desempenho degradado do modelo. Às vezes, a deterioração é grave. O chatbot Tay da Microsoft, que começou a cuspir discursos de ódio quando os usuários o alimentaram com frases infames, sobre as quais ele não havia sido treinado, serve como um conto de advertência. No curto prazo, adote uma postura de "culpado até que se prove a inocência". A etapa mais importante em qualquer projeto ou programa de qualidade de dados envolve "acertar as responsabilidades de gerenciamento". E, em qualquer projeto de IA, é tentador atribuir a qualidade às pessoas mais próximas do trabalho, incluindo modeladores, engenheiros de dados e gerenciadores de dados. Embora todos possam fazer um bom trabalho de compreensão das fontes e limpeza dos dados, eles não estão equipados para reunir toda a gama de esforços necessários. Para ilustrar, "definir o problema" é uma questão de negócios, não uma questão de modelagem, engenharia ou organização. No nível do projeto, a responsabilidade geral pela qualidade dos dados deve recair sobre a pessoa de nível mais alto que lidera o esforço. Ela deve reunir equipes de pessoas que possam desenvolver o conjunto completo de requisitos e se aprofundar nos detalhes para garantir que eles sejam atendidos. Eles devem considerar a aquisição de talentos externos se, como geralmente acontece, suas empresas não tiverem a amplitude e a profundidade de habilidades necessárias para isso. Esses próprios gerentes devem questionar incansavelmente as equipes de desenvolvimento de modelos e outras pessoas sobre tudo. Comece com "o problema que o senhor se propôs a resolver e o nosso problema são os mesmos?". Se não forem, tenha muito cuidado. Em seguida, trabalhe com os critérios de dados de treinamento corretos, um de cada vez. Vá fundo - o que faz o senhor acreditar que os dados produzirão boas previsões, darão suporte à extensão do modelo a novos mercados e não terão vieses? Desconfie quando os fornecedores se recusarem a responder, alegando que "nosso modelo é proprietário". O modelo pode ser proprietário, mas isso não significa que os dados o sejam. Com relação aos "dados corretos", é quase certo que os modeladores precisam fazer uma limpeza extensiva dos dados de treinamento. Peça-lhes que detalhem como mediram a precisão antes e depois da limpeza, como encontraram e eliminaram duplicatas, como garantiram a integração dos dados e como asseguraram que os rótulos estavam corretos. Insista bastante e, se o senhor detectar alguma suavidade nas respostas, insista para que os modeladores obtenham respostas melhores. As responsabilidades da gerência se estendem aos dados futuros. Os gerentes devem monitorar os dados futuros de forma agressiva para garantir que eles não se afastem muito dos limites dos dados nos quais foram treinados. Eles devem insistir em controles detalhados para garantir que os dados futuros sejam tão completos e precisos quanto possível. Por fim, os líderes seniores e os conselhos de administração também devem insistir na garantia de qualidade, na forma de uma análise independente, para garantir que todas as questões mencionadas aqui sejam compreendidas, adotadas e aplicadas de maneira adequada. Especialmente no início, um pouco de controle de qualidade a mais é melhor do que a menos. Em médio prazo, aumente os esforços de qualidade. Os cientistas de dados, como todos os outros em uma empresa, dependem de outros para obter dados. O marketing individualizado cria dados usados por vendas; as vendas criam dados usados por operações; os que estão construindo modelos de IA usam dados criados por muitas fontes e, por sua vez, criam dados na forma de previsões. Atualmente, cada grupo gasta uma quantidade excessiva de tempo lidando com dados ruins: talvez 30% em toda a empresa e 80% na ciência de dados. Felizmente, há uma maneira melhor: Elimine as causas-raiz dos dados ruins a montante e os que estão a jusante não precisarão lidar com eles! Essa abordagem se baseia no que funcionou na manufatura e foi comprovada inúmeras vezes em empresas como AT&T, Gulf Bank, Chevron e outras. Na prática, isso funciona melhor quando os grupos de downstream assumem funções de clientes de dados; os grupos de upstream assumem funções de criadores de dados; e os dois trabalham juntos para classificar os requisitos de qualidade, fazer algumas medições básicas e, em seguida, encontrar e eliminar as causas-raiz do erro, uma de cada vez. Assim, as empresas devem fazer a transição do tratamento de dados ruins no sentido downstream para a criação de dados bons no sentido upstream. Como qualquer outra disciplina, o gerenciamento da qualidade fornece um rico conjunto de fundamentos, métodos e ferramentas subjacentes sobre quem faz o quê. Para trazê-los para sua organização, comece com três conceitos: Foco intenso na melhoria do cliente e do processo, com o objetivo de longo prazo de criar os dados certos corretamente, com identificadores e rótulos adequados, na primeira vez. Responsabilidades gerenciais claras: Deixar claro que os departamentos comerciais, e não a TI, o diretor de riscos ou os diretores de dados, são responsáveis pela qualidade dos dados. Por sua vez, isso significa funções e responsabilidades claras para equipes e indivíduos. Envolva o maior número possível de pessoas, em todos os níveis, o máximo que puder. Não fique sobrecarregado. Sei que alguns reagirão: "Meu Deus, isso é muito caro". Mas, na verdade, essas recomendações economizam dinheiro. Conforme observado, as empresas gastam uma quantidade excessiva de tempo em trabalho de dados sem valor agregado. Seguir essas recomendações reduz drasticamente esse custo. A reação mais pertinente é: "Oh, meu Deus, isso exigirá uma transformação real". Isso é verdade! Se o senhor não estiver preparado para isso, talvez deva reduzir suas ambições de TI. De forma mais proativa, as empresas estão começando a perceber que, gerenciados adequadamente, os dados se tornam um ativo com potencial ilimitado. A TI merece um gerenciamento adequado. A IA libera esse potencial. Em poucas palavras: Para obter ótimos resultados com IA de alta qualidade, o senhor precisa de dados de alta qualidade.

Garanta que dados de alta qualidade alimentem sua IA

Resumo.

Partner Center