Vários modelos de linguagem de grande escala (LLMs) foram solicitados a escolher ações. Suas escolhas revelaram as limitações da IA.

Este artigo foi elaborado pela Harvard Business School Working Knowledge e apresenta as reflexões do professor Charles C.Y. Wang. Os analistas financeiros estão recorrendo cada vez mais à IA para obter uma vantagem na avaliação de empresas. Mas antes de aceitar recomendações de ações provenientes de modelos de linguagem de grande porte, considere o seguinte: suas análises podem conter vieses e erros. O ChatGPT, de propriedade da OpenAI, sediada nos Estados Unidos, apresentou previsões muito mais otimistas — com metas de preço mais elevadas e mais recomendações de “compra” — do que seu rival chinês DeepSeek, quando cada plataforma avaliou cerca de 5.000 empresas chinesas de capital aberto, segundo pesquisa realizada por Charles C.Y. Wang, da Harvard Business School. Esse resultado surpreendente é atribuído a disparidades na disponibilidade de informações: o ChatGPT parece incorporar menos cobertura da mídia chinesa. Assine o boletim informativo Working Knowledge para receber as coberturas de pesquisa diretamente em sua caixa de entrada todas as semanas. À medida que empresas de diversos setores buscam maior rapidez e eficiência por meio de algoritmos, as conclusões do estudo trazem uma advertência: confiar excessivamente em modelos de IA sem levar em conta os dados que podem estar faltando pode ser arriscado. A dependência da IA está se acelerando no setor financeiro, com cerca de 40% dos investidores institucionais em todo o mundo afirmando atualmente que utilizam IA para análise de mercado, de acordo com a Bloomberg Intelligence. “No nível micro, estamos examinando como o ChatGPT e o DeepSeek diferem na análise financeira. Mas, no nível meta, trata-se do que investidores e analistas devem estar cientes ao utilizar essas ferramentas para a análise financeira global”, afirma Wang, professor da Cátedra Tandon de Administração de Empresas. Wang foi coautor do artigo de trabalho“When LLMs Go Abroad: Foreign Bias in AI Financial Predictions” (Quandoos LLMsvãopara o exterior: viés estrangeiro nas previsões financeiras de IA), juntamente com Sean Cao, professor associado da Universidade de Maryland, e Yi Xiang, professor assistente da Universidade Politécnica de Hong Kong. O ChatGPT mostrou-se extremamente otimista Wang e sua equipe criaram um banco de dados com 4.978 empresas negociadas nas bolsas de valores de Xangai e Shenzhen, inserindo seus ativos totais, retorno sobre os ativos e alavancagem — dados que proporcionariam a ambos os modelos de IA a mesma base para formular recomendações. Por volta de junho e julho de 2024, quando os dados de treinamento de ambos os modelos chegaram ao fim, os pesquisadores solicitaram ao ChatGPT 4.1 e ao DeepSeek R1 que assumissem a persona de um analista financeiro profissional e previssem o preço das ações de cada empresa seis meses à frente, em 31 de dezembro de 2024. Isso permitiu aos pesquisadores comparar as previsões com os preços reais das ações. Os pesquisadores também solicitaram aos modelos que previssem se cada ação subiria ou cairia, criando uma base para recomendações de investimento. Os pesquisadores constataram que: O ChatGPT mostrou-se especialmente otimista em relação às empresas chinesas. O modelo norte-americano projetou que os preços das ações estariam cerca de 12,5% mais altos e emitiu recomendações de “compra” com uma frequência 1,3 pontos percentuais maior do que o DeepSeek. As previsões do ChatGPT apresentaram mais erros. Se os investidores tivessem seguido o conselho, teriam ficado desapontados: o ChatGPT apresentou erros absolutos de previsão 13% maiores e se mostrou menos preciso do que o DeepSeek em suas recomendações de ações quando validado em relação aos preços reais no final do ano. O ChatGPT demonstra um “viés estrangeiro” Os resultados surpreenderam Wang e sua equipe, que esperavam que os modelos de IA demonstrassem um “viés nacional” — com cada um deles favorecendo as empresas de seus próprios países. Em vez disso, ocorreu o contrário: o ChatGPT mostrou-se, na verdade, mais entusiasmado do que o DeepSeek em relação às empresas chinesas, exibindo um “viés estrangeiro”. Essa reviravolta ajuda a ilustrar “algo sutil e que muitos de nós consideramos natural”, diz Wang. “Não vemos os dados subjacentes com os quais cada modelo é treinado, o que significa que existem preconceitos implícitos que podem se infiltrar nas análises.” No caso do ChatGPT, os pesquisadores atribuíram o viés ao que descrevem como “assimetria de informação” — a OpenAI simplesmente dispunha de menos informações para trabalhar ao desenvolver suas análises sobre ações chinesas. Em muitos casos, a mídia chinesa divulgava notícias negativas sobre empresas chinesas, mas essas mesmas empresas não recebiam qualquer cobertura nos Estados Unidos. Como resultado, afirma Wang, o ChatGPT preenchia essas lacunas com conclusões mais otimistas do que o DeepSeek. A informação correta faz a diferença Para testar suas conclusões, Wang e sua equipe alimentaram o ChatGPT com notícias de origem chinesa sobre as empresas e repetiram os prompts. Ao fazerem isso, o “otimismo excessivo” do ChatGPT desapareceu e suas previsões passaram a coincidir com as do DeepSeek, sugerindo que o ChatGPT não dispunha anteriormente da cobertura jornalística abrangente na qual o DeepSeek se baseava. “Mostramos que não se trata apenas de notícias ausentes. São as notícias negativas chinesas que impulsionam esse viés”, afirma Wang. A equipe também solicitou aos chatbots previsões sobre um grupo de empresas americanas, mas o DeepSeek não demonstrou o mesmo “viés estrangeiro”. Essa assimetria, argumenta Wang, provavelmente decorre do fato de que as informações sobre empresas americanas são um bem global amplamente disponível e acessível a ambos os modelos. Considere a fonte A equipe concluiu recentemente um experimento semelhante utilizando o ChatGPT 5, e os primeiros indícios mostram “exatamente os mesmos tipos de preconceitos nos modelos mais recentes”, afirma Wang. O estudo contribui para um crescente conjunto de pesquisas sobre o valor de modelos de IA generalistas, como o ChatGPT e o DeepSeek, em comparação com bots especializados. Por exemplo, a Bloomberg oferece atualmente o BloombergGPT para análise financeira, enquanto um serviço conhecido como Fiscal.ai foi treinado com informações do banco de dados EDGAR da Comissão de Valores Mobiliários dos Estados Unidos. “A questão é: acabaremos tendo um supermodelo que faz tudo bem ou uma coleção de modelos especializados?”, disse Wang. “Seria bastante interessante compreender seu desempenho relativo.” Independentemente do modelo, Wang afirma que é importante questionar as recomendações do algoritmo. Ele oferece o seguinte conselho: Não presuma que a análise de IA seja neutra além-fronteiras Ao usar IA para avaliar empresas em mercados desconhecidos, considere que suas previsões podem estar distorcidas por lacunas na cobertura de dados locais. O que parece sólido pode refletir informações ausentes. Baseie os insights da IA no contexto local Fortaleça a análise orientada por IA adicionando notícias no idioma local, registros regulatórios e dados de mercado, e valide seus resultados com especialistas regionais ou modelos alternativos antes de tomar decisões. Use a IA como um ponto de verificação, não como uma decisão final As ferramentas de IA podem acelerar a pesquisa, mas não substituem o julgamento humano, afirma Wang. Comparar os resultados entre os diferentes modelos e submeter regularmente as premissas a testes de estresse pode ajudar a evitar erros de interpretação que acarretam custos elevados nos investimentos globais.

Vários modelos de linguagem de grande escala (LLMs) foram solicitados a escolher ações. Suas escolhas revelaram as limitações da IA.

Resumo.

Partner Center