As avaliações on-line são tendenciosas. Veja como corrigi-las

Na era da Internet, a reputação quase nunca é uma folha em branco. Os consumidores estão cercados de avaliações on-line graças a outros consumidores que se deram ao trabalho de publicar opiniões sobre produtos e serviços on-line. Mas as avaliações on-line são uma faca de dois gumes. Por um lado, elas são uma bênção se ajudarem os consumidores a tomar decisões mais informadas. Por outro lado, há um problema sistemático com muitas avaliações on-line: elas tendem a representar em excesso as opiniões mais extremas. Para saber por que, pense na última vez que o senhor comprou um produto. Talvez o senhor tenha sido solicitado a fornecer uma avaliação posteriormente. O senhor fez isso? Em caso afirmativo, nossa pesquisa sugere que o senhor provavelmente adorou o produto ou odiou-o totalmente. Se, em vez disso, o senhor teve uma opinião moderada, é provável que não tenha deixado nenhuma avaliação, pois achou que não valia a pena o tempo e o esforço. Esse problema é generalizado para a maioria das avaliações on-line. Pesquisas mostram que muitas das plataformas de avaliação on-line mais populares da atualidade - inclusive as avaliações de empresas do Yelp* e as avaliações de produtos da Amazon - têm uma distribuição de opiniões altamente polarizada, com muitas avaliações extremamente positivas e/ou negativas e poucas opiniões moderadas. Isso cria uma distribuição "bimodal" ou "em forma de J" das avaliações de produtos on-line que foi bem documentada na literatura acadêmica. Isso dificulta a obtenção de informações sobre a verdadeira qualidade a partir das avaliações on-line. Uma área em que as avaliações on-line são particularmente importantes para a economia é a decisão de alto risco de escolher um emprego. Uma pesquisa recente constatou que 48% dos candidatos a emprego nos EUA hoje confiam nas avaliações on-line de empregadores do Glassdoor, o site de empregos onde dois de nós trabalhamos, como parte do processo de busca de emprego - uma fração enorme do mercado de trabalho americano de 160 milhões de pessoas. Confiar em avaliações on-line tendenciosas de empregadores pode ser um erro caro, tanto para quem procura emprego quanto para os empregadores. Como as plataformas de avaliação on-line podem motivar essa "maioria silenciosa" de vozes intermediárias a publicar avaliações e, coletivamente, fornecer uma imagem mais precisa? Em nosso novo estudo, testamos se incentivos simples podem ser usados para fornecer avaliações on-line mais precisas. O estudo combinou duas abordagens: Um experimento on-line controlado e dados do mundo real do site de empregos on-line Glassdoor. Oferecendo incentivos no laboratório Em nosso experimento, reunimos um grupo de participantes on-line e pedimos a eles que deixassem avaliações de seus empregadores. Em seguida, testamos vários tipos de incentivos - tanto incentivos monetários quanto incentivos "pró-sociais", neste caso, lembretes de que deixar uma avaliação ajudaria outros candidatos a emprego - para ver como as avaliações on-line das empresas mudavam com cada um deles. Para o experimento, usamos o MTurk marketplace da Amazon; todos os participantes receberam US$ 0,20 cada um para avaliar seu empregador, e alguns receberam mais, para testar os efeitos de incentivos monetários adicionais. Nossos resultados mostram que as pessoas têm maior probabilidade de deixar avaliações on-line quando são lembradas de que isso ajuda outros candidatos a emprego. Incentivos pró-sociais simples também fizeram com que a distribuição de avaliações fosse menos tendenciosa, criando uma distribuição de avaliações em forma de curva de sino mais normal. Também testamos o impacto dos incentivos monetários, pagando mais aos participantes para que deixem avaliações do empregador. Descobrimos que os incentivos monetários também podem funcionar, mas somente se forem suficientemente altos. À medida que o valor dos pagamentos monetários aumenta, aumenta também a disposição das pessoas para publicar avaliações on-line, mesmo aquelas com opiniões moderadas que, de outra forma, permaneceriam em silêncio. Em nosso experimento, oferecer US$ 0,15 a mais - um aumento de 75% no pagamento aos participantes - foi suficiente para reduzir o viés nas avaliações. Avaliações no mundo real Nossos resultados experimentais também se sustentam no mundo real? Para testar isso, nosso estudo também analisou um programa de incentivo on-line no Glassdoor. O Glassdoor recebe conteúdo de usuários de duas maneiras. Primeiro, os usuários podem enviar voluntariamente avaliações de seu empregador, salário e outras informações sobre o emprego. Em segundo lugar, o Glassdoor também usa o que é conhecido como uma política de "dar para receber", que oferece um forte incentivo para que os usuários forneçam conteúdo: Depois de visualizar quaisquer três partes de conteúdo on-line, os usuários são solicitados a enviar sua própria avaliação para a comunidade on-line antes de poderem visualizar informações adicionais. Examinamos se essa política de incentivo do mundo real alterou a opinião on-line sobre as empresas. Assim como em nosso experimento de laboratório, descobrimos que a distribuição das avaliações on-line deixadas voluntariamente era muito diferente daquelas deixadas por usuários que receberam um incentivo para deixar avaliações. A distribuição das avaliações voluntárias foi significativamente mais extrema - com muito mais opiniões positivas e negativas sobre as empresas - do que a distribuição mais moderada das avaliações incentivadas. Tanto em experimentos controlados quanto em um ambiente de negócios do mundo real, nossa pesquisa mostra que o fornecimento de incentivos monetários e pró-sociais pode levar a avaliações on-line mais equilibradas e representativas. Por que as opiniões on-line são importantes A correção de preconceitos nas avaliações on-line pode influenciar decisões importantes em nossa economia. Imagine um candidato a emprego decidindo entre um trabalho semelhante em dois setores, como consultoria ou publicidade. Nossa pesquisa mostra que a classificação dos setores em termos de classificações on-line muitas vezes muda de acordo com o fato de as avaliações serem deixadas voluntariamente ou em resposta a um incentivo. Por exemplo, os candidatos a emprego que se baseiam apenas em avaliações voluntárias polarizadas podem acreditar que a consultoria é um setor menos desejável do que a publicidade, quando um conjunto mais equilibrado de avaliações incentivadas oferece a conclusão oposta. Dessa forma, os vieses na distribuição de avaliações on-line podem afetar as decisões econômicas do mundo real, distorcendo as informações nas quais os consumidores, os candidatos a emprego e os investidores confiam. As avaliações on-line são uma ferramenta poderosa para compartilhar informações em escala. No entanto, é importante lembrar a fonte: muitas das avaliações on-line atuais são feitas por pessoas que decidiram voluntariamente compartilhar opiniões, o que dá uma visão distorcida de produtos, serviços e empresas. Nossa pesquisa oferece esperança de tornar as avaliações on-line baseadas em opiniões mais úteis socialmente. Usando incentivos relativamente baratos, nossa pesquisa mostra que as plataformas on-line podem reduzir drasticamente a parcialidade e incentivar vozes mais moderadas a participar da conversa on-line. As avaliações on-line são um empreendimento fundamentalmente social. O simples fato de lembrar as pessoas dos benefícios pró-sociais que elas proporcionam ao compartilhar opiniões on-line pode ter um impacto poderoso sobre sua disposição de deixar avaliações on-line e melhorar a utilidade das onipresentes plataformas de avaliação on-line atuais. *Esteartigo foi atualizado para alterar o link que menciona a distribuição de avaliações do Yelp. Embora o próprio Yelp informe que quase metade das avaliações escritas em todas as categorias são 5 estrelas, a pesquisa à qual este artigo foi originalmente vinculado mostra que a distribuição das avaliações exibidas aos clientes depois que o Yelp remove as avaliações fraudulentas e de baixa qualidade é significativamente menos extrema. O Yelp emprega vários incentivos não financeiros para suas avaliações.

As avaliações on-line são tendenciosas. Veja como corrigi-las

Resumo.

Partner Center