IA erra mais da metade das questões, mostra estudo
Um estudo conduzido por pesquisadores da Purdue University nos Estados Unidos revelou que mais da metade das questões de engenharia de software foram respondidas incorretamente pelo ChatGPT.
O estudo intitulado “Quem responde melhor?” (“Who Answers It Better?”)” foi realizado por Samia Kabir, David Udo-Imeh, Bonan Kou e Tianyi Zhang. Eles analisaram as respostas do chatbot da OpenAI a 517 perguntas do Stack Overflow, uma plataforma de perguntas e respostas amplamente utilizada por profissionais de programação.
O objetivo dos pesquisadores era avaliar a precisão, consistência, abrangência e concisão das respostas fornecidas pelo ChatGPT. De acordo com informações do The Register, aproximadamente 52% das respostas foram consideradas imprecisas e uma grande proporção, 77%, foi considerada “prolixa”, o que significa que eram excessivamente longas e desnecessariamente complicadas.
Curiosamente, apesar das imprecisões, as respostas do ChatGPT foram preferidas em 39,34% das vezes devido ao seu estilo de linguagem bem articulado e à sua ampla abordagem.
Os pesquisadores também conduziram análises linguísticas e de sentimento das respostas, e entrevistaram 12 participantes voluntários para obter seus insights sobre os resultados do chatbot. Esses participantes, mesmo quando confrontados com respostas incorretas, frequentemente acreditavam nas respostas do ChatGPT devido ao seu estilo de escrita agradável e autoritário.
As entrevistas revelaram que a linguagem educada, as respostas bem elaboradas, o estilo de escrita similar ao de um livro didático, a amplitude de informações e a aparente autoridade nas respostas contribuíram para que mesmo respostas claramente equivocadas parecessem corretas para os participantes.
De acordo com os pesquisadores, os participantes só conseguiram identificar respostas incorretas quando havia erros óbvios. Mesmo quando questionados sobre por que não identificaram as respostas erradas, muitos participantes mencionaram as explicações lógicas e detalhadas, as soluções abrangentes e de fácil compreensão fornecidas pelo bot como razões que os levaram a acreditar que as respostas estavam corretas.
O que MONEY REPORT publicou
