O ChatGPT está ficando mais burro?

30 de julho de 2023

Especialistas levantam preocupações sobre as mudanças de comportamento da IA ao longo do tempo

O ChatGPT está enfrentando críticas de pesquisadores que acreditam que seu desempenho está piorando e se tornando “inconsistente”. Embora muitos o considerem um dos modelos de IA mais avançados, alguns especialistas levantam preocupações sobre suas mudanças de comportamento ao longo do tempo.

Originalmente elogiado como um dos melhores chatbots de inteligência artificial, capaz de superar o teste de Turing em várias áreas, como matemática, direito e verbal GRE, o ChatGPT viu uma queda em seu desempenho em certas tarefas. Pesquisadores da Universidade de Stanford e da Universidade da Califórnia em Berkeley conduziram estudos que mostraram variações significativas no desempenho do GPT-3.5 e do GPT-4, com algumas respostas piorando substancialmente com o passar do tempo.

Por exemplo, em questões relacionadas a números primos, Lingjiao Chen, Matei Zaharia e James Zhu observaram que o GPT-4 atingiu uma taxa de acerto de 97,6% em março de 2023, mas essa taxa despencou para apenas 2,4% em junho do mesmo ano. Além disso, sua capacidade de ajudar programadores com questões de programação e depuração também diminuiu, de pouco mais de 50% em março para 10% em junho.

Zhu afirmou ser difícil determinar uma causa, embora seja aparente que as modificações e atualizações do sistema sejam fatores. “Não entendemos completamente o que causa essas mudanças nas respostas do ChatGPT porque esses modelos são opacos”, explicou. Acredita-se que as modificações e atualizações do sistema possam ser fatores contribuintes.

OpenAI discorda

A OpenAI descartou alegações de teóricos da conspiração de que a empresa esteja experimentando versões menores dos LLMs como medida de economia de custos ou que esteja enfraquecendo intencionalmente o GPT-4 para que os usuários frustrados estejam mais dispostos a pagar pelo acessório LLM do GitHub, o CoPilot.

“Não tornamos o GPT-4 mais burro. Muito pelo contrário: tornamos cada nova versão mais inteligente que a anterior”, disse Peter Welinder, vice-presidente de produto da OpenAI, em um tweet recente.

Falta de transparência

Enquanto alguns observadores estão preocupados com o impacto disruptivo dessas mudanças, há pressão sobre a OpenAI para que divulgue as fontes de material de treinamento, código e outros elementos estruturais por trás do ChatGPT 4.0. A falta de transparência em modelos de código fechado é vista como um problema, pois torna os resultados não reproduzíveis e não verificáveis cientificamente. Defensores da divulgação dessas informações argumentam que os criadores dos modelos devem ser responsáveis por fornecer acesso aos modelos subjacentes para fins de auditoria.

O que MONEY REPORT publicou

Compartilhe

Comentários

Deixe um comentário Cancelar resposta

- Informações atualizadas a cada 10 minutos
- Gráfico mostra valor fechado do dia