Ouça este artigo
Recentemente, a OpenAI lançou os modelos o3 e o4-mini, considerados avanços em inteligência artificial. No entanto, esses novos modelos enfrentam um problema sério: tendem a inventar informações, fenômeno conhecido como “alucinações”. Essa questão é preocupante, especialmente porque as taxas de erro aumentaram em comparação com versões anteriores. A OpenAI admite que ainda não entende as causas desse fenômeno e busca soluções, incluindo o uso de dados da internet em tempo real.
- O o3 e o o4-mini da OpenAI estão “alucinando” mais do que versões anteriores.
- “Alucinações” são quando a IA cria informações falsas.
- O o3 alucina 33% das vezes, enquanto o o4-mini alucina 48%.
- Problemas de precisão podem afetar setores importantes como justiça e saúde.
- A OpenAI reconhece a necessidade de resolver esse problema para o futuro da IA.
Desafios Inesperados das Novas IAs da OpenAI
Recentemente, a OpenAI lançou os modelos de inteligência artificial o3 e o4-mini. Embora sejam considerados avanços significativos, esses modelos enfrentam um desafio inusitado: a tendência a criar informações falsas, um fenômeno conhecido como alucinações.
O que são Alucinações na IA?
As alucinações em inteligência artificial ocorrem quando um modelo gera respostas imprecisas e completamente inventadas. Isso se torna um problema sério, especialmente quando as IAs demonstram confiança em suas respostas. Historicamente, novas versões de modelos de IA apresentavam melhorias nesse aspecto, com taxas de alucinação diminuindo ao longo do tempo. Contudo, com o lançamento do o3 e do o4-mini, essa tendência parece ter mudado.
Taxas de Alucinação Alarmantes
De acordo com testes realizados pela OpenAI, o modelo o3 apresenta uma taxa de alucinação de 33% ao responder perguntas relacionadas a pessoas no benchmark interno PersonQA. O o4-mini, por sua vez, apresenta um desempenho ainda pior, com uma taxa de alucinação de 48%. Para contextualizar, modelos anteriores, como o o1 e o o3-mini, tinham taxas de erro significativamente mais baixas, de apenas 16% e 14,8%, respectivamente.
Observações de Pesquisadores Independentes
Pesquisadores externos à OpenAI também notaram comportamentos estranhos nos novos modelos. Em um teste realizado pelo laboratório de pesquisa de IA Transluce, o modelo o3 afirmou ser capaz de executar código em um MacBook Pro 2021 fora do ambiente do ChatGPT, o que é impossível. Embora esses erros possam parecer pequenos, têm implicações sérias em áreas onde a precisão é fundamental, como escritórios de advocacia e empresas de saúde.
A Resposta da OpenAI
A OpenAI reconheceu que ainda não compreende completamente a razão por trás das alucinações e admitiu que encontrar uma solução é crucial para o futuro da IA. Uma das soluções discutidas é permitir que os modelos consultem a internet em tempo real. Testes internos indicam que o modelo GPT-4o, equipado com a capacidade de pesquisa na web, pode alcançar até 90% de precisão em algumas tarefas. Contudo, essa abordagem levanta preocupações sobre privacidade, uma vez que os dados dos usuários poderiam ser acessados por terceiros.
A Importância da Precisão
A precisão na IA é vital, especialmente em setores críticos. Quando um modelo de IA fornece informações incorretas, as consequências podem ser graves. Por exemplo, em um escritório de advocacia, uma informação errada pode impactar um caso judicial. Da mesma forma, em um ambiente de saúde, um erro pode afetar o tratamento de um paciente.
O Caminho a Seguir
A situação atual dos modelos o3 e o4-mini destaca a necessidade de desenvolvimento contínuo e cuidadoso na tecnologia de IA. A OpenAI está ciente dos desafios e busca soluções que possam mitigar as alucinações. O futuro da IA pode depender de como essas questões serão resolvidas.
