blog

Aug 05, 2023

As ferramentas de IA inventam muitas coisas, e isso é um grande problema

Antes que a inteligência artificial possa dominar o mundo, ela precisa resolver um problema. Os bots estão alucinando. Ferramentas baseadas em IA, como ChatGPT, nos hipnotizaram com sua capacidade de produzir

Antes que a inteligência artificial possa dominar o mundo, ela precisa resolver um problema. Os bots estão alucinando.

Ferramentas baseadas em IA, como o ChatGPT, nos hipnotizaram com sua capacidade de produzir respostas confiáveis ​​​​e com aparência humana a qualquer solicitação. Mas à medida que mais pessoas recorrem a esta moderna tecnologia para obter ajuda nos trabalhos de casa, investigação no local de trabalho ou consultas de saúde, uma das suas maiores armadilhas torna-se cada vez mais evidente: os modelos de IA muitas vezes apenas inventam coisas.

Os pesquisadores passaram a se referir a essa tendência dos modelos de IA de vomitar informações imprecisas como “alucinações” ou mesmo “confabulações”, como disse o chefe de IA da Meta em um tweet. Enquanto isso, alguns usuários de mídia social simplesmente classificam os chatbots como “mentirosos patológicos”.

Mas todos estes descritores decorrem da nossa tendência demasiado humana de antropomorfizar as ações das máquinas, de acordo com Suresh Venkatasubramanian, professor da Universidade Brown que ajudou a ser coautor do Projeto da Casa Branca para uma Declaração de Direitos da IA.

A realidade, disse Venkatasubramanian, é que grandes modelos de linguagem – a tecnologia que sustenta ferramentas de IA como o ChatGPT – são simplesmente treinados para “produzir uma resposta que pareça plausível” às solicitações do usuário. “Então, nesse sentido, qualquer resposta que pareça plausível, seja ela precisa, factual, inventada ou não, é uma resposta razoável, e é isso que produz”, disse ele. “Não há conhecimento da verdade aí.”

O pesquisador de IA disse que uma analogia comportamental melhor do que alucinar ou mentir, que carrega conotações de algo errado ou mal intencionado, seria comparar esses resultados do computador com a maneira como seu filho contaria histórias aos quatro anos. “Você só precisa dizer: 'E então o que aconteceu?' e ele continuaria produzindo mais histórias”, disse Venkatasubramanian. “E ele simplesmente continuava indefinidamente.”

As empresas por trás dos chatbots de IA implementaram algumas proteções que visam prevenir o pior dessas alucinações. Mas, apesar do entusiasmo global em torno da IA ​​generativa, muitos na área continuam indecisos sobre se as alucinações do chatbot são ou não um problema solucionável.

Simplificando, uma alucinação refere-se a quando um modelo de IA “começa a inventar coisas – coisas que não estão alinhadas com a realidade”, de acordo com Jevin West, professor da Universidade de Washington e cofundador do seu Centro para uma Público Informado.

“Mas faz isso com pura confiança”, acrescentou West, “e faz isso com a mesma confiança que faria se você fizesse uma pergunta muito simples como: 'Qual é a capital dos Estados Unidos?'”

Isso significa que pode ser difícil para os usuários discernirem o que é verdade ou não se estiverem perguntando a um chatbot algo para o qual ainda não sabem a resposta, disse West.

Uma série de alucinações de alto perfil provenientes de ferramentas de IA já chegaram às manchetes. Quando o Google revelou pela primeira vez uma demonstração do Bard, seu aguardado concorrente do ChatGPT, a ferramenta apresentou publicamente uma resposta errada em resposta a uma pergunta sobre novas descobertas feitas pelo Telescópio Espacial James Webb. (Um porta-voz do Google na época disse à CNN que o incidente “destaca a importância de um processo de testes rigoroso” e disse que a empresa estava trabalhando para “garantir que as respostas de Bard atendam a um alto padrão de qualidade, segurança e fundamentação em informações do mundo real”. .”)

Um advogado veterano de Nova York também ficou em apuros quando usou o ChatGPT para pesquisas jurídicas e apresentou um resumo que incluía seis casos “falsos” que o chatbot parece ter simplesmente inventado. O meio de comunicação CNET também foi forçado a emitir correções depois que um artigo gerado por uma ferramenta de IA acabou dando conselhos de finanças pessoais extremamente imprecisos quando foi solicitado a explicar como funcionam os juros compostos.

Reprimir as alucinações de IA, no entanto, poderia limitar a capacidade das ferramentas de IA de ajudar as pessoas em empreendimentos mais criativos – como usuários que pedem ao ChatGPT para escrever poesia ou letras de músicas.