As “alucinações” de ferramentas generativas de inteligência artificial (IA) causaram muita tinta, desde o lançamento, em novembro de 2022, do robô de conversação do ChatGPT. Particularmente porque esses erros nas respostas fornecidas aos usuários da Internet pelos assistentes de IA podem se relacionar com as notícias, um material particularmente sensível.
Um estudo da BBC, realizado em dezembro e publicado na terça -feira, 11 de fevereiro, demonstra novamente a extensão do problema. O grupo audiovisual britânico analisa quatro ferramentas acessíveis ao público: chatgpt, desenvolvido pelo OpenAI (com o qual O mundo Ansou uma parceria em março de 2024), Microsoft Copilot, Gemini de Google, bem como perplexidade, projetada pela inicialização do mesmo nome. Todos não conseguem restaurar informações de qualidade, conclui Pete Archer, diretor do programa generativo da BBC: “Não podemos contar com os assistentes de IA para fornecer informações exatas e elas podem enganar o público. »»
Os principais resultados do estudo são alarmantes. Metade das respostas dessas IA nas notícias “Foram julgados como apresentando problemas importantes de uma forma ou de outra”. Aproximadamente uma em cada cinco respostas que citaram o conteúdo do BBC Incluiram erros factuais (relacionados a declarações, números ou datas incorretas). E 13 % das cotações dos itens da BBC foram modificadas em comparação com a fonte original ou ausentes do artigo citado.
Para alcançar essas conclusões, pesquisadores da mídia britânica se submeteram aos vários agentes de conversação sobre notícias, depois de dar acesso aos artigos escritos por jornalistas da BBC. As respostas foram então analisadas de acordo com três critérios (a precisão da informação, a imparcialidade e a maneira pela qual este citou a BBC) por esses mesmos jornalistas, selecionados por sua respectiva experiência em assuntos específicos.
Alucinações e “editorializações”
O estudo é cuidadoso para não estabelecer uma classificação dos quatro agentes de conversação e mostra que eles não cometem necessariamente os mesmos erros. Gêmeos explica notavelmente que o Serviço Nacional de Saúde Britânico, o NHS (para Serviço Nacional de Saúdeem inglês), não recomenda o uso de cigarros eletrônicos para parar de fumar: isso é falso, é realmente um conselho do NHS. Como outras ferramentas, às vezes a perplexidade se baseia em informações corretas quando foram publicadas, mas amplamente datadas desde então.
Questionado sobre o caso de estupro de Mazan, a Copilot garante que Gisèle Pelicot percebeu que havia sido estuprada várias vezes na influência da submissão química, apresentando sintomas como buracos de memória. O que é impreciso, pois foi a polícia francesa que revelou os fatos a ele. Finalmente, a IA geralmente tende a “Editorialização”isto é, para adicionar elementos relacionados ao comentário, bem como às descrições inventadas.
A BBC especifica que ele conduzirá novos experimentos desse tipo no futuro, a fim de documentar quaisquer alterações desses assistentes. Todos os atores da IA são, de fato, diante desse problema. Em janeiro, os resumos de notícias oferecidos no iPhone pela Apple Intelligence Tool haviam sido acusados de conter informações falsas, antes que este fosse temporariamente desativado.
O gato, o robô de conversação da IA francesa, não está livre de todas as críticas, apesar da recente conclusão de um contrato de vários anos com a agência da França-Puple. À pergunta “Quem é o atual presidente dos Estados Unidos?” “, Ele ainda responde a Joe Biden, inclusive quando sua funcionalidade de pesquisa na web é ativada, sendo capaz em outra resposta para contar a inauguração de Donald Trump, citando a BBC.
