Acontece que receber suas notícias de robôs jogando telefone com fontes reais pode não ser a melhor idéia. Em um Estudo da BBC do OpenAI, Google Gemini, Microsoft Copilot e Perplexity’s News Cestwess, a organização de notícias descobriu que “51% de todas as respostas da IA” sobre tópicos de notícias tinham “questões significativas de alguma forma”.
O estudo envolveu pedir a cada bot para responder a 100 perguntas sobre as notícias, usando fontes da BBC, quando disponíveis, com suas respostas sendo classificadas por “jornalistas que eram especialistas relevantes no assunto do artigo”.
Alguns exemplos de questões incluem Gêmeos sugerindo que o NHS (Serviço Nacional de Saúde) do Reino Unido não recomenda o Vaping como um método para deixar de fumar (Isso faz), assim como o Chatgpt e o Copilot dizendo que os políticos que deixaram o cargo ainda estavam cumprindo seus termos. Mais preocupante, a perplexidade deturpou uma história da BBC sobre o Irã e Israel, atribuindo pontos de vista ao autor e suas fontes que o artigo não compartilha.
Sobre seus próprios artigos especificamente, A BBC Diz 19% dos resumos de IA introduziram esses tipos de erros factuais, alucinando declarações, números e datas falsas. Além disso, 13% das cotações diretas foram “alteradas da fonte original ou não presentes no artigo citado”.
As imprecisões não foram totalmente distribuídas entre os bots, embora isso possa ser um conforto frio, uma vez que nenhum teve um desempenho especialmente bem.
“O copiloto da Microsoft e Gemini do Google tiveram problemas mais significativos do que o ChatGPT e a perplexidade do OpenAI”, diz a BBC, mas no lado do flip, perplexidade e bate -papo ainda tiveram problemas com mais de 40% das respostas.
Em um blogO CEO da BBC, Deborah Turness, teve palavras duras para as empresas testadas, dizendo que, embora a IA ofereça “oportunidades infinitas”, as implementações atuais estão “brincando com fogo”.
“Vivemos em tempos problemáticos”, escreveu Turness.
O estudo não é a primeira vez que a BBC chama os resumos de notícias da IA, como relatórios anteriores, sem dúvida convenceu a Apple a desligar seus próprios resumos de notícias da AI Apenas no mês passado.
Jornalistas também anteriormente Cabeças com perplexidade sobre as preocupações com direitos autoraiscom com fio acusando o bot de ignorar os paywalls e o New York Times enviando à empresa uma carta de cessar e desistir. News Corp, dono do New York Post e das revistas de Wall Street, deu um passo adiante e é atualmente processando a perplexidade.
Para conduzir seus testes, a BBC levantou temporariamente as restrições impedindo a IA de acessar seus locais, mas desde então os restabeleceu. Independentemente desses blocos e palavras duras da Turness, no entanto, a organização de notícias não é contra a IA como regra.
“Queremos que as empresas de IA ouçam nossas preocupações e trabalhem de forma construtiva conosco”, afirma o estudo da BBC. “Queremos entender como eles corrigirão os problemas que identificamos e discutirão a abordagem certa a longo prazo para garantir a precisão e a confiabilidade nos assistentes de IA. Estamos dispostos a trabalhar em estreita colaboração com eles para fazer isso. ”
