Os chatbots de IA podem ser restringidos por uma obrigação legal de dizer a verdade?

A inteligência artificial pode ser obrigada a dizer a verdade? Provavelmente não, mas os desenvolvedores de chatbots de modelo de linguagem grande (LLM) deveriam ser obrigados por lei a reduzir o risco de erros, afirma uma equipe de especialistas em ética.

“Estamos apenas tentando criar uma estrutura de incentivos para que as empresas coloquem mais ênfase na verdade ou na precisão ao construir sistemas”, diz ele. Brent Mittelstadt na Universidade de Oxford.

Chatbots LLM como ChatGPT geram respostas humanas às perguntas dos usuários com base na análise estatística de grandes volumes de texto. Mas embora suas respostas geralmente pareçam convincentes, eles também tendem a cometer erros – um erro chamado “alucinação”.

“Temos sistemas generativos de IA realmente impressionantes, mas eles falham com muita frequência e, até onde entendemos as funções básicas dos sistemas, não há uma maneira fundamental de consertar isso”, diz Mittelstadt.

Este é um “problema muito grande” para os sistemas LLM, uma vez que estão a ser implantados numa variedade de contextos, tais como a tomada de decisões governamentais, onde é importante que forneçam respostas factualmente correctas e verdadeiras e sejam justos com as restrições. de seu conhecimento, diz ele.

Ele e seus colegas propõem diversas medidas para resolver o problema. Eles dizem que grandes modelos de linguagem deveriam responder como os humanos quando questionados sobre fatos.

Isso significa ser honesto sobre o que você faz e o que não sabe. “Trata-se de tomar as medidas necessárias para ter cuidado com o que você diz”, diz Mittelstadt. “Se você não tem certeza sobre alguma coisa, não vai inventar nada só para ser convincente. Você prefere dizer: ‘Ei, quer saber? Não sei. Deixe-me dar uma olhada nisso. Estou me voltando para você.”

Este parece ser um objectivo louvável, mas Eerke Boiten na Universidade De Montfort, no Reino Unido, questiona se exigir especialistas em ética é tecnicamente viável. As empresas estão tentando fazer com que os LLMs se apeguem à verdade, mas até agora isso tem se mostrado tão trabalhoso que não é prático. “Não vejo como eles esperam que os requisitos legais tornem o que considero tecnologicamente impossível”, diz ele.

Mittelstadt e seus colegas sugerem alguns passos simples que poderiam tornar os LLMs mais autênticos. Os modelos devem vincular-se às fontes, diz ele, algo que muitos deles fazem agora para provar as suas afirmações, enquanto o uso mais amplo de uma técnica conhecida como geração aumentada de pesquisa para encontrar respostas poderia limitar a probabilidade de alucinações.

Ele também argumenta que os LLMs em áreas de alto risco, como a tomada de decisões governamentais, devem ser reduzidos ou limitados nas fontes às quais podem recorrer. “Se tivéssemos um modelo de linguagem que quiséssemos usar apenas na medicina, poderíamos limitá-lo para que só pudesse pesquisar artigos acadêmicos publicados em revistas médicas de alta qualidade”, diz ele.

Mudar as percepções também é importante, diz Mittelstadt. “Se pudermos nos afastar da ideia de que (LLMs) são bons em responder questões factuais, ou pelo menos dar-lhe uma resposta confiável a questões factuais, e vê-los como algo que pode ajudá-lo com os fatos, traga-os até eles, isso seria bom”, diz ele.

Catalina Goanta Os investigadores da Universidade de Utrecht, nos Países Baixos, concentram-se demasiado na tecnologia e não o suficiente em questões falsas de longo prazo no discurso público. “Apenas colocar os LLMs neste contexto dá a impressão de que as pessoas são completamente diligentes e nunca cometeriam esses erros”, diz ele. “Pergunte a qualquer juiz que você encontrar em qualquer jurisdição e eles terão histórias horríveis sobre advogados sendo negligentes e vice-versa – e não é um problema de máquina”.