A inflexão ajuda a corrigir a desinformidade RLHF com modelos exclusivos para IA empresarial e agente

UM troca recente no X (anteriormente Twitter) entre Ethan Mollick, professor da Wharton, e Andrej Karpathy, ex-diretor de IA da Tesla e cofundador da OpenAI, aborda algo ao mesmo tempo fascinante e fundamental: muitos dos principais modelos de IA generativa da atualidade — incluindo os da OpenAI, Anthropic, e Google – exibem uma notável semelhança de tom, levantando a questão: por que os grandes modelos de linguagem (LLMs) estão convergindo não apenas em proficiência técnica, mas também em personalidade?

O comentário de acompanhamento apontou uma característica comum que poderia estar impulsionando a tendência de convergência de resultados: Aprendizagem por Reforço com Feedback Humano (RLHF), uma técnica na qual os modelos de IA são ajustados com base em avaliações fornecidas por treinadores humanos.

Com base nesta discussão sobre o papel do RLHF na similaridade de resultados, o Inflection AI’s anúncios recentes do Inflection 3.0 e uma API comercial podem fornecer uma direção promissora para enfrentar esses desafios. Introduziu uma nova abordagem ao RLHF, destinada a tornar os modelos generativos não apenas consistentes, mas também distintamente empáticos.

Com a entrada no espaço empresarial, os criadores da coleção de modelos Pi aproveitam o RLHF de uma forma mais sutil, desde esforços deliberados para melhorar os modelos de ajuste fino até uma plataforma proprietária que incorpora o feedback dos funcionários para adaptar os resultados da geração de IA à cultura organizacional . A estratégia visa fazer IA de inflexãoOs modelos da empresa são verdadeiros aliados culturais, em vez de apenas chatbots genéricos, fornecendo às empresas um sistema de IA mais humano e alinhado que se destaca da multidão.

A Inflection AI quer que seus chatbots de trabalho se importem

Neste contexto de convergência, a Inflection AI, os criadores do modelo Pi, estão trilhando um caminho diferente. Com o recente lançamento do Inflexão para Empresaa Inflection AI visa tornar a inteligência emocional – apelidada de “EQ” – um recurso essencial para seus clientes corporativos.

A empresa afirma que sua abordagem única ao RLHF a diferencia. Em vez de confiar na rotulagem anónima de dados, a empresa procurou feedback de 26.000 professores escolares e universitários para ajudar no processo de ajuste fino através de uma plataforma de feedback proprietária. Além disso, a plataforma permite que clientes empresariais executem aprendizagem por reforço com feedback dos funcionários. Isso permite o ajuste posterior do modelo à voz e ao estilo únicos da empresa do cliente.

A abordagem da Inflection AI promete que as empresas serão “donas” de sua inteligência, o que significa um modelo local ajustado com dados proprietários que são gerenciados com segurança em seus próprios sistemas. Este é um afastamento notável dos modelos de IA centrados na nuvem com os quais muitas empresas estão familiarizadas – uma configuração que a Inflection acredita que aumentará a segurança e promoverá um maior alinhamento entre os resultados da IA ​​e as formas como as pessoas a utilizam no trabalho.

O que RLHF é e o que não é

O RLHF tornou-se a peça central do desenvolvimento da IA ​​genérica, em grande parte porque permite às empresas moldarem respostas para serem mais úteis, coerentes e menos propensas a erros perigosos. Uso de RLHF pela OpenAI foi fundamental para tornar ferramentas como o ChatGPT envolventes e geralmente confiáveis ​​para os usuários. O RLHF ajuda a alinhar o comportamento do modelo com as expectativas humanas, tornando-o mais envolvente e reduzindo resultados indesejáveis.

No entanto, o RLHF tem suas desvantagens. O RLHF foi rapidamente apresentado como uma razão que contribui para uma convergência dos resultados dos modelos, levando potencialmente a uma perda de características únicas e tornando os modelos cada vez mais semelhantes. Aparentemente, o alinhamento oferece consistência, mas também cria um desafio à diferenciação.

Anteriormente, o próprio Karpathy apontou algumas das limitações inerente ao RLHF. Ele comparou isso a um jogo de verificação de vibração e enfatizou que não oferece uma “recompensa real” semelhante a jogos competitivos como AlphaGo. Em vez disso, o RLHF otimiza uma ressonância emocional que é, em última análise, subjetiva e pode errar o alvo em tarefas práticas ou complexas.

Do EQ ao AQ

Para mitigar algumas dessas limitações do RLHF, a Inflection AI embarcou em uma estratégia de treinamento mais diferenciada. Não apenas implementando RLHF aprimorado, mas também tomou medidas em direção às capacidades de IA de agência, que foi abreviado como AQ (Quociente de Ação). Como White descreveu em uma entrevista recenteO objetivo empresarial da Inflection AI envolve permitir que modelos não apenas compreendam e tenham empatia, mas também tomem ações significativas em nome dos usuários – desde o envio de e-mails de acompanhamento até a assistência na resolução de problemas em tempo real.

Embora a abordagem da Inflection AI seja certamente inovadora, existem deficiências potenciais a serem consideradas. Sua janela de contexto de token de 8K usada para inferência é menor do que muitos modelos de última geração empregam, e o desempenho de seus modelos mais recentes não foi avaliado. Apesar dos planos ambiciosos, os modelos do Inflection AI podem não atingir o nível de desempenho desejado em aplicações do mundo real.

No entanto, a mudança de EQ para AQ poderá marcar uma evolução crítica no desenvolvimento da IA ​​genérica, especialmente para clientes empresariais que procuram aproveitar a automação para tarefas cognitivas e operacionais. Não se trata apenas de falar com empatia com clientes ou funcionários; A Inflection AI espera que o Inflection 3.0 também execute tarefas que traduzam empatia em ação. A parceria da Inflection com plataformas de automação como a UiPath para fornecer esta “IA agente” reforça ainda mais sua estratégia para se destacar em um mercado cada vez mais concorrido.

Navegando em um mundo pós-Suleyman

A Inflection AI passou por mudanças internas significativas no ano passado. A saída do CEO Mustafa Suleyman na “aquisição” da Microsoft, juntamente com uma parcela considerável da equipe, lançou dúvidas sobre a trajetória da empresa. No entanto, a nomeação de White como CEO e uma equipa de gestão renovada estabeleceram um novo rumo para a organização.

Esta “refundação” centrou-se no uso empresarial da IA ​​emocional, com o objetivo de fornecer experiências de IA personalizadas e profundamente incorporadas, em vez de soluções genéricas de chatbot.

Pi’s… na verdade muito popular

A abordagem exclusiva da Inflection AI com Pi está ganhando força além do espaço empresarial, especialmente entre usuários em plataformas como Reddit. A comunidade Pi tem falado abertamente sobre suas experiências, compartilhando anedotas positivas e discussões sobre as respostas atenciosas e empáticas de Pi.

Essa popularidade demonstra que o Inflection AI pode estar no caminho certo. Ao apostar na inteligência emocional e na empatia, a Inflection não está apenas a criar uma IA que auxilia, mas também uma IA que repercute nas pessoas, seja em ambientes empresariais ou como assistentes pessoais. Este nível de envolvimento dos utilizadores sugere que o seu foco na EQ pode ser a chave para se distinguirem num cenário onde outros LLMs correm o risco de se misturar uns com os outros.

O que vem por aí para Inflection AI

Seguindo em frente, o foco da Inflection AI em recursos pós-treinamento, como Retrieval-Augmented Generation (RAG) e fluxos de trabalho de agente, visa manter sua tecnologia na vanguarda das necessidades empresariais. A Inflection AI afirma que o objetivo final é inaugurar uma era pós-GUI, onde a IA não está apenas respondendo aos comandos, mas ajudando ativamente com integrações perfeitas em vários sistemas de negócios.

O júri ainda não decidiu se a nova abordagem do Inflection AI aumentará significativamente a similaridade de resultados. No entanto, se as ideias inovadoras de White e da sua equipa derem frutos, o QE poderá emergir como uma métrica fundamental para avaliar a eficácia da tecnologia generativa da sua empresa.