Nova IA e tradução ao vivo da Meta’s Ray-Bans, prática: marcas de óculos AR estão chegando

Eu ativei o Meta Ray-Bans’ um novo recurso de IA ao vivo e fiz uma caminhada matinal por Manhattan. Foi uma experiência estranha. O LED branco no canto dos meus olhos permaneceu aceso enquanto meus óculos alimentavam minha vida. Perguntei sem jeito: sobre pombos, sobre trabalhadores da construção civil, se ele sabia que carro estava por perto ou quem era o dono dos caminhões em frente. Recebi respostas mistas, às vezes nenhuma resposta. E então minha conexão morreu devido a um Bluetooth ruim na cidade.

Meus primeiros passos com um companheiro de IA sempre atento foram estranhos e ainda mais ficção científica do que experimentei no ano passado. Semelhante à demonstração recente com o Google Óculos movidos a Gemini ainda colocados, Ray-Bans da Meta – que já são muito acessíveis – estão dando mais passos para se tornarem uma espécie de assistente sempre atento. Ou agentecomo o ambiente de inteligência artificial agora o chama. IA ao vivo e tradução ao vivo; uma vez, fique A IA deve ver o que você vê. E talvez isso o ajude a fazer algo que você não conhece.

Confira isso: Tradução ao vivo do Meta Ray-Bans e demonstração de IA ao vivo

01:31

Mas os recursos também parecem prévias do que poderia ser um novo conjunto de óculos Meta que chegará no próximo ano, que poderia ter seu próprio display e possivelmente uma pulseira de controle por gestos, com base no conselho de Mark Zuckerberg. em fibras semana passada depois história escrita por Joanna Stern do Wall Street Journal.

Neste ponto, Living AI parece um vislumbre curioso do futuro cada vez mais ligado e disruptivo da IA, mais um companheiro do que um ajudante desde minhas primeiras tentativas. E ainda assim, quando a tradução funciona, é surpreendentemente útil… mesmo que funcione com um pouco de atraso.

Living AI: ouvindo e monitorando constantemente o estado de espírito

Ativar a IA ao vivo significa iniciar a gravação de vídeo ao vivo. Embora o vídeo não seja salvo para reprodução posterior, ele é processado pela inteligência artificial do Meta através do seu telefone e transferido para os óculos. A luz LED permanece acesa para alertar as pessoas de que está ligada, mas, na minha experiência, as pessoas não percebem muito a luz LED ou parecem não se importar. Qualquer coisa que você disser pode ser interpretada pela Meta AI, então esqueça as conversas com outras pessoas. No escritório eu parecia um cara estranho falando sozinho ou talvez fingindo falar com outras pessoas (apenas para as pessoas tentarem falar comigo e perceberem que eu não estava falando com elas). Mas a inteligência artificial ao vivo pode ser pausada tocando na lateral dos óculos.

O Live AI pode ser interrompido dizendo “Stop Live AI”, mas às vezes o Meta AI pensava que eu estava perguntando se era inteligência artificial ao vivo – “Quem chega primeiro?” momento. Tive que gritar algumas vezes antes de parar.

O desafio de viver a inteligência artificial é descobrir o que fazer com ela. Andei pelo escritório perguntando sobre a disposição dos móveis e me disseram que tudo parecia bem: “a sala parece bem projetada e funcional, sem alterações óbvias”. Perguntei sobre a história que estava escrevendo no meu laptop e ele disse: “O texto parece ser uma peça coesa e bem estruturada, sem partes que pareçam desnecessárias”. Eu ainda estava tentando obter feedback construtivo e era difícil conseguir algo que não fosse genérico, embora apontasse algumas linhas notáveis ​​e resumisse meus pontos.

Quando saí, ele me disse em que rua eu estava, mas estava errado – eu corrigi, reconheci e segui em frente. Ele conhecia o banco Chase que eu estava visitando e me disse o horário de funcionamento do banco, e conhecia o Joe’s Pub quando eu estava na entrada do teatro público, mas não sabia me dizer o que estava passando naquela noite. Ela conseguia identificar pombos comuns, identificou erroneamente um carro na beira da estrada como um Mercedes (era um Lincoln) e, por algum motivo, recomendou um bar na mesma rua que agora estava “extinto” de acordo com Meta AI.

O Live AI está praticamente na versão beta de acesso antecipado no momento, mas também preciso entender o que farei com ele. A sensação inicial do beta e o propósito pouco claro podem se combinar para torná-lo ridículo. Ou inesperadamente profundo. De qualquer forma, mantê-lo funcionando requer um aumento na vida útil da bateria: 30 minutos de uso em vez das horas que os Ray-Bans normalmente fazem.

Tradução: Útil, para vários idiomas

A tradução ao vivo funciona da mesma maneira, começa sob demanda. No entanto, você precisa baixar pacotes de idiomas específicos para os idiomas que deseja traduzir: por exemplo, do espanhol para o inglês. Atualmente apenas são suportados espanhol, francês, italiano e inglês, o que é decepcionante.

Eu estava conversando com um colega da CNET Danni Santana no barulhento Astor Place, perto do nosso escritório em Nova York. Ele falava espanhol dominicano e eu falava inglês. As respostas traduzidas chegaram aos meus ouvidos alguns segundos depois e, enquanto conversávamos, senti como se estivesse aprendendo o suficiente para entender. Não foi perfeito: a IA de tradução não parecia captar algumas frases ou expressões idiomáticas. Devido ao atraso, era difícil saber quando a tradução terminaria ou se mais ainda estavam sendo adicionadas. Tive dificuldade em sincronizar minhas respostas a Danni enquanto ele esperava pacientemente que eu falasse do outro lado da mesa.

Meta também exibe uma transcrição ao vivo da conversa no aplicativo de telefone Meta View, que você pode ver enquanto usa os óculos para mostrar a pessoa com quem está falando ou esclarecer o que foi dito.

O recurso de tradução dos Ray-Bans parece imediatamente mais útil do que o Live AI, mas isso também ocorre porque o Live AI ainda não diz claramente para que devo usá-lo. Talvez eu pudesse ligá-lo enquanto cozinhava, construía móveis IKEA ou jogava um jogo de tabuleiro? Não sei. Ajude-me a descobrir, Meta. Além disso, a ausência de um head-up display faz com que o Live AI pareça que estou adivinhando o que os óculos estão olhando.

É claro que você pode usar o Google Tradutor no seu telefone. Meta usa seus óculos para traduzir de maneira semelhante a como você usaria fones de ouvido. Mas os óculos Meta também podem ver e traduzir itens escritos, mas isso não faz parte do modo de tradução de conversação ao vivo.

O que vem a seguir: exibição ou gestos? Ou ambos?

Os Ray-Bans de um ano de Matt já foram recebidos vários recursos principais da IAcada um dos quais muda a equação de maneiras surpreendentes. No entanto, as últimas adições de IA ao vivo parecem estar ultrapassando os limites do hardware, reduzindo a vida útil da bateria. Eu gostaria de ter maneiras melhores de ver o que a IA pode ver ou o que ela pode apontar com a minha mão para indicar o que quero perguntar.

Os óculos do futuro poderão ir nessa direção: tanto com head-up displays quanto com reconhecimento de gestos. O CTO da Meta, Andrew Bosworth, numa entrevista que tive com ele no final do ano, reconhece que estes são os próximos passos – mas o prazo não é claro. Óculos Orion da Meta – os óculos ambiciosos com telas 3D e um rastreador de gestos usado no pulso que apresentei no início deste ano e que pode detectar toques e beliscões nos dedos – ainda estão a anos de se tornarem realidade. Mas a pulseira neural da Meta poderia chegar mais cedo, ou talvez uma forma de os óculos equipados com câmera reconhecerem os gestos das mãos. E quando se trata de telas em óculos inteligentes, a Meta poderia explorar um head-up display menor para exibir informações antes de passar para telas AR maiores e mais envolventes. Bosworth aponta para óculos AR da próxima geração va postagem recente no blogmas será que isso será possível na próxima geração de óculos tipo Ray-Ban?

“Os controles baseados em gestos requerem câmeras voltadas para baixo e provavelmente alguma iluminação”, diz Bosworth sobre os futuros óculos Meta. “Você poderia fazer isso nos atuais Ray-Ban Metas – brincamos com isso no Live AI – mas você tem que fazer isso (a partir) do campo de visão da câmera.” Mas ele reconhece a possibilidade de adicionar fita EMG aos óculos mais cedo ou mais tarde. “Agora você está adicionando um dispositivo que precisa ser carregado, é uma despesa extra, tem peso extra, mas é muito conveniente.” No entanto, Bosworth vê a banda EMG apenas como útil quando há uma exibição nos óculos – algo que os Ray-Bans… ainda não têm. É provável que quando os Ray-Bans receberem algum tipo de heads-up display, uma banda de entrada possa estrear junto com eles. Eu vi algumas tentativas para ideias como esta em outros produtos.

E ainda há a questão da duração da bateria: como esses óculos sempre ligados durarão mais do que algumas horas seguidas? Ou como tudo isso aumentará o preço dos óculos da próxima geração?

Enquanto isso, a IA da Meta também poderia ser transferida para áreas como fitness como algo que também conecta a VR, onde a Meta tem outra versão da Meta AI. “Seria muito incomum se em um ano a IA que você usa para monitorar seus passos no mundo e lhe dar conselhos também não percebesse o que você está fazendo treinamentos (em VR)diz Bosworth.

À medida que o Live AI continua a evoluir, pode ser absolutamente necessário ter maneiras melhores de adicionar gestos. Bosworth vê apontar as coisas como uma forma fundamental de treinar a IA para melhorar no futuro. “À medida que as IA melhoram, a necessidade destes gestos muito mais simples e intuitivos aumenta significativamente.”

Os Ray-Bans da Meta não me deixam apontar as coisas agora, e às vezes fazem com que o uso da IA ​​ao vivo pareça um pouco confuso. Mas pode exigir hardware mais novo e gestos e telas adicionais para dar o próximo salto.