Fornecedor de banco de dados vetorial de código aberto visa custos corporativos de IA com atualização na nuvem

À medida que o uso de inteligência artificial generativa cresceu dramaticamente nos últimos anos, os bancos de dados vetoriais evoluíram de tecnologia de ponta para infraestrutura empresarial central.

À medida que os bancos de dados vetoriais se tornam cada vez mais importantes, as empresas estão cada vez mais atentas ao desempenho e ao custo. Zilliza empresa por trás do código aberto dragão banco de dados vetorial, anuncia novos recursos que visam reduzir drasticamente o custo e a complexidade das implantações de produção, respondendo às crescentes demandas dos usuários corporativos que passaram de experimentos iniciais para implementações de IA em grande escala.

O momento é particularmente importante dado o aumento na adoção de bancos de dados vetoriais desde o final de 2022, quando o ChatGPT da OpenAI catalisou o interesse generalizado em aplicações de IA. Os novos recursos destinam-se especificamente a empresas que enfrentam dificuldades com o tamanho crescente das implantações e a complexidade do gerenciamento de bancos de dados vetoriais em um ambiente de produção. Em apenas dois anos, as escalas de implantação cresceram de milhões para milhares de milhões de vetores. A maior implementação da Zilliz gerencia agora 100 bilhões de vetores. A tecnologia é agora implementada numa variedade de casos de utilização, incluindo aplicações multimodais, sistemas de recomendação, condução autónoma, deteção de drogas, deteção de fraudes e segurança cibernética.

“Nos últimos dois anos, definitivamente vimos bancos de dados de vetores passarem de uma tecnologia de ponta para uma tecnologia mais convencional”, disse Charles Xie, fundador e CEO da Zilliz, ao VentureBeat.

Diferenciando banco de dados de vetores de IA empresarial em um mercado lotado

Em 2024, a tecnologia de banco de dados vetorial preparou o cenário para a implantação de IA empresarial. Quase todos os fornecedores de banco de dados possuem alguma forma de implementação vetorial, incluindo Oracle, Microsoft, Google, DataStax e MongoDB.

No entanto, Milvus é um pouco diferente porque é um banco de dados vetorial criado especificamente. Nesta categoria, a concorrência inclui fornecedores como a Pine Cone. Embora certamente existam outras tecnologias de banco de dados vetoriais de código aberto, Milvus tem a distinção única de ser o único que faz parte da Linux Foundation. SE AI e DATA esforço.

Hospedado pela AI & Data Foundation da Linux Foundation, Milvus permitiu receber contribuições de um amplo ecossistema de instituições e organizações participantes. Xie observou que IBM, Nvidia, Apple, Salesforce e Intel estão entre as organizações que contribuíram com código para o projeto de código aberto Milvus.

Segundo Xia, a combinação de uma base de código aberto, foco em um banco de dados vetorial nativo e, acima de tudo, recursos especializados ajuda a diferenciar a tecnologia de sua empresa em um mercado concorrido. Xie afirmou que seu foco exclusivo na tecnologia de banco de dados vetorial permite fornecer soluções mais abrangentes e otimizadas do que os fornecedores que incluem vetores como um tipo de dados adicional.

Essa especialização permitiu à Zilliz desenvolver recursos especificamente adaptados às necessidades de pesquisa vetorial empresarial, incluindo os recursos de conformidade, segurança e alta disponibilidade que os ambientes de produção exigem.

Como a Zilliz aprimora seu banco de dados de vetores para necessidades de produção de IA empresarial

A oferta Zillliz Cloud é baseada no banco de dados de código aberto Milvus. A oferta fornece um serviço de gerenciamento de banco de dados que facilita seu uso e utilização pelas organizações.

Como parte da última atualização do Zilliz Cloud, a empresa adicionou um sistema de indexação automatizado que elimina a necessidade de ajuste manual de parâmetros. O novo recurso seleciona automaticamente algoritmos de indexação ideais para fornecer o melhor desempenho sem que o usuário precise configurar índices manualmente.

“Fora da caixa, você obtém o melhor desempenho”, disse Xie.

O recurso de indexação automática faz parte do esforço da Zilix Cloud para fornecer um “modo de condução autônomo” para bancos de dados vetoriais usando algoritmos de aprendizado de máquina para otimizar o desempenho nos bastidores. Isso ajuda a reduzir o custo total de propriedade para os clientes, pois eles não precisam gastar tempo e recursos ajustando manualmente o índice.

A otimização de algoritmos ajuda a melhorar casos de uso específicos de IA empresarial

Indo um passo além, Zilliz agora também integra um otimizador de algoritmo.

A otimização funciona com fertilização in vitro (arquivo invertido), bem como algoritmos de pesquisa vetorial baseados em gráficos. A alocação de memória e o poder de processamento também são otimizados para execução rápida, o que, segundo a empresa, fornece velocidade de até 3x em relação a implementações não otimizadas.

O Algorithm Optimizer funciona em vários casos de uso, quer uma organização execute um sistema de recuperação de documentos, uma ferramenta de recomendação, detecção de fraude ou qualquer outro aplicativo vetorial.

A inovação híbrida de pesquisa e armazenamento ajuda a reduzir os custos empresariais de IA

A nova versão também introduz um recurso de pesquisa híbrida que combina a pesquisa por similaridade vetorial com a pesquisa tradicional por palavras-chave em um único sistema.

A integração permite que as empresas consolidem sua infraestrutura de pesquisa e reduzam a complexidade operacional. Xie explicou que o componente de pesquisa baseado em palavras-chave usa o algoritmo BM25 padrão, bem como um índice esparso.

Para lidar com os custos crescentes de armazenamento, a Zilliz implementou um sistema de armazenamento hierárquico que torna seus serviços mais econômicos do que os bancos de dados vetoriais tradicionais na memória. A hierarquia de armazenamento em camadas permite que a maioria dos dados seja armazenada em discos locais e armazenamento de objetos, o que Xia diz ser mais barato do que uma solução puramente na memória.

Xie afirma que através de um novo conjunto de inovações de desempenho e armazenamento, a Zilliz será capaz de reduzir o custo do consumo de banco de dados vetorial para seus usuários.

No futuro, a Zilliz tem planos ambiciosos para otimizar ainda mais os custos.

“Vou fazer aqui uma previsão muito ousada de que nos próximos cinco anos, o custo, o custo total de resolução de um banco de dados vetorial, deverá cair mais cem vezes”, disse Xie.