Durante anos, a tecnologia hashing tornou possível que as plataformas detectassem automaticamente materiais conhecidos de abuso sexual infantil (CSAM) para impedir que crianças fossem traumatizadas novamente online. No entanto, a rápida detecção de CSAM novos ou desconhecidos continuou a ser um desafio maior para as plataformas, à medida que novas vítimas continuavam a ser vítimas. Agora, a IA pode estar pronta para mudar isso.
Hoje, uma importante organização de segurança infantil, Thorn, em parceria com um fornecedor líder de soluções de IA baseadas em nuvem, Hive, anunciou o lançamento de um modelo de IA projetado para sinalizar CSAM desconhecidos no upload. É a primeira tecnologia de IA que se esforça para expor CSAM não reportados em grande escala.
Uma expansão da ferramenta de detecção de CSAM da Thorn, Mais seguroo novo recurso “Predict” usa “modelos avançados de classificação de aprendizado de máquina (ML)” para “detectar CSAM e comportamento de exploração sexual infantil (CSE) novos ou não relatados anteriormente, gerando uma pontuação de risco para tornar as decisões humanas mais fáceis e rápidas”.
O modelo foi treinado em parte usando dados do CyberTipline do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), contando com dados reais de CSAM para detectar padrões em imagens e vídeos prejudiciais. Depois que a suspeita de CSAM é sinalizada, um revisor humano permanece informado para garantir a supervisão. Ele poderia ser usado para investigar suspeitas de proliferação de anéis de CSAM online.
É claro que também poderia cometer erros, mas Kevin Guo, CEO da Hive, disse à Ars que foram realizados testes extensivos para reduzir substancialmente os falsos positivos ou negativos. Embora ele não compartilhasse estatísticas, ele disse que as plataformas não estariam interessadas em uma ferramenta onde “99 entre cem coisas que a ferramenta sinaliza não estão corretas”.
Rebecca Portnoff, vice-presidente de ciência de dados da Thorn, disse a Ars que era “acéfalo” fazer parceria com a Hive on Safer. O Hive fornece modelos de moderação de conteúdo usados por centenas de comunidades on-line populares, e Guo disse a Ars que as plataformas têm solicitado consistentemente ferramentas para detectar CSAM desconhecidos, muitos dos quais atualmente apodrecem em pontos cegos on-line porque o banco de dados de hashing nunca os exporá.
