Assediadores online estão a usar ferramentas de IA para criar ameaças de morte mais realistas, publicando imagens e sons hiper-realistas gerados por IA nas redes sociais

Conteúdo
Insights principais
Os factos principais revelam que ferramentas de IA estão agora a ser usadas para criar ameaças de morte hiper-realistas com imagens e áudio, publicadas nas redes sociais, aumentando a gravidade e credibilidade do assédio online.
Os principais intervenientes incluem vítimas de assédio, empresas de redes sociais, autoridades policiais e desenvolvedores de IA, enquanto grupos periféricos abrangem organizações de defesa e legisladores focados na segurança digital.
Os impactos imediatos incluem aumento do sofrimento psicológico das vítimas e desafios acrescidos na moderação de conteúdo para as plataformas, com potenciais efeitos em cascata na confiança dos utilizadores e no envolvimento nas plataformas.
Historicamente, esta situação é paralela às preocupações com a tecnologia deepfake em 2018-2019, onde a adoção tecnológica rápida ultrapassou os quadros regulatórios, resultando em medidas reativas em vez de proativas.
Olhando para o futuro, cenários otimistas podem envolver ferramentas de deteção aprimoradas por IA e melhor literacia digital, enquanto os riscos preveem um aumento do uso indevido que alimenta o assédio e a desinformação.
Recomendações para as autoridades reguladoras incluem priorizar o desenvolvimento de normas de verificação de conteúdo de IA, aplicar uma responsabilidade mais rigorosa às plataformas com prazos claros de conformidade e investir em recursos de apoio às vítimas; estas variam em complexidade mas visam coletivamente mitigar danos enquanto promovem inovação segura.