Detecção de áudios sintéticos com análise de robustez a ruído utilizando espectrogramas Mel e redes neurais convolucionais

Abstract

Os rápidos avanços em modelos de síntese de fala baseados em redes neuraistêm introduzido desafios para a identificação de áudios sintéticos geradospor essas tecnologias. Entre as ferramentas utilizadas nesse contexto estáo vocoder (do inglês voice encoder), um modelo capaz de analisar esintetizar sinais de voz. Ele permite não apenas a compactação e amodificação do áudio, mas também a geração de fala artificial, incluindo arecriação do timbre e das características específicas de uma voz humana.Este trabalho implementa uma abordagem para detectar o uso de vocodersneurais por meio da análise de imagens de espectrogramas Mel, utilizandoredes neurais convolucionais (CNNs) para identificar característicasdistintivas presentes em áudios gerados por vocoders. Começando com umavisão geral abrangente dos vocoders, seu desenvolvimento histórico e astecnologias que impulsionaram os avanços dos vocoders neurais, destacamos atransição das técnicas tradicionais de processamento de sinal para asíntese impulsionada por aprendizado profundo. Nossa abordagem envolvetestar várias arquiteturas de CNNs e estressá-las sob diferentes condiçõesde ruído para avaliar a robustez e a eficácia de cada modelo na distinçãoentre imagens de espectrogramas de áudios sintéticos e reais. Os resultadosdemonstram que esse método baseado em imagens é eficaz para a detecção devocoders, embora testes adicionais sejam necessários para melhorar odesempenho em diversos ambientes de áudio e tipos de vocoders.