Holistic and local representation learning for online signature verification

Abstract

Neste trabalho, abordamos o problema de minimizar a taxa de Equal Error Rate (EER) global em um sistema de verificação de assinaturas online independente de escritor, decompondo-a em duas componentes: a taxa de erro de separação e a taxa de erro de alinhamento. A taxa de separação surge da falta de uma separação correta entre assina- turas genuínas e falsificadas, enquanto a de alinhamento resulta da incapacidade de um único limiar global capturar de forma eficaz as separações específicas de cada escritor. Enquanto as abordagens tradicionais da literatura focam exclusivamente em aumentar a separação entre assinaturas genuínas e falsificadas, essa decomposição nos permite endereçar o problema também do ponto de vista da falta de alinhamento entre os limiares específicos de cada usuário.

Para isso, propomos HoLoSig, um novo arcabouço que integra duas populares rep- resentações profundas de assinaturas através de uma arquitetura convolucional 1D compartilhada que se bifurca em dois ramos especializados. Em um dos ramos, utilizamos a Triplet Loss com Soft-DTW para aprender representações locais de comprimento var- iável, cujas pontuações de dissimilaridade são deslocadas para uma região comum com a ajuda da Discrepância Média Máxima, a fim de melhorar o desempenho do sistema ao usar um limiar global. No outro ramo, empregamos como função de perda a expansão polinomial da entropia cruzada com correção no primeiro polinômio para aprender rep- resentações holísticas de comprimento fixo, que são usadas para reforçar ainda mais a separação criada pelo ramo de representações locais.

Para avaliar o método proposto nós conduzimos diversos experimentos de ablação que confirmam a redução tanto no erro de separação quanto de alinhamento e concluímos que a Triplet-MMD desempenha papel fundamental na redução do último. Em seguida, estendemos a análise ao substituir a MMD por outras medidas de divergência estatística e comprovamos que elas alcançam resultados comparáveis—demonstrando que o erro de alinhamento pode ser reduzido ao garantir que as pontuações de dissimilaridade do sistema sigam uma distribuição consistente.

Como um arcabouço independente de escritor, HoLoSig não possui dependência de usuários e é portanto capaz de verificar assinaturas de escritores não vistos durante o treinamento sem a necessidade de qualquer adaptação ou ajuste-fino. No entanto, HoLoSig não está livre de vieses relacionados aos dispositivos de captura e protocolo de aquisição de assinaturas. Portanto, para avaliar a robustez do modelo a essas particularidades nós realizamos diversos experimentos onde o treinamento é realizado com dados oriundos de protocolos de aquisição e dispositivos de captura diferentes dos utilizados para medir o erro do sistema. Nossos resultados são promissores, pois eles não apenas mostram forte capacidade de generalização mas também que HoLoSig consegue superar métodos que figuram no estado da arte mesmo se treinada com apenas metade dos dados utilizados por eles.

HoLoSig foi idealizada para verificação de assinaturas online realizadas com canetas (stylus). No entanto, nós estendemos sua arquitetura para endereçar o problema de verifi- cação de assinaturas online realizadas com dedo. Um dos maiores desafios na verificação de assinaturas feitas com dedo é o tamanho limitado dos conjuntos de dados disponíveis para pesquisa comparado com aqueles onde as assinaturas foram feitas com caneta, o que fre- quentemente inviabiliza o treinamento do zero. Para endereçar isso, nós adicionamos um ramo classificador de domínio na arquitetura de HoLoSig, transformando-a efetivamente em uma Rede Neural de Adaptação de Domínio. A arquitetura HoLoDANN resultante nos permite tirar proveito tanto das assinaturas feitas com caneta quanto das assinaturas feitas com dedo para melhor abordar o problema de assinaturas feitas com dedo.

HoLoSig e HoLoDANN alcançam resultados de ponta no DeepSignDB, o maior con- junto de verificação de assinaturas online atualmente. Os resultados (EER) de HoLoSig no cenário de assinaturas feitas com caneta contra falsificações habilidosas e aleatórias são: 1,73% (4vs1 habilidosas), 3,29% (1vs1 habilidosas), 0,43% (4vs1 aleatórias) e 0,89% (1vs1 aleatórias). Os resultados (EER) de HoLoDANN no cenário de assinaturas feitas com dedo contra falsificações habilidosas e aleatórias são: 5,65% (4vs1 habilidosas), 9.99% (1vs1 habilidosas), 0,55% (4vs1 aleatórias) e 1,78% (1vs1 aleatórias).