ISO/IEC 30107-3
O padrão internacional que define como avaliar a detecção de ataques de apresentação em sistemas biométricos. Qual método fixa, quais métricas estabelece, e as duas coisas que lhe são atribuídas sem estarem em seu texto.
Em resumo
ISO/IEC 30107-3 é o padrão internacional que define como se testa e como se reporta a capacidade de um sistema biométrico de detectar ataques de apresentação. Estabelece o método do teste, as métricas com as quais o resultado é expresso e a forma como esse resultado deve ser informado.
É uma norma de medição. Não é uma certificação, não concede um selo e não define níveis de conformidade: define como se mede para que dois resultados sejam comparáveis.
O que a norma define
O valor da norma está no procedimento, porque é isso que transforma uma afirmação de produto em um resultado verificável por terceiros.
- O método do teste — um laboratório constrói um conjunto de instrumentos de ataque de apresentação, os apresenta ao sistema em condições controladas e registra o que o sistema fez com cada apresentação.
- As métricas — como o resultado é expresso, para que o relatório de um laboratório seja legível diante do de outro.
- O relatório — o que deve ser declarado junto ao número: o que foi testado, com quais instrumentos, sobre qual sistema e em quais condições. Um resultado sem esse contexto não significa nada.
O que a norma não faz é avaliar ninguém por si só. É o manual do teste, não o teste.
As métricas que estabelece
São as três que sustentam qualquer leitura de um relatório, e não são intercambiáveis. Um relatório que reporta apenas uma não permite avaliar o comportamento do sistema.
- APCER — a proporção de apresentações de ataque classificadas incorretamente como legítimas. Quantos ataques passaram.
- BPCER — a proporção de apresentações legítimas classificadas incorretamente como ataque. Quantos usuários reais foram rejeitados.
- IAPMR — em uma avaliação do sistema completo, a proporção de apresentações de ataque que acabaram produzindo uma correspondência.
APCER e BPCER se movem em sentidos opostos: um sistema configurado para deixar passar menos ataques rejeita mais usuários legítimos. Por isso as duas se leem juntas, e por isso um teste diz bem mais sobre um produto do que uma descrição comercial de sua prova de vida.
A norma não define níveis: os níveis são do programa de testes da iBeta
É o erro mais repetido do setor, e aparece em materiais de fornecedores, em editais e em notas técnicas.
A ISO/IEC 30107-3 não tem níveis. Esses graus pertencem ao programa de testes da iBeta, um laboratório que aplica a metodologia da norma e organiza seus testes pelo potencial do ataque, ou seja, pelo tempo, pela perícia, pelo equipamento e pelo custo exigidos para construir o instrumento:
- Nível 1 — instrumentos de ataque de baixo custo e fácil construção, feitos com materiais e ferramentas ao alcance de qualquer pessoa.
- Nível 2 — instrumentos de maior sofisticação e custo, que se aproximam de um atacante com recursos e tempo.
- Nível 3 — instrumentos de alta preparação, como máscaras hiper-realistas feitas sob medida. O laboratório o incorporou depois dos dois anteriores.
A distinção importa ao comparar fornecedores: a norma é o método, o nível é a exigência do teste, e o laboratório é quem executa. Um fornecedor que diz estar "certificado ISO/IEC 30107-3" sem citar o laboratório nem o nível está declarando contra qual manual foi medido, não qual resultado obteve.
A norma não avalia ataques de injeção
É o limite de alcance da norma, e é preciso dizer isso com todas as letras, porque uma certificação é lida com frequência como se cobrisse todo o problema do rosto sintético.
O alcance da ISO/IEC 30107-3 são os ataques de apresentação, os que ocorrem diante do dispositivo de captura: algo é mostrado ao sensor e o sensor funciona normalmente.
Um ataque de injeção de vídeo opera em outra camada. Ele não mostra nada ao sensor: substitui o fluxo de vídeo antes que chegue à aplicação, usando uma câmera virtual, um emulador ou a manipulação do dispositivo. A imagem nunca passou por uma lente, então nenhum teste sob esta norma diz algo sobre ele.
Nenhuma certificação sob este padrão cobre a injeção. Detectá-la exige verificar a origem do fluxo e a integridade do ambiente de execução, que são controles distintos e que dependem em parte do que o sistema operacional do dispositivo expõe.
Perguntas frequentes
É o padrão internacional que define como avaliar e como reportar a capacidade de um sistema biométrico de detectar ataques de apresentação. Fixa o método do teste, as métricas do resultado (APCER, BPCER e IAPMR) e o que deve ser declarado junto ao número para que o resultado seja interpretável. É uma norma de medição: não concede um selo nem avalia ninguém por si só, define como se mede para que dois testes sejam comparáveis.
Não existem: a norma não define níveis de conformidade. Os níveis pertencem ao programa de testes da iBeta, um laboratório que aplica a metodologia da norma. O Nível 1 usa instrumentos de ataque de baixo custo e fácil construção; o Nível 2 incorpora instrumentos de maior sofisticação e custo; o laboratório também acrescentou um Nível 3 para instrumentos de alta preparação. A norma é o método, o nível é a exigência do teste, e são coisas distintas.
Não. Seu alcance são os ataques de apresentação, os que são executados mostrando algo ao dispositivo de captura. Um ataque de injeção substitui o fluxo de vídeo antes que chegue à aplicação, sem passar pela câmera, e fica fora do que esta norma avalia. Nenhuma certificação sob este padrão, de qualquer fornecedor, diz algo sobre injeção.
Quatro dados, e os quatro são verificáveis: qual laboratório executou o teste, qual nível do seu programa foi aprovado, em qual data e sobre qual versão do produto. A data e a versão são as que mais se omitem e as que mais importam, porque um resultado de dois anos atrás foi obtido contra instrumentos de ataque de dois anos atrás.
