FMR e FNMR
As duas formas em que uma comparação biométrica erra: aceitar quem não é e rejeitar quem é. O que cada uma mede, por que se movem em sentidos opostos e com quais outras métricas se confundem.
Em resumo
FMR, false match rate, é a taxa de coincidências falsas: a proporção de comparações entre amostras de pessoas diferentes em que o sistema declara coincidência. É aceitar quem não é.
FNMR, false non-match rate, é a taxa de não coincidências falsas: a proporção de comparações entre duas amostras da mesma pessoa em que o sistema declara que não coincidem. É rejeitar quem é.
As duas descrevem o comportamento da comparação biométrica, e nenhum sistema leva as duas a zero ao mesmo tempo.
As duas formas de errar
Um sistema biométrico não responde sim ou não. Ele calcula uma medida de similaridade entre dois templates e a compara com um limiar. Os dois erros aparecem nas bordas dessa decisão.
- FMR — duas pessoas diferentes produzem uma similaridade alta o suficiente para superar o limiar. O sistema declara uma coincidência que não existe, e uma suplantação passa.
- FNMR — duas capturas da mesma pessoa produzem uma similaridade baixa demais, porque mudou a iluminação, o ângulo, o dispositivo ou a própria pessoa. O sistema rejeita um usuário legítimo, que tenta novamente ou desiste.
O primeiro é um erro de segurança e o segundo é um erro de conversão. Os dois têm custo, e os dois custos recaem sobre a mesma organização.
O limiar move uma às custas da outra
É a propriedade central do termo e a que transforma essas duas métricas em uma decisão de negócio, e não em um dado do fornecedor.
Subir o limiar exige mais similaridade para declarar uma coincidência. Isso reduz o FMR, porque fica mais difícil para duas pessoas diferentes superá-lo. E aumenta o FNMR, porque uma captura legítima com pouca luz deixa de alcançá-lo.
Baixá-lo produz o efeito inverso: passam mais usuários legítimos e também passa mais do que não deveria. O quanto cada uma se move não é proporcional: depende de como as pontuações se distribuem naquele sistema e naquela população, e por isso as duas são pedidas juntas.
O ponto em que as duas taxas se igualam se chama taxa de erro igual, e serve para comparar algoritmos entre si. Não serve como ponto de operação, porque quase nenhuma organização considera que aceitar um impostor e rejeitar um cliente custam o mesmo. Um banco e uma plataforma de conteúdo, com o mesmo mecanismo, deveriam operar em limiares diferentes.
Por isso uma comparação entre fornecedores feita sobre apenas uma das duas cifras não diz nada: qualquer um pode mostrar um FMR muito baixo se não declarar com qual FNMR o obteve.
FMR e FNMR não são FAR e FRR
As quatro siglas aparecem juntas, são usadas como sinônimos e não são. A distinção vale a pena porque muda o que está sendo medido.
- FMR e FNMR descrevem o subsistema de comparação: o que o algoritmo faz quando recebe duas amostras.
- FAR e FRR, taxas de aceitação e de rejeição falsas, descrevem o resultado do sistema completo no contexto de uma decisão: não só a comparação, mas também o que ocorre antes, como capturas que falham ou amostras descartadas por qualidade.
Na prática um sistema pode ter uma comparação excelente e ainda assim rejeitar usuários em volume, porque o problema está na captura, e não no algoritmo. É a diferença que explica por que os números de um relatório de laboratório não coincidem com o que uma equipe mede em produção.
A recomendação operacional é simples: ao ler um dado, confirmar qual das quatro está sendo observada e sobre qual população foi medida. Ao escrever um, dizer isso.
Esses não são os erros da prova de vida
É a confusão com maior consequência prática, porque faz uma equipe acreditar que mediu algo que não mediu.
FMR e FNMR respondem pela semelhança entre duas amostras. Não dizem nada sobre se a amostra veio de uma pessoa real presente no momento da captura.
Essa pergunta é respondida pela prova de vida, que tem métricas próprias, definidas na norma ISO/IEC 30107-3, que são três: APCER, quantos ataques de apresentação passaram; BPCER, quantas apresentações legítimas foram rejeitadas por engano; e IAPMR, quantas apresentações de ataque acabaram produzindo uma coincidência. O teste que as produz se chama PAD.
Um sistema com um FMR baixíssimo e sem controle de presença aceita uma fotografia do titular sem objeções: a comparação funciona perfeitamente, e responde a uma pergunta que o atacante já resolveu.
Perguntas frequentes
FMR é false match rate, a taxa de coincidências falsas: a proporção de comparações entre amostras de pessoas diferentes em que o sistema declara coincidência. É aceitar quem não é. FNMR é false non-match rate, a taxa de não coincidências falsas: a proporção de comparações entre duas amostras da mesma pessoa em que o sistema declara que não coincidem. É rejeitar quem é. As duas descrevem o comportamento do subsistema de comparação.
FMR descreve o subsistema de comparação: o que o algoritmo faz ao comparar duas amostras. FAR, taxa de aceitação falsa, descreve o resultado do sistema completo no contexto de uma decisão, e incorpora o que ocorre antes da comparação, como capturas malsucedidas ou amostras descartadas por qualidade. Por isso os números de um relatório de laboratório e os que uma equipe observa em produção não coincidem: nem sempre estão medindo a mesma coisa.
Não movendo o limiar, que é o que a maioria das equipes tem à mão: subi-lo baixa o FMR e sobe o FNMR, ainda que não na mesma proporção. Melhorar os dois ao mesmo tempo exige mudar outra coisa, como a qualidade da captura, o processo de cadastro ou o próprio algoritmo. A decisão de limiar é uma decisão de negócio, porque define qual dos dois erros a organização está disposta a absorver.
Não. Medem a semelhança entre duas amostras, não se a amostra veio de uma pessoa presente. A prova de vida é medida com as métricas da norma ISO/IEC 30107-3, principalmente APCER e BPCER, em um teste de detecção de ataques de apresentação. São dois controles diferentes com dois testes diferentes, e um sistema pode ter excelentes taxas de comparação e nenhum controle de presença.
