Certificação iBeta

Em resumo

A iBeta é um laboratório de ensaio independente que avalia sistemas de detecção de ataques de apresentação aplicando a metodologia da norma ISO/IEC 30107-3. Seu programa organiza os ensaios em níveis segundo o potencial do ataque: o tempo, a perícia, o equipamento e o custo que exige construir o instrumento.

Se certificar ali não é um selo de marketing. É o resultado de um ensaio executado por alguém que não vende o produto, e é o que distingue uma prova de vida medida de uma prova de vida declarada.

O que faz um laboratório em um ensaio de prova de vida

A mecânica é fácil de explicar e difícil de passar.

• Constrói os instrumentos de ataque. Fotografias impressas, imagens reproduzidas em tela, máscaras e réplicas do rosto, conforme o nível do ensaio.
• Apresenta-os contra o sistema em condições controladas e documentadas, uma apresentação por vez, em uma quantidade definida pelo protocolo.
• Registra o que o sistema fez com cada apresentação, tanto com as de ataque quanto com as legítimas.
• Reporta o resultado com as métricas da norma, que são as que tornam um relatório comparável a outro.

O que torna o ensaio valioso é a combinação das três condições: instrumentos construídos por um terceiro, protocolo público e resultado expresso em métricas padronizadas. Nenhuma das três pode ser fornecida pelo fornecedor sobre o próprio produto.

Os níveis são do programa da iBeta, não da norma

A confusão é constante e vale a pena cortá-la pela raiz: a norma ISO/IEC 30107-3 não define níveis de conformidade. Ela define o método, as métricas e o formato do relatório. Os níveis pertencem ao programa de ensaio do laboratório.

• Nível 1 — o ensaio usa instrumentos de ataque de baixo custo e fácil construção: fotografias impressas, imagens e vídeos reproduzidos em tela, recortes. É o ataque que qualquer um consegue montar com o que tem à mão.
• Nível 2 — o ensaio incorpora instrumentos de maior sofisticação e custo, que exigem materiais, tempo e conhecimento. É o que se aproxima de um atacante com recursos.
• Nível 3 — o laboratório o incorporou depois dos dois anteriores, para instrumentos de alta preparação, como máscaras hiper-realistas feitas sob medida.

Aprovar um nível mais alto não substitui o anterior no sentido de serem escalas diferentes do mesmo ataque: o que muda são os instrumentos. Ao ler um certificado de terceiros, o nível diz contra o que o sistema foi testado, e é o dado que separa duas afirmações que soam iguais.

Um detalhe que vale a pena olhar junto com o nível: a data. A escada do laboratório muda com o tempo, e um certificado foi obtido contra os instrumentos que existiam no dia do ensaio.

O que fica fora do alcance da certificação

Um certificado responde a uma pergunta delimitada. Tratá-lo como uma garantia geral do sistema é o uso incorreto mais comum, e tanto os fornecedores quanto quem os avalia cometem esse erro.

• A injeção de vídeo fica de fora. O alcance da metodologia são os ataques de apresentação, os que ocorrem diante do dispositivo de captura. Um ataque de injeção de vídeo substitui o fluxo antes de chegar à aplicação, sem passar pelo sensor, e nenhum ensaio sob esta metodologia diz algo sobre ele.
• A modalidade ensaiada é a que vale. Um ensaio de prova de vida facial não diz nada sobre a biometria de voz nem sobre impressão digital, ainda que um mesmo fornecedor ofereça várias modalidades.
• A precisão da comparação biométrica não se mede aqui. Os erros de correspondência são FMR e FNMR, e são outro ensaio.
• A versão ensaiada é a que foi certificada. O resultado corresponde a uma versão concreta do produto em uma data concreta, não ao produto para sempre.

Como ler um certificado, incluindo o da VU

Quatro dados transformam um certificado em informação comparável. Se um fornecedor não os publica, é preciso pedi-los.

• Qual laboratório executou o ensaio. "Certificado ISO/IEC 30107-3" sem laboratório nomeado indica contra qual manual se mediu, não quem mediu.
• Qual nível do programa foi aprovado. É o dado que diz contra quais instrumentos o sistema foi ensaiado.
• Em que data. Um resultado de dois anos atrás foi obtido contra instrumentos de ataque de dois anos atrás, e as ferramentas de geração de rostos não pararam no tempo.
• Sobre qual versão do produto. O SDK que foi ensaiado e o que é integrado precisam ser o mesmo, ou o certificado descreve outra coisa.

É um critério que vale a pena aplicar de forma pareja. A VU o publica sobre si mesma pelo mesmo motivo por que recomenda pedi-lo.