O preconceito inerente à tecnologia de reconhecimento facial

Os sistemas de reconhecimento facial estão em todos os lugares: no Facebook, nos aeroportos, nos shoppings. A tendência é que eles sejam cada vez mais utilizados tanto como medida de segurança quanto como forma de reconhecer, por exemplo, clientes fixos de um serviço ou empresa.

Para algumas pessoas, essa tecnologia será uma mudança bem-vinda. O problema é que, como muitos sistemas de reconhecimento facial têm dificuldade em reconhecer rostos não-caucasianos, o recurso é, para muitos, mais um lembrete de que a tecnologia pode ser mais uma forma de exclusão.

Muitas histórias ilustram esse problema: podemos falar da vez em que o algoritmo de reconhecimento de imagem do Google categorizou dois amigos negros como "gorilas" ou da ocasião em que o sistema do Flickr cometeu o mesmo erro ao marcar um homem negro como "animal" e "macaco". Ou quando uma câmera da Nikon, projetada para detectar quando alguém pisca, insistiu que os olhos de uma mulher asiática estavam fechados. Ou talvez quando as webcams da HP detectaram um rosto branco com facilidade, mas apresentaram dificuldades em reconhecer um rosto negro.

Há uma explicação técnica por trás desses problemas. Os algoritmos são treinados para reconhecer feições com base em uma série de rostos. Se o computador não tiver contato com alguém de olho puxado ou pele escura, ele não irá reconhecê-los. Afinal, ninguém lhe ensinou a reconhecer essas características, não é? Para não haver dúvidas: seus criadores não o ensinaram.

O fato de que os algoritmos estão sujeitos a preconceitos e parcialidades está se tornando cada vez mais claro — e algumas pessoas já haviam previsto isso. "Quando você compreende o funcionamento do preconceito sistêmico e o processo de aprendizado automático, você se pergunta se esses computadores estão fazendo escolhas tendenciosas e a resposta é, obviamente, positiva", disse Sorelle Friedler, professora de ciência da computação da Faculdade de Haverford, nos Estados Unidos.

Quando perguntamos para os criadores desses sistemas de reconhecimento facial se eles se preocupam com essas questões, a resposta costuma ser negativa. Moshe Greenshpan, fundador e presidente-executivo da Face-Six, uma empresa que desenvolve recursos do tipo para igrejas e lojas, diz que não se pode exigir uma precisão perfeita desses sistemas. Ele não se preocupa com o que chama de "pequenos problemas" — a exemplo da incapacidade desses sistemas de identificar corretamente pessoas transgêneras.

"Não acho que meus engenheiros — ou engenheiros de outras empresas — tenham um plano secreto que envolva dar mais atenção para uma determinada etnia", disse Greenshpan. "É só uma questão prática."

Greenshpan está, em parte, correto. Nenhuma dessas empresas programa seus sistemas para ignorar pessoas negras ou irritar asiáticos. Especialistas em preconceito algorítmico, como Suresh Venkatasubramanian, professor de ciência da computação da Universidade de Utah, nos EUA, dizem concordar até certo ponto com essa afirmação. "Não acredito que haja desejo consciente de ignorar essas questões", disse. "Acho que eles simplesmente não pensam nisso. Ninguém passa muito tempo pensando sobre privilégio e status; quando você está dentro do padrão, você apenas aceita isso como verdade."

Empresas avaliam erros estatisticamente. Uma taxa de acerto de 95% é, por exemplo, perfeitamente aceitável. Mas esse raciocínio ignora uma questão bem simples: esses 5% estão espalhados aleatoriamente ou eles se concentram num determinado grupo? Caso o sistema erre aleatoriamente, 5% é uma boa taxa de erro. Mas se esses erros acontecem sempre com um determinado grupo, a história é outra.

Um algoritmo pode estar certo 95% das vezes e, ainda assim, não identificar todas os asiáticos dos Estados Unidos. Ou ele pode ter 99% de precisão e, mesmo assim, classificar erroneamente todos os transgêneros do mesmo país. Isso se tornará especialmente problemático quando, por exemplo, a Agência de Fiscalização de Alfândega e Proteção de Fronteiras dos EUA adotar seu novo sistema de biometria.

TSA agent Bramlet told me to get back in the machine as a man or it was going to be a problem.
— Shadi Petosky (@shadipetosky) 21 de setembro de 2015

"O agente de segurança Bramlet me mandou passar pela máquina como homem ou nós teríamos um problema"

Já vimos como esses casos de falhas biométricas podem ser traumáticos. Pessoas transgêneras que passaram por pontos de controle da TSA (sigla em inglês para Administração de Segurança dos Transportes) já compartilharam histórias absurdas sobre o que acontece quando seus dados biométricos não "coincidem" com seu nome social. Shadi Petosky narrou, em sua conta no Twitter, sua detenção no Aeroportos Internacional de Orlando, onde ela afirma que "o agente de segurança Bramlet me mandou passar pela máquina biométrica como homem ou nós teríamos um problema".

Desde então, muitas outras histórias sobre a experiência de "viajar enquanto trans" vieram à tona, revelando o que acontece quando um scan biométrico não está de acordo com a expectativa do agente de segurança do aeroporto. Ano passado, a TSA afirmou que iria parar de usar a palavra "anomalia" para descrever os órgãos genitais de passageiros transgêneros.

Esses erros dos sistemas de reconhecimento facial — o fato deles marcarem você ou seus amigos como gorilas ou macaco ou simplesmente não reconhecerem sua cor de pele — são um lembrete da série de problemas que as pessoas negras enfrentam todos os dias. Um lembrete de que essa tecnologia, esse sistema, não foi criado para você. Ao construí-lo, ninguém te levou em consideração. Mesmo que ninguém tenha feito isso de propósito, ser lembrado constantemente de que você não é o usuário-alvo de um produto é desmoralizante.

Esses exemplos, de acordo com meus entrevistados, são apenas a pontinha do iceberg. Hoje as falhas do reconhecimento facial não incomodam muita gente. Mas, à medida em que essa tecnologia se expande, seus preconceitos se tornam mais preocupantes. "Eu diria que esse é um problema que ainda vai piorar", diz Jonathan Frankle, especialista em tecnologia da Faculdade de Direito de Georgetown, nos EUA. "Esses problemas estão começando a invadir os espaços onde esses sistemas são realmente necessários."Em outras palavras, os problemas começarão a surgir quando bancos, prédios comerciais e aeroportos começarem a adotar esses sistemas.

Mas como as empresas podem resolver isso? Em primeiro lugar, elas têm que admitir que há um problema. E num ramo no qual CEOs não são conhecidos pela sua preocupação com diversidade, isso pode levar um bom tempo. Uma outra opção é contratar pessoas de diferentes perfis: acrescentar mais pessoas à equipe ajuda a prevenir e controlar o preconceito endêmico de um algoritmo.

Existem também soluções tecnológicas. A mais óbvia é alimentar um algoritmo com rostos de todo tipo. No entanto, isso não é tão fácil quanto parece. Pesquisadores de universidades possuem alguns bancos de dados ao seu dispor, muitos deles compostos por fotos de voluntários da própria instituição. Mas empresas não associadas a nenhuma instituição, como a Face-Six, têm que criar seus próprios bancos de dados ou comprar bancos de dados de terceiros.

Outra opção é submeter esse algoritmo a testes. Tanto Venkatasubramanian quanto Sorelle desenvolvem testes cujo objetivo é descobrir preconceitos ocultos em algoritmos. O Instituto Nacional de Padrões e Tecnologia possui um programa que testa a exatidão e a consistência de sistemas de reconhecimento facial. As empresas que decidem passar por esses testes, contudo, devem estar dispostas a encarar as falhas de seus sistemas — e nesse momento, não há nenhum incentivo para que elas façam isso.

O problema do preconceito nos sistemas de reconhecimento facial é talvez um dos mais fáceis de compreender e solucionar: um computador só reconhece os tipos de rostos que lhe foram mostrados. Quando mostramos rostos mais diversos, o computador se torna mais exato e eficaz. Existem, é claro, artistas e ativistas que questionam a própria existência desses sistemas. Mas já que eles existem, devemos ao menos exigir que eles sejam justos.

Tradução: Ananda Pieratti