​A criação do 'banco de dados contra terrorismo' traz mais dúvidas que respostas

No dia 5 de dezembro, o Facebook, a Microsoft, o Twitter e o YouTube anunciaram a criação conjunta de um "banco de dados compartilhado" que identificará "conteúdos que fazem apologia ao terrorismo". Cada uma das empresas usará esse banco de dados para identificar "imagens violentas ligadas ao terrorismo ou vídeos de recrutamento de terroristas" em suas plataformas e removê-los de acordo com suas próprias regras.

A tecnologia utilizada por esse banco de dados não é nova. A recém-anunciada parceria foi, muito provavelmente, inspirada na forma como essas mesmas empresas combatem a pornografia infantil. Mas o uso dessa tecnologia no combate ao "conteúdo terrorista" levanta uma série de questões. A quem cabe decidir o que é ou não apologia ao terrorismo? Seria essa tecnologia, utilizada tradicionalmente no combate à pornografia infantil, capaz de resolver o problema da propaganda terrorista? E mais: existe um problema a ser resolvido? Quatro empresas de tecnologia podem ter decidido desenvolver um sistema de censura e hiper-vigilância com base em uma falsa narrativa sobre a radicalização nos meios digitais.

Como a indústria da tecnologia criou um sistema de detecção de pornografia infantil

Várias empresas — entre elas a Verizon, que oferece, por exemplo, um serviço de backup de arquivos — usam um banco de dados mantido pelo Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC na sigla original) para identificar casos de pornografia infantil. Quando essas empresas encontram alguma correspondência entre dados, elas entram em contato com o NCMEC, que em seguida repassa essas informações para a polícia.

Esse banco de dados não contém imagens, mas sim hashes — impressões digitais cibernéticas utilizadas para identificar arquivos. Isso significa que as empresas podem averiguar seus servidores sem "olhar" os arquivos de seus clientes. Graças ao PhotoDNA, uma tecnologia desenvolvida pela Microsoft, os hashes são criados com base em informações biométricas inerentes a cada foto ou vídeo, o que significa que recortar ou redimensionar um arquivo não altera seu hash.

O comunicado lançado no dia 5 marca a primeira vez em que essa tecnologia foi proposta como uma ferramenta no combate ao "conteúdo pró-terrorismo". A combinação é, no mínimo, curiosa. O sistema de correspondência de hashes (também conhecido como hashing)satisfaz vários aspectos da luta contra a pornografia infantil. Em primeiro lugar, o sistema permite que empresas façam uma varredura em seus arquivos sem acessar nenhum arquivo não-correspondente — ou, em outras palavras, sem invadir a privacidade de nenhum cliente, com exceção daqueles em posse de pornografia infantil. O sistema também oferece uma forma de identificar a pornografia infantil sem que ninguém seja obrigado a olhar para essas imagens — o ato de ver imagens de crianças em situações sexuais pode ser traumático para os funcionários encarregados de policiar o conteúdo dessas plataformas.

Usando o hashing no combate ao terrorismo

Nenhuma das vantagens característiscas ao hashing é particularmente útil quando se trata da identificação de "conteúdo terrorista" — especialmente considerando que a parceria parece ter como foco a análise do conteúdo publicado em redes sociais (perguntei ao Facebook se o sistema de hashing seria utilizado para analisar as mensagens privadas trocadas entre usuários, mas até o fechamento dessa matéria não obtive nenhuma resposta). Além disso, as empresas afirmaram que os agentes responsáveis por esse monitoramento terão acesso ao conteúdo antes que ele seja retirado do ar. O comunicado sugere que, ao contrário do que acontece no combate à pornografia infantil, as correspondências não serão automaticamente encaminhadas para órgãos policiais.

Uma das vantagens do banco de dados utilizado no combate à pornografia infantil é que ele é coordenado por um único órgão, que é chefiado por funcionários com experiência no combate a esse tipo de conteúdo — isto é, o NCMEC. O banco de dados de "conteúdo terrorista", por sua vez, será formado por hashes adicionados por cada uma dessas empresas, todas elas com regras e políticas específicas.

O Facebook, por exemplo, apaga "conteúdos que fazem apologia" a grupos ligados ao terrorismo ou ao crime organizado. Até mesmo "apoiar ou elogiar líderes dessas mesmas organizações, ou tolerar suas atividades violentas" é proibido na rede social. Logo, um vídeo que elogia o Estado Islâmico pode ser removido do Facebook, e o funcionário da companhia ou agente terceirizado que o removeu pode decidir marcá-lo, adicionando seu hash ao banco de dados compartilhado. No fim, o banco de dados irá bloquear esse mesmo vídeo sempre que ele for postado no YouTube.

No entanto, a política anti-terrorismo do YouTube é diferente — ela proíbe vídeos de recrutamento e outros conteúdos que façam apologia à violência. Em teoria, o mesmo vídeo poderia ser removido do Facebook e passar incólume no YouTube. Além disso, a presença de um arquivo na banco de dados não implica em sua retirada imediata.

O Facebook, o Twitter e o YouTube já receberam críticas contundentes em relação à aplicação inconsistente e aleatória de suas regras, seja em relação à nudez, assédio ou violação de direitos autorais. Portanto, a promessa de identificar "conteúdos pró-terrorismo" levanta muitas questões.

Um vídeo de um cara mascarado decapitando um jornalista americano parece um caso muito óbvio, mas o mundo não pode ser dividido entre Estado Islâmico e anti-Estado Islâmico. Apesar de ser um partido político de relevância na Palestina, o Hamas é considerado uma organização terrorista por diversos países, entre eles os Estados Unidos. O Partido dos Trabalhadores do Curdistão (conhecido como PKK, sigla para Partiya Karkerên Kurdistanê) também é reconhecido como uma organização terrorista pelos Estados Unidos, mesmo após os EUA ter prestado apoio aéreo às suas tropas em combates contra o Estado Islâmico.

Se nem mesmo o Departamento de Estado dos EUA pode afirmar quem é ou não terrorista, seria uma boa ideia dar esse poder de decisão a empresas que tem algum problema muito sério com mamilos humanos?

Essas questões não são pura especulação — uma prova disso é o fato do Facebook ter sido criticado por sua aparente censura a jornalistas palestinos.

Especialistas temem que a forma sensacionalista com que a sociedade e a mídia lidam com o terrorismo, associada ao processo de silenciamento imposto por empresas, possa resultar em uma censura ilegítima. "Para mim, eles construíram um martelo e estão pedindo para que o mundo comece a achar pregos", disse Andy Sellars, diretor da Clínica de Lei Digital e Tecnologia da Universidade de Boston / MIT. "Esse sistema incentiva o excesso de denúncias."

Embora o comunicado ressalte que o banco de dados só servirá para identificar tais conteúdos e que a remoção não será automática, Sellars diz que não imagina um mundo no qual empresas de tecnologias hesitariam em banir materiais identificados como "pró-terrorismo".

Além disso, a identificação de materiais pró-terrorismo com base em hashes tem como foco o conteúdo de uma postagem, não seu contexto ou mensagem. Sellars enfatizou que a pornografia infantil "é o único caso em que, por definição, a mídia já é em si um crime". Um vídeo de recrutamento do Estado Islâmico, por outro lado, muda de significado quando compartilhado por um jornalista ou por cientistas sociais que estudam o extremismo.

Outros compartilham dessa opinião. Hugh Handeyside, um advogado da União Americana pelas Liberdades Civis (ACLU, na sigla original) afirmou que "esse tipo de sistema de hashing tem sido utilizado para identificar pornografia infantil, mas não é possível comparar com o que chamamos de conteúdo terrorista. O primeiro é sempre ilegal, enquanto o segundo pode ser parte de uma notícia".

Em uma entrevista para a On the Media dada em janeiro deste ano, John Horgan, professor de psicologia da Universidade do Estado da Geórgia especialista em comportamento terrorista, disse que a pedofilia e o terrorismo são consideravelmente diferentes. "Não sabemos onde o envolvimento com o terrorismo começa. O terrorismo pode ser qualquer coisa: desde o acesso a sites terroristas e doações feitas a sites suspeitos, até atividades mais extremas como viajar para outro país para se tornar um combatente ou construir bombas", disse. (Entrei em contato com Horgan a fim de conseguir mais informações sobre o tema, mas ele só retornou meus emails após o fechamento dessa matéria).

O "conteúdo pró-terrorismo" gera mais terrorismo?

Tecnologias criadas para combater a pornografia infantil podem ser uma má escolha para o combate ao "conteúdo pró-terrorismo" — mas o mais preocupante é que não sabemos se os conteúdos extremistas têm um grande papel na radicalização de terroristas. Na verdade, muitos indícios apontam o contrário.

Handeyside, da ACLU, disse que "as definições de conteúdo terrorista são muitas vezes baseadas em teorias sobre radicalização e violência refutadas por pesquisas e estudos".

Horgan também possui sua reserva de críticas à narrativa da radicalização online. Ele afirma que não há um perfil único de terrorista, tampouco uma explicação única para o terrorismo. Na realidade, tudo indica que a "radicalização" pode ser uma parte irrelevante desse processo.

"Existem cada vez mais evidências de que as pessoas envolvidas com movimentos terroristas não possuem, necessariamente, opiniões radicais. Pelo menos não desde o princípio", disse Horgan em janeiro. "Em muitos casos, temos o desenvolvimento de opiniões radicais como resultado do contato com um grupo terrorista. Muitos dos meus entrevistados disseram coisas como: 'Eu não entendi porque havia me envolvido com esse movimento até ser preso'".

O Estado Islâmico é muito ativo nas redes sociais, e sua presença em plataformas criadas por empresas americanas pode ser alarmante para aqueles que se sentem muito alheios aos atuais conflitos internacionais. Mas a presença do grupo extremista islâmico nas redes sociais não tem, necessariamente, efeito sobre o mundo real.

Horgan disse também que até mesmo o Estado Islâmico admite que o envolvimento de grande parte de seus apoiadores limita-se à esfera digital. "Um de nossos pesquisadores, Charlie Winter, encontrou reclamações de mulheres combatentes sobre os simpatizantes americanos, coisas do tipo: 'Como vocês ousam gastar todo seu tempo na internet. Vocês precisam levantar a bunda da cadeira, vir até aqui e lutar ao nosso lado'".

Como os órgãos policiais podem tomar proveito desse banco de dados?

O comunicado divulgado no dia 5 insinua que as empresas participantes não darão ao governo a permissão de analisar suas plataformas com base no banco de dados de hash.

"Nenhuma informação pessoal será compartilhada… E cada empresa irá analisar de forma transparente quaisquer solicitações do governo", afirma o comunicado. No entanto, ele não afirma explicitamente que as empresas não irão, por exemplo, respeitar uma ordem redigida com base na Lei de Vigilância de Inteligência Estrangeira (FISA, na sigla original), semelhante à que obrigou o Yahoo a construir um sistema que fiscaliza os emails de todos seus clientes.

Em relação a esse caso, uma fonte anônima disse ao The New York Times que o governo estaria analisando os emails dos usuários do Yahoo em busca de uma "assinatura digital" ligada a um "método de comunicação usado por uma organização terrorista patrocinada por um Estado estrangeiro". Ainda não se sabe se o mandado da FISA se referia de fato a um hash (outras fontes disseram à Motherboard que a descrição dada ao Times estava errada, e que a ferramenta de verificação do Yahoo é mais parecida com um rootkit, um tipo de software que esconde a presença de malwares em um sistema).

Tanto o Facebook quanto o Google já foram criticados por permitir que a Agência de Segurança Nacional tivesse acesso a dados de seus usuários por meio do programa PRISM, como indicado nos documentos vazados por Snowden. Após a repercussão negativa causada pela divulgação desses documentos, muitas empresas de tecnologia ficaram mais cuidadosas quando o assunto é cooperar com o governo americano — uma reação conhecida como "efeito Snowden".

Mas mesmo que as empresas não possam compartilhar essas informações sem uma ordem judicial, nada impede que o governo emita uma ordem judicial que dê a ele acesso ao recém-criado banco de dados e seus mecanismos de fiscalização.

Sellars e outros advogados familiarizados com a lei de vigilância eletrônica afirmam que um mandado que exigisse, por exemplo, que todo o Facebook fosse vasculhado em busca de uma imagem, seria recusado por falta de "especificidade"— uma exigência da quarta emenda da constituição americana, que proíbe buscas e apreensões arbitrárias. Entretanto, um mandado da FISA não funciona da mesma forma. A Fundação Fronteira Eletrônica afirma que mandados do tipo são inconstitucionais e que existe um debate quanto à possibilidade da FISA ou de qualquer outra lei legitimar a ordem emitida no caso do Yahoo. Todavia, esse caso e outros em andamento criam precedentes alarmantes para as futuras decisões dos tribunais.

"A capacidade de transferir essa ideia de um contexto de fiscalização de plataformas digitais para um contexto de sistema de vigilância talvez seja a parte mais assustadora dessa história", disse Sellars. Ainda não se sabe se — e em que medida — o governo pode apropriar-se da tecnologia criada pelo Vale do Silício. Não está claro se a lei permite que agências de inteligência ou órgãos policiais vasculhem as redes sociais em busca de imagens ou vídeos específicos. Por enquanto sabemos apenas que essa tecnologia não somente é tecnicamente viável, mas também que quatro das maiores empresas de tecnologia se uniram para garantir sua criação.

Tradução: Ananda Pieratti