Il riconoscimento facciale nel porno è un disastro distopico

Un utente del social network cinese Weibo sostiene di aver usato un software di riconoscimento facciale per collegare foto di donne pubblicate sui social media con i volti estrapolati da video presenti su siti per adulti, come Pornhub.

In un post pubblicato lunedì su Weibo, questo utente, che dice di trovarsi in Germania, ha scritto di essere riuscito "a identificare con successo oltre 100.000 giovani donne," nell'industria del porno "su scala globale."

Per essere chiari, l'utente non ha allegato alcuna prova di aver compiuto davvero questa impresa, né pubblicato codice, database o qualsiasi altro fattore oltre a una pagina GitLab vuota che permetta di verificare le sue parole. Motherboard lo ha contattato via chat su Weibo e lui ha risposto dicendo che pubblicherà "uno schema di database" e "dettagli tecnici" la prossima settimana, senza altri commenti.

Ugualmente, il suo post è diventato virale sia in Cina su Weibo che negli Stati Uniti su Twitter dopo che un candidato al dottorato in scienze politiche di Stanford ha twittato i riferimenti tradotti, che Motherboard ha poi controllato in modo indipendente. La cosa ha spinto attivisti e accademici a discutere le implicazioni potenziali di questa tecnologia.

Stando ai post su Weibo, l'utente e alcuni amici programmatori hanno usato un sistema di riconoscimento facciale per individuare volti dentro a contenuti porno, incrociandoli con foto presenti su piattaforme social. Il motivo che l'ha spinto a creare questo programma, ha scritto, è "avere il diritto di sapere per entrambe le parti del matrimonio." Dopo un'onda di indignazione pubblica, ha poi dichiarato che il suo vero intento era permettere alle donne, con o senza i propri fidanzati, di controllare se sono finite su siti porno e inviare una richiesta di rimozione dell'eventuale video.

"È una cosa orrenda e l'esempio perfetto di come questi sistemi, a livello globale, permettano agli uomini di esercitare il proprio dominio," ha twittato martedì a proposito del presunto progetto Soraya Chemaly, autrice del libro Rage Becomes Her. "Sorveglianza, furto d'identità, estorsione, disinformazione sono tutte cose che succedono prima alle donne e poi si spostano nella sfera pubblica, dove, solo una volta che colpiscono gli uomini, ottengono attenzione."

Che le parole dell'utente di Weibo siano veritiere o meno è irrilevante, se tanto esperti in studi di genere e in machine learning hanno già decretato che questo progetto è una forma di molestia mirata tramite l'uso di algoritmi. L'esistenza stessa di questo tipo di programma è tanto possibile quanto terrificante e ha dato inizio a un dibattito su se uno strumento del genere possa corrispondere a un uso responsabile — legalmente ed eticamente — dell'intelligenza artificiale.

Esattamente come è stato con i deepfake — che usavano la IA per sostituire i volti di celebrità donne sui corpi di performer dell'industria pornografica — l'uso del machine learning per controllare e manipolare l'autonomia del corpo delle donne dimostra una misoginia profonda. Non è certo una minaccia iniziata con i deepfake, ma con quella tecnologia ha potuto raggiungere una sfera pubblica — nonostante negli anni seguenti le donne siano state escluse dalla narrativa dominante, che si è concentrata piuttosto sulla capacità della tecnologia di diffondere disinformazione.

Anche Danielle Citron, professoressa di legge all'Università del Maryland che ha studiato le conseguenze sul lungo termine dei deepfake, ha pubblicato un tweet a proposito del post su Weibo. "È un idea terribilmente nociva — la sorveglianza e il controllo dei corpi delle donne ha toccato un nuovo fondo," ha scritto.

Cioè che l'utente sostiene di aver fatto è teoricamente possibile per qualcuno con a disposizione una buona conoscenza di machine learning e di programmazione, tempo e potenza di calcolo — per quanto sarebbe uno sforzo enorme senza garanzie di qualità.

L'abilità di creare un database di facce come questo e impiegare il riconoscimento facciale per colpire ed esporre le donne contenute al suo interno, è alla portata tecnologica di persone non particolarmente specializzate da tempo.

Nel 2017, Pornhub ha annunciato con orgoglio l'implementazione di un sistema di riconoscimento facciale che — a detta dell'azienda — avrebbe reso più facile per gli utenti trovare le proprie star preferite — e, collateralmente, almeno in linea teorica, più facile per aggressori o molestatori trovare le proprie vittime. Come ho scritto ai tempi:

Nel 2018, gruppi di troll online hanno iniziato a compilare database di sex worker, con l'obiettivo di minacciarle ed esporle. Questa campagna violenza ha avuto conseguenze nella vita reale e ad alcune sex worker sono stati bloccati processori di pagamento e piattaforme social.

Ciò che questo programmatore su Weibo sostiene di aver creato è una combinazione di entrambe le idee: un tentativo misogino e violento di controllare le donne. Che sia reale o no, è esemplificativo del sentiero cupo su cui la tecnologa di machine learning — e parte della tossica cultura che la circonda — ci sta portando.

Jordan Pearson ha contribuito a questo articolo.

Questo articolo è apparso originariamente su VICE US.