Una app di face swap molto usata è piena di deepfake porno non consensuali

Su Google Play e nello store di Apple, FaceMagic viene descritta come un’app divertente e inoffensiva per fare face swap, ovvero cambiare i volti presenti nei video con quelli di altre persone. “Vuoi veder ballare una persona amica, un collega o il tuo capo? Oppure vuoi che il tuo viso si trasformi in quello di una celebrità?”, riporta la descrizione, accompagnata da un video dimostrativo con le facce di Robert Downey Jr. e del giocatore di basket Steph Curry.

Tuttavia, sui siti porno gli annunci per FaceMagic hanno descrizioni molto più sinistre. “Crea un porno fake in un secondo grazie all’intelligenza artificiale,” recita una pubblicità—prima di mostrare un video porno di una sex worker con il volto di un’altra donna: un deepfake. “Crealo in un secondo. Ora!” ribadisce.

La natura ambigua di FaceMagic—al contempo una app da usare con gli amici sugli store controllati e regolati, e un’app per la creazione di porno non consensuale sui siti per adulti—conferma le preoccupazioni delle persone più esperte riguardo ai pericoli costituiti da questi programmi. Una situazione degenerata soprattutto da quando gli strumenti per creare deepfake sono stati normalizzati e riconfezionati per adattarli a un pubblico più ampio possibile.

Anche se chi sviluppa le app dice che non sono state create per fabbricare porno non consensuale, di fatto sono in grado di generarlo sin troppo facilmente. FaceMagic sfrutta una falla legale nella policy di Apple e Google relativa alle app e non viola nessuna regola degli store, se non per come si pubblicizza sui siti porno.

Adam Dodge, fondatore di EndTAB, un servizio di supporto alle vittime di molestie, sostiene che pubblicizzare app di deepfake in chiave sessuale su siti porno molto popolari aumenti “radicalmente” la possibilità che si presentino problemi e pericoli. “Mi preoccupa il fatto che queste inserzioni abbattano le poche barriere rimaste a dividere il porno deepfake non consensuale dal pubblico di massa,” specifica. “Simili forme di marketing mirato permettono di non perdere tempo a cercare l’app adatta, ed eliminano il bisogno di avere le competenze necessarie per creare un deepfake.”

Tanto più che FaceMagic non è un software segreto e nascosto, e anzi ha più di un milione di download tra Google Play e Apple, nonché decine di migliaia di recensioni. La descrizione della app non fa menzione di sesso o di porno, ma su Google Play è classificata e flaggata con “contenuti di natura sessuale.” Una recensione afferma poi che i programmatori hanno trovato “un escamotage per fare porno, si sono avvantaggiati di essere tra i pochi a saperlo fare e stanno guadagnando ampi margini di profitto. Furbi.”

Effettivamente, abbiamo trovato le pubblicità porno deepfake di FaceMagic in almeno quattro siti—Spankbang, Rule34.xxx, ImageFap e Iporntoo—e in ognuno di questi casi utilizzavano video porno disponibili gratuitamente. Poi abbiamo anche messo alla prova FaceMagic e avuto conferma che è possibile produrre porno deepfake in pochi secondi.

Chi ne vuole usufruire deve pagare circa 10 euro al mese per avere i crediti necessari a produrre i video. Dopo aver pagato, basta caricare un’immagine con la faccia della persona che si vuole inserire nel porno, nonché il video porno in sé—ed è fatta. Quando si caricano i file, FaceMagic si limita a mostrare una scritta che recita: “Non utilizzare le tue creazioni per fini illeciti.”

Creare o diffondere deepfake malevoli o malintenzionati è una pratica illegale in diverse nazioni e FaceMagic non solo permette di crearli, ma lo fa in un modo considerato all’avanguardia fino a pochissimo tempo fa. Nel 2017, quando i deepfake hanno cominciato a farsi notare, avevano infatti bisogno di centinaia di immagini diverse di un volto per riuscire a inserirlo in un video. Nel 2019, Samsung ha poi sviluppato un metodo per creare deepfake soltanto con un’immagine di un viso, e ora anche FaceMagic ha bisogno solo di un’immagine per funzionare.

“La tecnologia sta migliorando drasticamente e si raffina,” conferma Hany Farid, professore alla Università della California, a Berkeley, nonché esperto forense di immagini. “Ora dispone di una risoluzione più alta e meno glitch, ed è esplosa nel mondo della pornografia.” In effetti, viene ormai usata soprattutto per questo, per deepfake di porno non consensuale, ma almeno fino ad ora non era mai stata pubblicizzata sui siti porno in maniera così problematica e sfacciata.

Non esiste un modo perfetto per evitare che le persone usino questo tipo di tecnologia per scopi abbietti, ma è possibile creare delle apposite “barriere protettive” nelle app. Senza contare che Apple e Google potrebbero costringere suddette app a usare tali barriere proprio per evitare l’utilizzo suggerito dalle pubblicità di FaceMagic sui siti porno.

Ad esempio Reface, un’altra app molto popolare per i deepfake, blocca il caricamento del video se si prova a realizzare un porno deepfake e rimanda un messaggio di errore. “È stato rilevato del contenuto potenzialmente inappropriato,” esplicita. “Ti informiamo che limitiamo i contenuti inappropriati allo scopo di difendere la nostra comunità.”

Gli strumenti automatici per la rilevazione di contenuti pornografici vietati sono tutt’altro che perfetti e possono essere aggirati dall’utenza, mentre il metodo di Reface preclude completamente la possibilità di creare un porno deepfake. Al contrario, FaceMagic non sembra aver nessun tipo di limitazione o di controllo, e gli store non sembrano effettivamente richiederlo.

Apple, contattata per un commento, conferma di non avere regole specifiche per l’utilizzo delle app di deepfake, ma aggiunge che la sezione 1.1 delle linee guida sulle app proibisce “contenuti diffamatori, discriminatori o male intenzionati… in particolar modo quando l’app può umiliare, intimidire o recar danno all’individuo o al gruppo presi di mira.” Tuttavia, FaceMagic continua a essere disponibile sullo store e Apple ha rifiutato di dirci se ha intrapreso qualsivoglia azione contro l’app.

In maniera simile, lo store di Google Play non accetta contenuti né annunci sessualmente espliciti, ma contiene molte e diverse app di deepfake. Quando abbiamo spiegato che alcune pubblicità sessualmente esplicite stanno direzionando molte persone sulla pagina di FaceMagic disponibile sullo store, un portavoce ha riferito che “Le nostre norme e le informative per gli sviluppatori proibiscono alle app l’utilizzo di annunci sessualmente espliciti […]. Quando vengono riscontrate violazioni, prendiamo i provvedimenti opportuni.”

Eppure FaceMagic è ancora disponibile sullo store e Google Play non ha rivelato se ha adottato le adeguate misure nei confronti della app. FaceMagic non ha risposto alle molteplici richieste di commento, se non in una mail dove ha tenuto a precisare quali sono i cicli di fatturazione e pagamento della app—un’informazione che non è mai stata richiesta.

Motherboard ha poi scoperto che chi ha progettato FaceMagic verosimilmente gestisce anche un sito internet che offre lo stesso tipo di servizio di deepfake, sempre per 10 euro al mese. Nonostante il nome diverso, e pur senza avere in apparenza nessun collegamento con FaceMagic, sia il sito che l’app addebitano i costi a DeepArt Limited. (Nel corso della stesura di questo articolo, lo sviluppatore di FaceMagic ha poi cambiato il suo nome sul Play store da DeepArt Limited a Insight Technology LTD.)

Le pubblicità del sito (che non nominiamo per limitarne la reach) presenti su Spankbang.com sono identiche a quelle porno di FaceMagic, fatto salvo il logo e il link d’approdo ovviamente diversi. Il sito in questione appare anche come ads nei risultati di ricerca di Google quando si utilizzano il termine “deepfake” e correlati.

Il sito non promuove esplicitamente l’utilizzo al fine della creazione dei porno deepfake, eppure in prima pagina mostra una demo che permette di scambiare il volto di una famosa modella con quello di una celebre performer porno. Inoltre, contiene un blog con dozzine di post alquanto bizzarri dedicati ai deepfake, alcuni scritti in un inglese sgrammaticato.

Uno dei post è in sostanza una panoramica delle questioni etiche e legali legate alla pornografia deepfake, un altro è una recensione del sito copiata e postata in una delle più grandi comunità di porno deepfake su internet—inclusi link con immagini di porno non consensuale. Un altro post ancora ci mette in guardia dagli aspetti negativi e problematici della tecnologia deepfake, ma alla fine degenera in un testo incoerente, che sembra essere stato generato in maniera automatizzata.

Il sito è anche collegato a una community su Discord dove il presunto admin del canale ha postato porno deepfake, ma è soprattutto frequentato da utenti che stanno disperatamente cercando di cancellare la loro sottoscrizione al servizio. Di solito chiedono direttamente all’amministratore di farlo, oppure si danno consigli tra loro su come bloccare il prelievo del credito da parte di DeepArt Limited. Ogni tanto, a distanza di ore o giorni, l’admin si palesa e comunica che ha cancellato la sottoscrizione come da richiesta—non c’è un modo facile per riuscirci in altro modo.

Dopo che abbiamo contattato Discord per un commento, la piattaforma l’ha rimosso per aver violato i termini del servizio, i quali proibiscono la condivisione di “contenuto sessualmente esplicito che appartiene ad altre persone, senza il loro consenso.” In passato, Discord aveva già rimosso server dedicati ai deepfake.

“Le linee guida della community di Discord proibiscono esplicitamente la promozione o condivisione di materiale intimo di natura non consensuale e investiamo con continuità su misure proattive atte a tenere questo tipo di contenuto lontano dalla nostra piattaforma,” ci spiega un portavoce. “Il nostro team di sicurezza si attiva immediatamente quando veniamo a conoscenza di simili contenuti e opera in vari modi, incluso il ban degli utenti, la chiusura dei server e, quando appropriato, il ricorso alle autorità competenti.”

A causa del modo in cui gli annunci mirati funzionano e operano, se si presentano questi tipi di pubblicità a chi già ha mostrato interesse per il porno deepfake, o ha cliccato direttamente sull’inserzione di un deepfake porno, si può venire a creare un loop infinito nel quale si ricevono ulteriori annunci per ennesimi porno deepfake. “Appena questi sistemi di targeting di contenuti si estendono alle persone potenzialmente interessate all’argomento, si comincia subito a ricevere pubblicità per altre app di face-swap,” conferma Karolina Mania, studiosa di diritto informatico e della rete.

“La disponibilità stessa di queste app e il contesto in cui vengono pubblicizzate evoca un messaggio molto chiaro, che invita a ignorare la legge ed esorta ad agire in un modo che viola l’immagine altrui,” conclude. Dopo che Motherboard negli ultimi anni ha trovato molti deepfake in vari siti porno, alcuni siti hanno aggiunto nelle condizioni generali di utilizzo una serie di regole specifiche contro i deepfake stessi. Noi abbiamo contattato quei siti porno dove abbiamo trovato gli annunci di FaceMagic.

La persona che fa da portavoce a SpankBang ritiene che i deepfake siano rigorosamente vietati sulla loro piattaforma. “Peraltro, quasi tutte le campagne su SpankBang sono gestite da reti pubblicitarie di terze parti, compresi gli ads in questione. Entrambe le app usano reti esterne per esporre le campagne su SpankBang,” dichiara. “Il nostro team interno che si occupa della sicurezza e affidabilità è già stato avvertito della violazione e ha contattato le reti terze per rintracciare e cancellare le campagne pubblicitarie in discussione.”

Rule34.xxx, invece, ritiene che nel suo sito non siano permessi di default i video di deepfake, visto che si tratta di una piattaforma dedicata a contenuti animati e non IRL. “I nostri annunci arrivano da diversi network pubblicitari, è impossibile vederli e tracciarli tutti visto che sono migliaia e sono indirizzati a vari paesi, apparecchi, fusi orari, ecc.,” riporta un portavoce. “Ci aspettiamo che siano le terze parti a controllare ed evitare pubblicità di malintenzionati.”

Questi network pubblicitari sono di fatto gli intermediari tra editori ed inserzionisti, e in effetti spesso gli amministratori dei siti non selezionano direttamente le pubblicità che finiranno sulle loro piattaforme. Abbiamo quindi contattato due di questi network—Clickadilla e Adspyglass—che hanno allestito gli annunci coi porno deepfake, ma non abbiamo ricevuto risposta.

Gli annunci stessi sono in fondo esempi di deepfake non consensuale, visto che usano video per adulti senza il consenso di sex worker e aventi diritto. Proprio per questo, non sono solo prodotti dannosi per le persone i cui volti vengono sfruttati, ma anche per i professionisti del porno il cui lavoro e immagine vengono rubati e utilizzati senza permesso. Motherboard ha contattato due delle persone in questione, che hanno confermato di non aver mai dato il permesso per lo sfruttamento della propria immagine agli sviluppatori.

“Non avevo idea stessero utilizzando questa scena in un annuncio pubblicitario,” sottolinea Ella Hughes, performer. “Non riceviamo pagamenti extra per questi deepfake e non sono per nulla d’accordo con il concetto in sé dello scambio di volto, visto che si corre il rischio venga sfruttato per revenge porn e simili,” ribadisce. Hughes precisa però anche che i diritti della sua immagine appartengono al Vixen Group, che possiede lo studio Blacked per cui lei lavora. Vixen non ha risposto alle nostre richieste di commento.

Inoltre, il problema non riguarda solo i porno “falsificati” ma il fatto di minare alla base la credibilità del settore informatico. Sul sito, gli sviluppatori elencano molti partner per le “soluzioni di settore”, diversi progetti a cui stanno collaborando o che sono stati assunti per completare. Una di queste persone, l’imprenditore fiammingo Tijmen Mulder, ci ha detto di non aver mai lavorato con questa azienda.

“Siamo rimasti in contatto per un progetto che però non è mai stato realizzato. Siamo scioccati dallo scoprire che utilizzano il nostro nome sul sito, nonché informazioni di natura delicata su un progetto rimasto in fase embrionale,” rivela Mulder. “Inoltre, riteniamo che il porno deepfake sia una pratica detestabile e degradante. Sponsorizzare sotto questa luce il servizio dovrebbe squalificare FaceMagic agli occhi di tutti i potenziali partner lavorativi.”

“Questo esercito anonimo e sempre più grosso di creatori di porno deepfake non consensuale, che non pensa di fare niente di male, mi tiene sveglio la notte. Si tratta di violenza contro le donne, né più né meno, una violenza pubblicizzata e sponsorizzata,” rincara Dodge. “Posso solo immaginare quanto possa essere offensivo e debilitante per chi lo subisce. Mi fa ribollire il sangue, più uomini devono interessarsene e parlarne, perché è un fenomeno che colpisce chiunque, non solo le donne. Senza dimenticare che questi annunci corrono il rischio di traumatizzare nuovamente le persone già vittime di violenza sessuale.”

Farid è ben poco ottimista sui possibili cambiamenti nell’uso della tecnologia, anche qualora dovessero essere innescati da eventuali ripercussioni legali e dalla giurisprudenza relativa ai deepfake. La sua reazione preferita rimane quella dell’attrice Scarlett Johansson nel 2018: “Credo sia un’inutile rincorsa al nulla, dal punto di vista legale, soprattutto perché internet è un enorme buco nero che ingoia se stesso.” Farid è preoccupato principalmente dalle persone—chi studia o lavora in accademia—che creano la tecnologia alla base dei deepfake, senza considerare le ripercussioni del loro lavoro.

“Credo che bisognerebbe fare pressione su Apple, Google e tutti gli altri, e credo che bisognerebbe regolare il settore,” spiega Farid. “E credo anche che bisognerebbe fare pressione sugli accademici. Non penso si possa affermare che la tecnologia sia intrinsecamente benigna. Non bisogna solo domandarsi come possiamo realizzare qualcosa, dobbiamo chiederci anche se dobbiamo davvero, davvero concretizzarla. La tecnologia viene spesso trasformata in un’arma utilizzata esattamente come ci si aspetta: per essere sfruttata contro le donne, le minoranze e le persone più vulnerabili.”