Kameras, Gesichtserkennung, KI: So will eine Kleinstadt ihre Schulkinder überwachen

Aus der Power and Privilege Issue. Du willst das VICE Magazine abonnieren? Hier entlang.

In einer Kleinstadt im US-Staat New York haben nicht nur Lehrkräfte die Kinder im Blick. Im neuen Schuljahr soll die Lernenden in Lockport City ein hochmodernes Überwachungssystem begleiten, das täglich ihre Gesichter scannt.

Was nach dystopischer Science-Fiction klingt, könnte in einigen Ländern bald zur verbreiteten Realität werden. In China wird Gesichtserkennung bereits zunehmend zur Überwachung von Kindergärten, Schulen und Universitäten eingesetzt. Firmen in Frankreich und China bieten "Aufmerksamkeitsdetektoren" für Onlinestudierende. Die University of California, San Diego, forscht ebenfalls an Modellen, die mittels Gesichtserkennung und maschinellem Lernen analysieren, wie gut sich Studierende am Unterricht beteiligen. Eine Firma in Seattle bietet ein Open-Source-System für Gesichtserkennung an Schulen. Befürworter behaupten, diese Technik mache Lernende schlauer, Lehrkräfte besser und Schulen sicherer. Gegner meinen, derlei Systeme hätten im Klassenzimmer nichts zu suchen; zudem sei nicht einmal belegt, dass sie funktionieren. Viele befürchten, Maschinen könnten den menschlichen Hang zur Diskriminierung von ihren Schöpfern übernehmen.

Sicherheitsfirmen wetteifern in den USA darum, die neue Technik an möglichst viele Schulbezirke zu verkaufen, denn hier gibt es viel Geld zu verdienen. Lockport City, eine konservative Stadt mit 20.000 Einwohnern, machte landesweit Schlagzeilen, als der Fonds für Bildungstechnik des Staats New York dem Schulbezirk vier Millionen Dollar für Überwachungstechnik gewährte. Während andere Schulen sich um Gelder für Computerräume und die Digitalisierung von Büchern bewerben, bat Lockport um Mittel für "neue Kameras und Verkabelung", welche eine "automatisierte Gesichts- und Objekterkennung in Live-Feeds und Überwachungsvideos" ermöglichen, sowie "zusätzliche Überwachungsserver", die das Material speichern und verarbeiten.

Die Technik kommt von der kanadischen Firma SN Technologies Corp. Ihre Überwachungsplattform Aegis enthält Software, die nicht nur Gesichter scannt, sondern auch Waffen erkennt und meldet. Nach den Hunderten "School Shootings", die in den vergangenen Jahren in den USA stattfanden, erhofft sich Lockport City so mehr Sicherheit für Lernende. Beweise, dass die Technik einen Amoklauf verhindern kann, gibt es bisher nicht. KC Flynn, einer der Leiter von SN Technologies, teilt gegenüber Motherboard mit, 20 weitere US-Schulbezirke würden sich für Aegis interessieren. "Sie wollen erst sehen, wie sich das Produkt in Lockport bewährt", sagt Flynn.

Schulen installieren leistungsfähige Kameras, die Gesichter scannen und nach Verdächtigen suchen. Jede Schule entscheidet selbst, welche biometrischen Daten eine Warnung auslösen. Die Daten könnten aus polizeilichen Datenbanken stammen oder auch aus Fotos von Ex-Schülern.

Befürwortern zufolge gewinnen Schulen damit Zeit, auf Eindringlinge zu reagieren, bevor diese ein Verbrechen begehen können. Für Amokläufer an Schulen geht die Logik allerdings nicht auf: Die meisten Täter sind aktuelle Schüler, somit würden ihre Gesichter vermutlich nicht in der Warndatenbank landen.

In Lockport sollen insgesamt 417 neue oder upgedatete Kameras zum Einsatz kommen. Das Schuljahr hat bereits begonnen, das System ist installiert, soll aber erst aktiv werden, wenn der Schulbezirk verbindliche Richtlinien zum Umgang mit den Daten hat. Betroffen sind sechs Grundschulen, eine Middle School, eine Highschool und ein Verwaltungsgebäude.

"Das System ist hochmodern", sagte Robert LiPuma, Technikdirektor des Schulbezirks, im März einer Lokalzeitung. Er hoffe, Lockport könne in Sachen Schulsicherheit ein "Vorbild" sein. Motherboard gegenüber äußerte sich der Bezirk auch auf wiederholte Bitte um einen Kommentar nicht.

Lockports potenzielle Vorreiterfunktion macht dem New Yorker Ableger der gemeinnützigen Bürgerrechtsorganisation American Civil Liberties Union (NYCLU) Sorgen. Inzwischen ist belegt, dass Gesichtserkennungssysteme häufig People of Color benachteiligen. Es ist unklar, welche biometrischen Datenbanken SN Technologies nutzt, um das Aegis-System zu trainieren. Mit Verweis auf den Urheberrechtsschutz ihrer Software gibt die Firma dazu keine Auskünfte. Anwendungen außerhalb von Schulen haben jedenfalls gezeigt, dass die Ausgangsdaten die Genauigkeit eines solchen Systems stark beeinflussen. In einem ACLU-Test matchte etwa das Gesichtserkennungssystem von Amazon 28 US-Kongressabgeordnete – größtenteils People of Color – fälschlicherweise mit Kriminellen aus einer Polizeidatenbank.

Sollte eine Person of Color an einer Schule zu Unrecht als Verbrecher identifiziert werden, kann ein Mensch, der das Sicherheitssystem überwacht, theoretisch noch einschreiten. Doch gerade wenn das Personal Weiß ist, steigt die Gefahr, dass der Fehler übersehen wird. Was nach dem Auslösen einer Warnung passiert, bleibt den Schulen überlassen.

Im August beantragte die NYCLU im Rahmen der öffentlichen Auskunftspflicht Einsicht in die internen Dokumente zu Lockports Überwachungsprogramm. Aus den Hunderten Dateien ging hervor, dass die Behörden im Vorfeld nicht ausreichend mit den Einwohnern der Stadt kommuniziert hatten. Die Dokumente enthielten weder Richtlinien zum Umgang mit den gesammelten Daten noch zu den Datenbanken, mit denen das System gefüttert werden soll. Aus den freigegebenen E-Mails folgerte die NYCLU, Behördenvertreter in Lockport hätten wenig Ahnung vom Umgang mit internen Servern, Schülerdaten und Passwortschutz.

In ihrer Auswertung schrieb die Bürgerrechtsorganisation: "Die ernsthaften Wissenslücken in Bezug auf Cybersicherheit, die aus den Dokumenten hervorgehen, sprechen Bände über die mangelhafte Vorbereitung des Schulbezirks." Auch seien in den herausgegebenen Daten persönliche Informationen zu Lernenden nicht geschwärzt worden.

Die Aegis-Website verspricht, das System könne unter anderem "bekannte Sexualstraftäter und Gangmitglieder" erkennen. Doch wo diese Daten herkommen sollen, erwähnt sie nicht. Schulen sollen Aegis selbst mit den Gesichtern gefährlicher Personen füttern, auch die Speicherdauer der Informationen ist einzelnen Einrichtungen überlassen. Flynn zufolge wird das System nicht speichern, wie einzelne Kinder sich durch die Schule bewegen, sondern ihre Gesichter mit den hinterlegten Daten vergleichen und wieder verwerfen, wenn es keinen Match gibt. Dass eine Schule Aegis nutzen könnte, um Lernende im Alltag zu überwachen, ist jedoch nicht ausgeschlossen.

Die Schulverwaltung von Lockport hat die Datenschutzrichtlinien für das Aegis-System bei einem Treffen am 7. November überarbeitet und wartet bis 5. Dezember auf eine Freigabe, Ablehnung oder Änderungsvorgaben vom Bildungsministerium des Staats New York. Am Fristtag wird die Schulverwaltung womöglich über die Einschaltung des Überwachungssystems abstimmen. Diese Entscheidung wurde bereits einmal aufgeschoben, um die Stellungnahme des New Yorker Bildungsministeriums abzuwarten.

Unter anderem heißt es in den aktualisieriten Datenschutzrichtlinien, Fotos von aktuellen Schülern könnten in Phasen der Suspendierung "oder unter jeglichen anderen Umständen" in die Datenbank der zu beobachtenden Personen gespeist werden.

Jim Shultz hat eine Tochter an der Lockport High School und versucht, andere Eltern gegen die Überwachung zu organisieren. Seiner Meinung nach verletzt das System die Privatsphäre und ist zudem eine verschwenderische Anschaffung für einen Bezirk mit nur 4.500 Schülerinnen und Schülern. Von den 4 Millionen Dollar aus dem Bildungstechnikfonds hat der Bezirk bis dato mehr als 3 Millionen ausgegeben – mehr als 550 Dollar pro Kind. Als Shultz seine Einwände der Schulverwaltung und einem externen Sicherheitsberater mitteilte, habe man ihn nicht ernst genommen, erzählt er gegenüber Motherboard.

Laut Flynn werde in Lockport Sicherheitspersonal die Kamerabilder in einem Überwachungsraum beobachten. Wer an anderen Schulen Zugang zu dem System haben könnte, ist damit nicht geklärt. Die NYCLU kritisiert, die Einwanderungsbehörden könnten die Daten nutzen, um Immigranten ohne Papiere aufzuspüren. So lange nicht bekannt ist, wer Zugang zu den Daten haben wird und wie lange sie gespeichert werden, lassen sich die Risiken nicht einschätzen. Zudem ist bisher unklar, ob einzelne Schüler die Gesichtserkennung verweigern können. In den USA unterliegen biometrische Daten von Schülerinnen und Studierenden jeden Alters dem Family Educational Rights and Privacy Act (FERPA). Dieses Gesetz schützt persönliche Informationen, die Bildungseinrichtungen über Lernende speichern. FERPA greift allerdings nicht, wenn Polizeibehörden statt Schulen das Überwachungssystem kontrollieren.

Kritikerinnen fürchten nicht nur, dass Überwachungsprogramme zu Diskriminierung führen könnten. "Diese Technik signalisiert Kindern, sie wären unberechenbar und potenzielle Verbrecher", sagt Stephanie Coyle, Bildungsberaterin der NYCLU, gegenüber Motherboard. Coyle ist Mitunterzeichnerin eines Protestbriefs an das Bildungsministerium des Staats New York. "Lernende sollen sich an Schulen willkommen fühlen", so Coyle. "Sie sollten nicht daran denken müssen, dass jede ihrer Bewegungen überwacht wird und Behörden womöglich Aufnahmen von ihnen erhalten."

Was aber, wenn Schulen und Universitäten Gesichtserkennung einsetzen, um die Aufmerksamkeit der Lernenden zu analysieren? Weltweit arbeiten Entwickler an Software, die einem "emotionalen Überwachungssystem" gleichkommt.

Ein solches System, Nestor, wird hauptsächlich bei Onlinevorlesungen eingesetzt. Am Ende des Vortrags befragt die Software Lernende zu Inhalten der Lektion, bei denen sie mangelhafte Aufmerksamkeit registriert hat. Die Firma hinter Nestor heißt LCA Group. Ihr CEO Marcel Saucet sagt gegenüber Motherboard: "Du kannst Prüfungen nicht bestehen, wenn du dich nicht zu 200 Prozent konzentrierst."

Befürworter wie Saucet halten Aufmerksamkeitsscanner für eine positive Innovation. "Wir können die Welt der Bildung revolutionieren", sagt er. Studierende an der Pariser Wirtschaftshochschule, wo Nestor sein System testete, mussten beim Lernen ihre Webcams aktivieren. Das gefiel einigen nicht. "Sie wollen nicht bespitzelt werden", sagt Saucet. "Manche haben Angst, aber das wird nichts ändern." Der Einzug der Gesichtserkennung in unseren Alltag ist dem CEO zufolge nicht aufzuhalten. "Alle machen das jetzt", fährt Saucet fort. "Es ist noch neu und schockierend, aber gegen die natürlichen Gesetze der Evolution können wir uns nicht wehren."

Auch auf Motherboard: Mit diesen Technologien werden New Yorker auf Schritt und Tritt überwacht

Diese technischen Entwicklungen haben mit "natürlicher Evolution" allerdings nichts zu tun. Die oftmals Weißen und männlichen Entwickler der Systeme haben, wie alle Menschen, Vorurteile – und bauen diese unbewusst mit ein. Tests zeigen, dass Gesichtsscanner nicht-Weiße Gesichter oft nicht erkennen. Auch belegen Studien, dass Lehrkräfte die Gesichter Schwarzer Lernender häufi ger als wütend wahrnehmen als die von Weißen.

Suresh Venkatasubramanian ist Informatikprofessor an der University of Utah in Salt Lake City. Er beschäftigt sich mit algorithmischen Vorurteilen. Bevor man versuche, die Objektivität emotionaler Überwachung zu beurteilen, seien andere wichtige Fragen zu stellen, sagt er. Etwa zu Kontrolle und Privatsphäre, Eigentumsrechten an den Daten und Speichermethoden. Man müsse noch erforschen, ob Software für solche Anwendungen geeignet ist – und ob es überhaupt Sinn ergibt, "Aufmerksamkeit" zu messen. "Die vielen Warnglocken, die bei mir klingeln, haben nicht einmal mit maschinellem Lernen zu tun", sagt Venkatasubramanian. "Vorurteile in den Algorithmen sind hier noch das kleinste Problem."

Einige Expertinnen hinterfragen, ob Überwachung sich auf etwas schlecht Quantifizierbares wie "Aufmerksamkeit" konzentrieren sollte. Meryl Alper, Dozentin für Kommunikationswissenschaft an der Northeastern University in Boston, merkt an: "Aufmerksamkeit lässt sich am Gesicht allein nur schlecht ablesen." Gerade Lernende mit atypischem Verhalten könnten benachteiligt werden. Studierende mit Autismus etwa, die Augenkontakt mit Dozenten vermeiden oder beim Zuhören nicht stillhalten. Oder Eltern, die online einer Vorlesung lauschen, während sie ihr Kind füttern.

Saucet zufolge sollen derartige Eigenheiten im Laufe der Zeit irrelevant werden. Nestor werde lernen, "Aufmerksamkeit" am Gesicht abzulesen. Selbst wenn sich das bewahrheiten sollte: Noch ist es nicht so weit. Studierende, die in der Trainingsphase der Software aus der algorithmisch vorgesehenen Reihe tanzen, könnten benachteiligt werden. Für das Training muss Nestor außerdem langfristig Zugriff auf die Daten haben. Die Datensammlung der LCA Group reiche aktuell etwa zweieinhalb Jahre zurück, so der Chief Technology Offi cer der Firma, Nicolas Delhaume. "Wenn wir die Studierenden tracken und ihnen helfen wollen", sagt Delhaume, "dann müssen wir die Daten über die gesamte Studiendauer behalten." Die Daten zu Lehrkräften speichere Nestor mindestens zwei Jahre lang.

Jacob Whitehill ist Informatikdozent am Worcester Polytechnic Institute in Massachusetts. 2014 war er Co-Autor eines Papers über die automatische Messung von Aufmerksamkeit bei Lernenden. In der zugehörigen Studie bat man Lehrkräfte, nicht die tatsächliche Aufmerksamkeit der Testperson zu bewerten, sondern einzuschätzen, wie aufmerksam die Person äußerlich wirkt. "So vermeiden wir, dass die Teilnehmer versuchen, Gedanken zu lesen", erklärt Whitehill gegenüber Motherboard. Letztlich fanden Whitehill und seine Co-Autoren keinen Zusammenhang zwischen der wahrgenommenen Aufmerksamkeit der Lernenden und ihren Leistungen.

Venkatasubramanian warnt davor, "alles voreilig mit Technik vollzustopfen" – allerdings ist er überzeugt, maschinelles Lernen könne im Klassenzimmer eine sinnvolle Funktion erfüllen. Etwa wenn Studierende das System selbst kontrollieren, die Rechte an ihren Daten besitzen und selbst entscheiden können, was damit geschehen soll. "Mit genug Fantasie wäre so viel mehr möglich", sagt er.

Nach dem Parkland-Amoklauf diesen Februar organisierten Schülerinnen und Schüler der betroffenen Highschool Demos für strengere Waffengesetze. In Lockport und anderen Städten reagieren die Behörden stattdessen mit mehr Überwachung. "Manche nutzen die Angst der Menschen, um für mehr Empathie und Waffenkontrolle zu werben", sagt der besorgte Vater Jim Shultz. "Aber sie lässt sich auch instrumentalisieren, um Programme wie dieses an Schulen durchzusetzen." Er fürchtet, die übereifrige Suche nach Lösungen schaffe am Ende nur neue Probleme.

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter