Die Jungs vom Berliner Studio für interaktives Design schnellebuntebilder sind Meister darin, physische Bewegungen in atemberaubende Visuals zu verwandeln. Mit Momentum haben sie jetzt eine audiovisuelle Installation geschaffen, die den Körper von Tänzern in faszinierende 3D-Modelle verwandelt und ihre Bewegungen über vielfältige Klangstrukturen akustisch ausdrückt.
Sebastian Huber, Robert Pohle und Johannes Timpernagel haben für Momentum über die Programmierumgebung vvvv ein interaktives Framework geschaffen. „Es besteht aus verschiedenen Blöcken mit unterschiedlichen Funktionen, sogenannten Nodes“, erklärt Johannes Timpernagel. „Es gibt zum Beispiel einen Node, der die Kinect ansteuert und aus den Daten ein RGB- und ein Infrarotbild des Tänzers kreiert. Wir haben aus den Daten der Kinect eine Punktwolke erzeugt, die die Tiefe verschiedener Punkte im Raum erfasst.“
Videos by VICE
„Diese Daten haben wir mit einem grafischen Partikelsystem verbunden. Über seine Bewegungen kann der Tänzer diese Partikel in Bewegung versetzen, eine Handbewegung nach rechts schubst sie zum Beispiel nach rechts“, so Timpernagel weiter.
Die visuelle Ebene von Momentum wurde dabei erst im zweiten Entwicklungsabschnitt des Projekts ausgearbeitet. Ursprünglich sollten in der Installation die Körperbewegungen nur mit Sounds verknüpft werden. Die entsprechenden Klänge stammen von der Berliner Klangschmiede kling klang klong. Über die von der Kinect ausgelesenen Datenpunkte kann man im Prinzip den kompletten Körper des Tänzers mit Sound vernetzen. Schnelle Handbewegungen triggern Windgeräusche, hockt sich der Tänzer auf den Boden und macht sich klein, wird ein Low-Cut-Filter auf die Sounds gelegt.
Die Soundlandschaft besteht dabei aus mehreren Schichten. Die erste Schicht bildet ein vorher produzierter Track, der so etwas wie das musikalische Grundgerüst von Momentum darstellt. Alle anderen Schichten werden in Echtzeit aus den Bewegungen des Tänzers generiert. Parameter wie Tonhöhe und Geschwindigkeit lassen sich dabei vom Tänzer interaktiv verändern.
Nachdem schnellbuntebilder also in der Lage waren, aus den Körperbewegungen Daten auszulesen, auf deren Basis man Sounds generieren kann, war die logische Konsequenz, aus denselben Daten auch Visuals zu erzeugen. „Wir hatten die Daten ja sowieso schon. Also konnten wir jetzt auch die Visuals schön machen. Die erste grafische Oberfläche von Momentum war relativ hässlich. Dann haben wir die Daten mit dem Partikelsystem verbunden“, so Johannes Timpernagel gegenüber The Creators Project.
Das Ergebnis ist ein fließendes buntes Wesen in einer virtuellen Realität, wo sich Materie in flüssige Formen auflöst und gemeinsam mit sphärischen Sounds ein synästhetisches Erlebnis geschaffen wird. Wenn euch schon das Video gefällt, stellt euch vor, wie es sein muss, live mit Momentum zu interagieren und seinen eigenen Körper als dynamisches Partikelmodell zu erleben.
MOMENTUM – Behind the screens from schnellebuntebilder on Vimeo.