FYI.

This story is over 5 years old.

Tecnologia

Com esta aplicação podes fazer música com os olhos

Andreas Refsgaard criou a Eye Conductor, uma aplicação de produção musical que utiliza o reconhecimento facial para traduzir o olhar humano em notas musicais, ou ritmos.

As imagens são cortesia do artista.

Este artigo foi originalmente publicado na nossa plataforma The Creators Project.

Sem mãos e sem qualquer outra capacidade motora é extremamente difícil tocar, ou produzir música, mesmo com software e hardware modernos. Muitos de nós não temos de nos preocupar em viver a vida sem estas capacidades motoras, mas para os que têm algum tipo de incapacidade, a composição musical pode ser muito frustrante.

Publicidade

Por isso, Andreas Refsgaard, desenhador de Interacção e Programação Criativa, criou a Eye Conductor, uma aplicação de produção musical que utiliza o reconhecimento facial para traduzir o olhar humano em notas musicais, ou ritmos, num sequenciador de bateria, ao mesmo tempo que determinados movimentos faciais podem disparar efeitos e modificar oitavas. Com a Eye Conductor, este criador de aplicações holandês espera poder oferecer a quem sofra de algum tipo de incapacidade uma nova forma de criar música.

Refsgaard conta ao The Creators Project que a origem da aplicação remonta aos seus tempos de universidade, numa altura em que tomava conta de um jovem que sofria de distrofia muscular. Enquanto cuidador, Refsgaard actuava basicamente como uma extensão do corpo do rapaz e fazia todas as tarefas físicas que ele não podia levar a cabo.

"Muitas das coisas práticas fazia-as sem pensar, como apanhar coisas, ajudá-lo a vestir a roupa, acender a luz, e por aí fora", explica. "No entanto, ajudá-lo a expressar-se de forma criativa era muito complicado, porque não fazia sentido tocar um instrumento, ou pintar um quadro em nome de outra pessoa. Acho que esta experiência foi muito importante, embora tenha sido há já muito tempo".

Mais recentemente, Refsgaard teve contacto com instalações interactivas de som e, graças à sua experiência anterior, decidiu atirar-se de cabeça à criação de uma ferramenta para ajudar a que todos possam expressar-se musicalmente.

Publicidade

A inspiração veio de um projecto chamado Eye Writer, um sistema de baixo custo de reconhecimento de olhar, desenhado para o artista de graffiti paraplégico TEMPT1. No protótipo utilizou a aplicação de reconhecimento facial FaceOSC, de Kyle McDonal.

Os utilizadores da Eye Conductor podem começar por construir um ritmo de bateria e logo de seguida, sobre esse ritmo, tocar qualquer instrumento que queiram. Podem ainda tocar notas soltas, acordes, ou adicionar um arpejo sincronizado com o ritmo.

Pode utilizar-se o movimento das sobrancelhas para passar por todas as notas, ao mesmo tempo que, abrindo a boca, pode adicionar-se um efeito de delay, reverb ou outro filtro qualquer sobre o instrumento que está a ser tocado. Os diferentes movimentos faciais podem ser ajustados e guardados de acordo com as capacidades pessoais de cada utilizador. A versão actual está pensada para poder ser usada ao vivo e permite a utilização a solo, ou em grupo.

"Trata-se apenas de um protótipo, com o qual pretendo mostrar as possibilidades da tecnologia, mas espero que, no futuro, o possa desenvolver, de forma a juntar-lhe mais capacidades, mais instrumentos e a possibilidade de exportar as composições criadas", salienta Refsgaard. E acrescenta: "Por agora é apenas um instrumento e uma ferramenta para improvisar".

"Acredito que a possibilidade de que uma pessoa possa expressar-se de forma artística, é algo que deveria estar ao alcance de todos, independentemente das suas incapacidades, ou problemas físicos", sublinha. "Por isso quis criar uma solução que funcione no mesmo domínio dos instrumentos tradicionais, algo que dê às pessoas muita liberdade, mas que não dispense a prática, tal como um instrumento normal".

Publicidade

A maioria dos utilizadores que até agora experimentaram o sistema pareceram convencidos, assegura o criador. E, ainda que admita que controlar coisas com os olhos possa tornar-se um pouco cansativo, Resfgaard garante que ninguém pareceu importar-se muito com isso.

Eye Conductor - Play music with eye movements and facial gestures

, de

CIID IDP

, no

Vimeo

.

Aqui podes encontrar outros trabalhos de Andreas Refsgaard.