O projeto, batizado de Acoustic Barcodes e desenvolvido em conjunto com Robert Xiao e Scott Hudson, em sua essência é bastante simples: uma série de ranhuras ou segmentos em alto-relevo é raspada com a unha, uma caneta ou um celular.
Essa fricção gera um ruído único e identificável que é captado por um microfone colado à superfície. Por sua vez, esse som é codificado por um software que é capaz de “responder” com mensagens pré-gravadas, imagens e até comandos para um segundo aparelho eletrônico.
Em suma, o seu funcionamento é similar ao de um código de barras tradicional ou de um QR Code, com a diferença de que essa nova tecnologia usa um padrão de sons e não de intersecção de imagens para realizar uma atividade. O conceito pode ser usado em diferentes tipos de materiais, como madeira, vidro, plástico e até pedra.
No vídeo de demonstração e divulgação da tecnologia, são exemplificadas algumas aplicações práticas para ela, incluindo apoio de controle de apresentações para um professor, acionamento de recursos do celular, vitrines que falam o preço dos produtos em exposição e brinquedos educacionais que podem ensinar as crianças o nome de partes de determinado objeto.
