Quando assistimos a filmes ou jogamos videogames, os efeitos sonoros adequados podem ajudar a tornar a experiência muito mais realista. A questão é que explorar esse sentido e criar sensações detalhadas em realidade virtual (VR) não é fácil, pois VR não é roteirizada.
É difícil prever que barulhos um objeto pode fazer ou onde eles podem ser ouvidos. Para tornar a experiência sonora mais realista, os engenheiros teriam que criar um grande número de “modelos sonoros” – os equivalentes computadorizados de pré-gravações. Cada modelo de som permitiria que o sistema de VR sintetizasse um determinado som no momento exato em que fosse necessário. Até agora, um conjunto de computadores teria levado muitas horas para criar até mesmo um único modelo de som e, como muitos modelos diferentes seriam necessários para sintetizar diversos sons potenciais diferentes, a criação de sons realistas em ambientes interativos era uma meta distante de ser alcançada.
Mas como a pesquisa não para, cientistas da computação de Stanford inventaram um algoritmo capaz de criar modelos sonoros em segundos, tornando rentável simular sons para muitos objetos diferentes em um ambiente virtual. Quando ocorre uma ação que exige um som, esse novo modelo (KleiPAT – divulgação no vídeo abaixo) pode sintetizar um som tão realista quanto aqueles gerados pelos algoritmos lentos e experimentais do passado.
Algoritmos anteriores para criar modelos sonoros foram baseados no trabalho feito pelo cientista do século XIX, Hermann von Helmholtz, que deu seu nome a uma equação que descreve como os sons se propagam. Com base nessa referência teórica, os cientistas projetaram algoritmos para criar modelos de som 3D: rotinas de software capazes de sintetizar áudio que pareçam realistas porque o volume e a direção do som mudam dependendo de onde a ação ocorre em relação ao ouvinte. Até agora, os melhores algoritmos para criar modelos de sons em 3D dependiam do BEM (boundary element method), um processo lento que era muito caro para uso comercial.
A equipe de pesquisa em Stanford desenvolveu um algoritmo que calcula os modelos de som centenas a milhares de vezes mais rápido, evitando a equação de Helmholtz e o BEM. Sua abordagem é inspirada no compositor austríaco do século XX, Fritz Heinrich Klein, que encontrou uma maneira de misturar um grande número de tons de piano e notas em um som único e agradável, conhecido como o Acorde Mãe. Os cientistas nomearam seu algoritmo KleinPAT de acordo com sua inspiração.