Son 3D : la réalité augmentée va se faire entendre

Ludique et efficace, la réalité augmentée immerge directement le spectateur au coeur des contenus. Tour d’horizon des apports de la réalité augmentée au son.

  • La réalité augmentée au service de la narration

La technologie AR permet d’enrichir la réalité si elle se fait « in situ » via les téléphones mobiles. Elle permet ainsi d’installer un paysage sonore imaginaire, en relation intime avec un lieu. L’application Sur les Bancs diffusée sur France Culture et développée par Gédéon programmes regroupe de courtes fictions que l’on peut écouter in situ sur les bancs publics des jardins parisiens. On scanne le QR code avec son smartphone, on met les écouteurs et on expérimente une conversation assis sur le banc comme si on était au milieu des interlocuteurs.

Apports de la VA et de la VR au son

  • Réalité augmentée et narration
  • Réalité augmentée et acoustique
  • Réalité virtuelle et illusion narrative

Le son 3D permet de créer l’illusion de la présence des personnages au même endroit que l’auditeur qui expérimente des paroles surgissant derrière son épaule. C’est l’effet de réalité augmentée. Entre les bancs, les histoires et les personnages de ces différentes fictions se répondent ce qui incite l’auditeur à parcourir la ville. Ces formats courts, fiction ou documentaire, sont une excellente manière de valoriser le patrimoine d’une ville en faisant appel à notre imaginaire et notre curiosité. Mais le son 3D peut également faire appel à nos sens en augmentant notre expérience d’écoute musicale.

  • La réalité augmentée au service de l’acoustique

La start-up Klang, en Allemagne, est spécialisée en réalité virtuelle acoustique. Elle a mis au point des algorithmes permettant de décupler les ondes musicales dans les oreilles. L’idée première est d’améliorer l’expérience des musiciens sur scène, qui munis d’un casque peuvent réellement écouteur leur musique en 3D alors que d’ordinaire, le plancher, le plafond et les murs de la salle de concert reflètent le son avec un délai différent. Plusieurs artistes ont été conquis par l’expérience à commencer par le groupe de rock américain System of a Down.

source : klang.com
source : klang.com

La start-up souhaite désormais se positionner du côté des auditeurs en développant de nouvelles expériences d’écoute et d’interaction avec la musique.

  • La réalité virtuelle au service de l’illusion narrative

Depuis quelques années, les technologies Immersives (VR et AR) cherchent à réinventer les codes du storytelling. Afin de recréer un univers sonore proche du réel, l’audio 3D transforme trois aspects que notre cerveau mobilise pour se positionner dans l’espace : la variation d’intensité, le décalage temporel, la variation spectrale. Ainsi, un dispositif sonore binaural au coeur d’un ranch me permet d’entendre le bourdonnement d’une abeille de la même manière qu’un cheval l’entend. La technologie du son binaural, quand elle est mobilisée comme élément magique du récit au coeur d’une expérience de réalité immersive, me donne la plaisante illusion qu’on peut éprouver passivement à la place et à la manière d’un autre individu.

Mais le son binaural peut également être la trame d’une expérience introspective. Il permet de mobiliser l’esprit et le corps de ceux qui expérimentent le dispositif. John Hull, un homme qui a perdu la vue en 1983, a décidé d’enregistrer jour après jour les sensations sonores nouvelles qu’il éprouvait. Sa piste audio sert de fil conducteur à une expérience de quinze minutes où le spectateur se retrouve plongé dans l’obscurité : une expérience sensorielle, combinaison du son binaural et d’un graphisme à 360°. Baptisée Notes on blindness : into darkness, cette expérience dans la peau d’un non-voyant est proposée par Arte Creative.

Les présences humaines et l’évocation des choses ne prennent forme qu’au gré des sons. Ceux-ci sont visualisés par des oscillations de lumière bleue. La sensation du vent, modèle, par la seule force du son qu’il produit, la proximité d’un arbre ou d’une balançoire. La cadence des bruits de pas évoque le visage d’un Joggeur ou la course d’un enfant. Le son évoque sans cesse la source visuelle absente, invitant l’imagination de celui qui écoute à la créer à nouveau. Le battement binaural est le fil d’une expérience authentique et personnelle, qui dépasse le moment où je suis plongé dans le dispositif : voilà ce que je sens quand je ne vois pas.

Je peux renouveler l’expérience, elle sera à chaque reprise singulière, ce qui n’est pas le cas du « spectacle immersif ». Le son binaural me permet d’entendre en aveugle, et pas simplement à la place d’un aveugle. Et c’est en cela qu’il bouleverse véritablement les codes traditionnels du récit.

Par Laure Delmoly