Réalité virtuelle et augmentée : Dans la peau de Rachmaninov

massivetechnologiesinc.

Une intelligence artificielle a reproduit le jeu pianistique de Rachmaninov dans une animation 3D bluffante de réalisme. Si Sergeï Rachmaninov a atteint la postérité en tant que compositeur, c’est de son vivant en tant qu’interprète qu’il gagnait sa vie.

Une animation 3D plus vraie que nature à partir d’un enregistrement de Rachmaninov

Le logiciel, qui peut reproduire l’attitude d’un pianiste à partir d’une partition ou un audio, nous glisse ici dans la peau de Sergeï Rachmaninov jouant son prélude op.3 no 2. La bande sur laquelle est construite l’animation est un enregistrement du compositeur sur rouleau de piano pneumatique, technologie qui a permis de capter le jeu de Debussy, Scriabine ou Ravel avant que des technologies plus avancées de captations n’existent. Rachmaninov, lui, a bien eu la chance d’enregistrer avec les technologies d’aujourd’hui, bien plus fidèles à l’interprétation initiale du pianiste. Il a notamment gravé une intégrale de ses concertos pour Piano avec l’Orchestre de Philadelphie dirigé par Stokowski, ou encore des œuvres de Chopin ou Scriabine. La vidéo, bluffante de réalisme, reproduit à merveille les mouvements d’un pianiste jusqu’à simuler l’angle de son regard en anticipant la partition.

A lire aussi

 

Pour Rachmaninov, le logiciel génère un pianiste standard avec la particularité d’avoir des immenses mains

Même si visuellement le résultat est parfait, l’intérêt reste limité dans le cas de Rachmaninov. Si voir et entendre Beethoven, Liszt, Chopin ou Rachmaninov, tous connus pour leur virtuosité au piano, est un rêve partagé par beaucoup de mélomanes, un tel système, aussi impressionnant soit-il, ne permettra pas de recréer leurs attitudes et leurs pianismes. Dans le cas de Rachmaninov, l’Intelligence Artificielle génère un pianiste standard ayant la particularité d’avoir les immenses mains du Russe.

 

Le logiciel n’a donc pour l’instant pas vocation à recréer le style d’un pianiste, comme nous pouvons le voir dans la vidéo précédente où Dmitry Shishkin est mis côte-à-côte avec son animation 3D qui ne reproduit pas le jeu si particulier du Russe dans l’étude op.10 no 4 de Chopin, le corps très proche du clavier et la position à plat de ses mains. L’Intelligence Artificielle recrée l’exact tempo, les doigtés et l’intention musicale en seulement quelques secondes à partir d’une partition ou d’un audio, ce qui reste déjà bluffant. On imagine bien que la vidéo de Rachmaninov sert de publicité et de produit d’appel pour l’entreprise Massive Technologies Inc. qui propose déjà une application de réalité augmentée à portée pédagogique en plus de ses concerts virtuels. Cette intelligence artificielle aura donc une utilité pédagogique, mais l’on peut également tout à fait imaginer l’application d’une telle technologie pour le cinéma d’animation compte tenu du réalisme des vidéos.

Rémi Monti

Retrouvez l’actualité du Classique