soundbox/README.md

27 lines
2.6 KiB
Markdown
Raw Permalink Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<!-- vim: set spelllang=fr: -->
# À la recherche des notes originelles
À partir de lenregistrement numérique dune interprétation musicale, est-il possible de reconnaître la séquence de notes qui a été jouée sur les différents instruments utilisés ?
Cette situation sapparente à celle où lon dispose dune image matricielle rendue à partir dune image vectorielle et où lon souhaite retrouver les vecteurs dorigine dont on ne dispose plus — à la différence que nous traitons ici dun signal 1D au lieu de 2D, et dun signal sonore plutôt que visuel qui plus est.
## Excursion sinusoïdale
Simplifions dabord le problème en considérant [un signal composé uniquement de sinusoïdes pures](sounds/synth.wav) (produit par le synthétiseur de fortune quest [ce script Python](generate.py)).
Cela facilite doublement la tâche, puisque non seulement le signal est totalement exempt de bruit, mais en plus les instruments convoqués nont quune seule harmonique.
Une première approche consiste à étudier le spectre du signal en utilisant une [transformation de Fourier](https://fr.wikipedia.org/wiki/Transformation_de_Fourier_discrète) (générée par [ce script Python](fft-graph.py)).
![Spectre du son produit par le synthétiseur](fig/synth-fft.png)
Sur ce spectre peuvent être distinguées les douze notes qui composent le morceau :
_do₂, sol₂, la₂, do₃, mi₃, fa₃, sol₃, la₃, si₃, do₄, re₄, mi₄._
Une information cruciale manque cependant, celle de lévolution du signal dans le temps.
Une façon de lobtenir consiste à découper le signal en courtes fenêtres de temps et dappliquer la transformation de Fourier sur les segments obtenus : cest [la transformée de Fourier à court terme](https://fr.wikipedia.org/wiki/Transform%C3%A9e_de_Fourier_%C3%A0_court_terme).
On obtient ainsi un [sonagramme](https://fr.wikipedia.org/wiki/Sonagramme) qui montre lévolution des fréquences du signal dans le temps (produit par [ce script Python](stft-graph.py)).
![Évolution dans le temps du spectre du son produit par le synthétiseur](fig/synth-stft.png)
Ce sonagramme permet de distinguer clairement les deux parties du morceau, celle jouée par une sinusoïde au dessus de 250 Hz et celle jouée par une onde carrée en dessous de cette fréquence.
On reconnaît également les quatre accords en do majeur joués par la sinusoïde deux fois de suite.
Sur cet exemple simple, la transformée de Fourier à court terme est donc suffisante pour extraire les notes, mais quen est-il dun signal plus complexe ?