Haoran SUN soutient sa thèse de doctorat le mercredi 18 novembre 2026, 15h, Université d’Évry Site Pelvoux, amphithéâtre Yasmina Bestaoui Bx30. La soutenance sera suivie d’un pot, auquel vous êtes toutes et tous conviés.
Titre : Model-based, Hybrid, and Learning-based Methods for Audio Effect Inversion.
Résumé
Les effets audio sont utilisés dans la production musicale et la postproduction, mais la reconstruction d’un signal audio non traité à partir d’observations traitées reste difficile. L’inversion des effets audio peut constituer un problème mal posé, car le traitement peut atténuer ou supprimer des informations nécessaires à la récupération du signal d’origine. Différentes configurations de paramètres peuvent produire des observations similaires, ce qui rend difficile l’identification des paramètres sous-jacents de l’effet. Cette thèse étudie l’inversion des effets audio selon différents niveaux de connaissance du processus direct, depuis une reconstruction fondée sur un modèle dont la structure est connue jusqu’à une inversion apprise ne nécessitant pas de paramètres explicites de l’effet.
La partie principale de cette thèse porte sur le contrôle de la plage dynamique (Dynamic Range Control, DRC) à action directe, pour la compression et l’expansion. Un modèle d’inversion est développé avec une sélection explicite des branches et des phases, ainsi que des critères portant sur le résidu et l’admissibilité de la racine numérique. La formulation analyse le conditionnement numérique, la sensibilité aux paramètres et la limite correspondant au fonctionnement en porte de bruit dans le cas de l’expansion. Lorsque les paramètres du DRC sont inconnus, un Audio Spectrogram Transformer (AST) identifie des configurations complètes au sein de dictionnaires finis de profils, tandis qu’un Music Effects Encoder (MEE) estime six paramètres soumis à des bornes. Une approche complémentaire en boîte noire explore l’espace des paramètres en comparant les signaux reconstruits à des caractéristiques extraites d’un signal audio non traité de référence. Ces différentes sources de paramètres sont ensuite utilisées par le même modèle d’inversion, ce qui permet d’étudier leur influence sur la reconstruction du signal non traité dans un cadre commun.
Les expériences portent sur l’inversion du DRC avec modèle apparié, l’estimation des paramètres, des configurations de paramètres non observées lors de l’apprentissage, les exigences computationnelles ainsi que les différences structurelles entre plusieurs implémentations du processeur. Les résultats montrent que la précision de l’estimation des paramètres et la qualité de reconstruction ne sont pas nécessairement corrélées, et que les erreurs affectant les différents paramètres du DRC n’ont pas la même influence sur le signal reconstruit. La comparaison des solveurs numériques souligne en outre l’importance de prendre simultanément en compte la précision de reconstruction et l’efficacité de calcul. Les expériences menées avec compand de SoX montrent que les différences entre la structure supposée du processeur et sa structure réelle peuvent rester une source importante d’erreur de reconstruction, même lorsque leurs paramètres nominaux sont alignés.
Cette thèse étend l’inversion des effets audio au-delà du DRC au moyen d’un cadre de bout en bout fondé sur le conditional flow matching. Le modèle combine la reconnaissance de l’effet, un autoencodeur continu de formes d’onde et un champ vectoriel conditionnel partagé pour reconstruire le signal audio non traité à partir d’exemples neutres ou soumis à un DRC, à de la réverbération, à une égalisation paramétrique ou à de l’écrêtage. Les paramètres continus des effets ne sont pas nécessaires lors de l’inférence. Cette extension fournit un cadre commun d’apprentissage pour la reconstruction d’effets reposant sur des structures directes différentes et complète les approches fondées sur un modèle et guidées par l’estimation des paramètres développées pour le DRC. Cette thèse montre que l’inversion des effets audio peut bénéficier d’une combinaison entre la connaissance explicite du processeur, l’estimation de ses paramètres et la reconstruction apprise, en fonction des informations disponibles sur le processus direct.
Composition du jury de thèse
| Membre du jury | Titre | Lieu d’exercice | Fonction dans le jury |
|---|---|---|---|
| Mathieu LAGRANGE | Directeur de Recherche CNRS | LS2N, Nantes Université | Rapporteur |
| Sylvain MARCHAND | Professeur des Universités | L3i, La Rochelle Université | Rapporteur |
| Naïma AÏT OUFROUKH | Maître de Conférences HDR | IBISC, Université Évry Paris-Saclay | Examinatrice |
| Gaël RICHARD | Professeur | LTCI, Télécom Paris | Examinateur |
| Dominique FOURER | Maître de Conférences | IBISC, Université Évry Paris-Saclay | Directeur de thèse |
| Hichem MAAREF | Professeur des Universités | IBISC, Université Évry Paris-Saclay | Co-directeur de thèse |
Haoran SUN will defend his doctoral thesis on Wednesday, November 18, 2026, at 3 p.m., at the University of Évry, Pelvoux Campus, Yasmina Bestaoui Amphitheater Bx30. The defense will be followed by a reception, to which you are all warmly invited.
Title : Model-based, Hybrid, and Learning-based Methods for Audio Effect Inversion.
Abstract
Audio effects are widely used in music production and post-processing, but recovering dry audio from processed observations remains challenging. Audio effect inversion can be ill posed because processing may suppress or discard information required to recover the original signal. In addition, different parameter settings can produce similar observations, making the underlying effect parameters difficult to identify. This thesis studies audio effect inversion under different levels of knowledge about the forward processor, from model-based reconstruction with known processor structure to learned inversion without explicit effect parameters.
The main part of the thesis focuses on feedforward Dynamic Range Control (DRC), covering compression and expansion. A model-based inverse is developed with explicit branch and phase selection, together with residual and admissibility checks for the numerical root. The formulation also analyzes numerical conditioning, parameter sensitivity, and the noise-gate limit of expansion. When the DRC parameters are unknown, an Audio Spectrogram Transformer (AST) identifies complete configurations from finite profile dictionaries, while a Music Effects Encoder (MEE) estimates six bounded parameters. A complementary black-box approach searches the parameter space by comparing reconstructed signals with dry-reference audio features. These parameter sources are passed to the same model-based inverse, allowing their effect on dry-signal reconstruction to be studied under a common framework.
The experiments examine matched DRC inversion, parameter estimation, unseen parameter configurations, computational requirements, and structural mismatch between different processor implementations. They show that parameter accuracy and reconstruction quality are not necessarily aligned, and that errors in different DRC parameters have different effects on the reconstructed signal. The comparison of numerical solvers further shows the importance of combining reconstruction accuracy with computational efficiency. Experiments with SoX compand demonstrate that differences between the assumed and actual processor structures can remain an important source of reconstruction error even when their nominal parameters are aligned.
The thesis further extends audio effect inversion beyond DRC through an end-to-end conditional flow-matching framework. The model combines effect recognition, a continuous waveform autoencoder, and a shared conditional vector field to reconstruct dry audio from neutral, DRC, reverberation, parametric equalization, and clipping examples. Effect parameters are not required at inference. This extension provides a common learned reconstruction framework for effects with different forward structures and complements the model-based and parameter-guided approaches developed for DRC. Overall, the thesis shows that audio effect inversion can benefit from combining explicit processor knowledge, parameter estimation, and learned reconstruction according to the information available about the forward process.
Examination committee
| Jury member | Title | Institution | Role in the jury |
|---|---|---|---|
| Mathieu LAGRANGE | CNRS Research Director | LS2N, Nantes Université | Reviewer |
| Sylvain MARCHAND | Full Professor | L3i, La Rochelle Université | Reviewer |
| Naïma AÏT OUFROUKH | Associate Professor (HDR) | IBISC, Université Évry Paris-Saclay | Examiner |
| Gaël RICHARD | Full Professor | LTCI, Télécom Paris | Examiner |
| Dominique FOURER | Associate Professor | IBISC, Université Évry Paris-Saclay | Thesis director |
| Hichem MAAREF | Full Professor | IBISC, Université Évry Paris-Saclay | Thesis co-director |
- Date: mercredi 18/11/2026, 15h.
- Lieu: Université d’Évry, Site Pelvoux, Amphithéâtre Yasmina Bestaoui Bx30, 36 rue du Pelvoux, 91080 ÉVRY-COURCOURONNES
- Thèse de doctorat en Sciences du traitement du signal et des images (Université Paris-Saclay)
- Doctorant : Haoran SUN (Université Évry Paris-Saclay, IBISC équipe SIAM)
- Direction de thèse: Dominique FOURER (Directeur de thèse, MCF Univ. Évry, IBISC équipe SIAM), Hichem MAAREF (Co-directeur de thèse, PR Univ. Évry, IBISC équipe SIAM)
