Thèse doctorat : Informatique : Rennes 1 : 2007. / Bibliogr. p. 101-109.

Les systèmes de reconnaissance de la parole sont fondamentalement dérivés des domaines du traitement et de la modélisation statistique des signaux. Depuis quelques années, d'importantes innovations de domaines connexes comme le traitement d'image et les neurosciences computationnelles tardent toutefois à améliorer la performance des systèmes actuels de reconnaissance de parole. La revue de la littérature a suggéré qu'un système de reconnaissance vocale intégrant les aspects de hiérarchie, parcimonie et grandes dimensions joindrait les avantages de chacun. L'objectif général est de comprendre comment l'intégration de tous ces aspects permettrait d'améliorer la robustesse aux bruits additifs d'un système de reconnaissance de la parole. La base de données TI46 (mots isolés, faible-vocabulaire) est utilisée pour effectuer l'apprentissage non-supervisé et les tests de classification. Les différents bruits additifs proviennent de la base de données NOISEX-92, et permettent d'évaluer la robustesse en conditions de bruit réalistes. L'extraction de caractéristiques dans le système proposé est effectuée par des projections linéaires successives sur des bases, permettant de couvrir de plus en plus de contexte temporel et spectral. Diverses méthodes de seuillage permettent de produire une représentation multi-échelle, binaire et parcimonieuse de la parole. Au niveau du dictionnaire de bases, l'apprentissage non-supervisé permet sous certaines conditions l'obtention de bases qui reflètent des caractéristiques phonétiques et syllabiques de la parole, donc visant une représentation par objets d'un signal. L'algorithme d'analyse en composantes indépendantes (ICA) s'est démontré mieux adapté à extraire de telles bases, principalement à cause du critère de réduction de redondance. Les analyses théoriques et expérimentales ont montré comment la parcimonie peut contourner les problèmes de discrimination des distances et d'estimation des densités de probabilité dans des espaces à grandes dimensions. Il est observé qu'un espace de caractéristiques parcimonieux à grandes dimensions peut définir un espace de paramètres (p.ex. modèle statistique) de mêmes propriétés. Ceci réduit la disparité entre les représentations de l'étage d'extraction des caractéristiques et celles de l'étage de classification. De plus, l'étage d'extraction des caractéristiques peut favoriser une réduction de la complexité de l'étage de classification. Un simple classificateur linéaire peut venir compléter un modèle de Markov caché (HMM), joignant une capacité de discrimination accrue à la polyvalence d'une segmentation en états d'un signal. Les résultats montrent que l'architecture développée offr de meilleurs taux de reconnaissance en conditions propres et bruités comparativement à une architecture conventionnelle utilisant les coefficients cepstraux (MFCC) et une machine à vecteurs de support (SVM) comme classificateur discriminant. Contrairement aux techniques de codage de la parole où la transformation doit être inversible, la reconstruction n'est pas importante en reconnaissance de la parole. Cet aspect a justifié la possibilité de réduire considérablement la complexité des espaces de caractéristiques et de paramètres, sans toutefois diminuer le pouvoir de discrimination et la robustesse.

Etant donné le coût élevé qui accompagne, en général, la résolution de problème en grandes dimensions, notamment quand il s'agit de problèmes réels; le recours à des fonctions dite benchmarks et une approche communément utilisée pour l'évaluation d'algorithmes avec un coût minime. Il est alors question de savoir identifier les formes par lesquelles ces problèmes se présentent pour pouvoir les reproduire dans ces benchmarks. Une question dont la réponse est difficile vu la variété de ces problèmes, leur complexité, et la difficulté de tous les décrire pertinemment. L'idée est alors d'examiner les difficultés qui accompagnent généralement ces problème, ceci afin de les reproduire dans les fonctions benchmarks et évaluer la capacité des algorithmes à les résoudre. Dans le cas des problèmes de grandes dimensions, il serait pratique de pouvoir simplement étendre les benchmarks déjà utilisés pour les dimensions moins importantes. Cependant, il est important de prendre en compte les contraintes additionnelles qui accompagnent les problèmes de grandes dimensions, notamment ceux liés à la complexité d'évaluer ces fonctions benchmark. Idéalement, les fonctions benchmark en grandes dimension garderaient la majorité des propriétés de leurs contreparties en dimensions réduite tout en ayant un coût raisonnable. Les problèmes benchmark sont souvent classifiés en catégories suivant les difficultés qu'ils présentent. Même dans un scénario en boîte-noire où ce genre d'information n'est pas partagée avec l'algorithme, il reste important et pertinent d'avoir cette classification. Ceci permet d'identifier les lacunes d'un algorithme vis à vis d'une difficulté en particulier, et donc de plus facilement pouvoir l'améliorer. Une autre question importante à se poser en modélisant des problèmes de grandes dimensions est la pertinence des variables. En effet, quand la dimension est relativement petite, il n'est pas rare de voir toutes les variables contribuer à définir la qualité d'une solution. Cependant, quand la dimension grandit, il arrive souvent que des variables deviennent redondantes voire inutiles; notamment vu la difficulté de trouver une représentation minimaliste du problème. Ce dernier point encourage la conception et d'algorithmes et de fonctions benchmark traitant cette classe de problèmes. Dans cette thèse, on répond, principalement, à trois questions rencontrées dans l'optimisation stochastique continue en grandes dimensions : 1. Comment concevoir une méthode d'adaptation du pas d'une stratégie d'évolution qui, à la fois, est efficace et a un coût en calculs raisonnable ? 2. Comment construire et généraliser des fonctions à faible dimension effective ? 3. Comment étendre un ensemble de fonctions benchmarks pour des cas de grandes dimensions en préservant leurs propriétés sans avoir des caractéristiques qui soient exploitables ? / Because of the generally high computational costs that come with large-scale problems, more so on real world problems, the use of benchmarks is a common practice in algorithm design, algorithm tuning or algorithm choice/evaluation. The question is then the forms in which these real-world problems come. Answering this question is generally hard due to the variety of these problems and the tediousness of describing each of them. Instead, one can investigate the commonly encountered difficulties when solving continuous optimization problems. Once the difficulties identified, one can construct relevant benchmark functions that reproduce these difficulties and allow assessing the ability of algorithms to solve them. In the case of large-scale benchmarking, it would be natural and convenient to build on the work that was already done on smaller dimensions, and be able to extend it to larger ones. When doing so, we must take into account the added constraints that come with a large-scale scenario. We need to be able to reproduce, as much as possible, the effects and properties of any part of the benchmark that needs to be replaced or adapted for large-scales. This is done in order for the new benchmarks to remain relevant. It is common to classify the problems, and thus the benchmarks, according to the difficulties they present and properties they possess. It is true that in a black-box scenario, such information (difficulties, properties...) is supposed unknown to the algorithm. However, in a benchmarking setting, this classification becomes important and allows to better identify and understand the shortcomings of a method, and thus make it easier to improve it or alternatively to switch to a more efficient one (one needs to make sure the algorithms are exploiting this knowledge when solving the problems). Thus the importance of identifying the difficulties and properties of the problems of a benchmarking suite and, in our case, preserving them. One other question that rises particularly when dealing with large-scale problems is the relevance of the decision variables. In a small dimension problem, it is common to have all variable contribute a fair amount to the fitness value of the solution or, at least, to be in a scenario where all variables need to be optimized in order to reach high quality solutions. This is however not always the case in large-scales; with the increasing number of variables, some of them become redundant or groups of variables can be replaced with smaller groups since it is then increasingly difficult to find a minimalistic representation of a problem. This minimalistic representation is sometimes not even desired, for example when it makes the resulting problem more complex and the trade-off with the increase in number of variables is not favorable, or larger numbers of variables and different representations of the same features within a same problem allow a better exploration. This encourages the design of both algorithms and benchmarks for this class of problems, especially if such algorithms can take advantage of the low effective dimensionality of the problems, or, in a complete black-box scenario, cost little to test for it (low effective dimension) and optimize assuming a small effective dimension. In this thesis, we address three questions that generally arise in stochastic continuous black-box optimization and benchmarking in high dimensions: 1. How to design cheap and yet efficient step-size adaptation mechanism for evolution strategies? 2. How to construct and generalize low effective dimension problems? 3. How to extend a low/medium dimension benchmark to large dimensions while remaining computationally reasonable, non-trivial and preserving the properties of the original problem?

Dans cette thèse nous étudions certains designs déterministes pour la régression parcimonieuse. Notre problématique est largement inspirée du " Compressed Sensing " où l'on cherche à acquérir et compresser simultanément un signal de grande taille à partir d'un petit nombre de mesures linéaires. Plus précisément, nous faisons le lien entre l'erreur d'estimation et l'erreur de prédiction des estimateurs classiques (lasso, sélecteur Dantzig et basis pursuit) et la distorsion (qui mesure l'" écart " entre la norme 1 et la norme Euclidienne) du noyau du design considéré. Notre étude montre que toute construction de sous-espaces de faibles distorsions (appelés sous-espaces " presque "- Euclidiens) conduit à de " bons " designs. Dans un second temps, nous nous intéressons aux designs construits à partir de graphes expanseurs déséquilibrés. Nous en établissons de manière précise les performances en termes d'erreur d'estimation et d'erreur de prédiction. Enfin, nous traitons la reconstruction exacte de mesures signées sur la droite réelle. Nous démontrons que tout système de Vandermonde généralisé permet la reconstruction fidèle de n'importe quel vecteur parcimonieux à partir d'un très faible nombre d'observations. Dans une partie indépendante, nous étudions la stabilité de l'inégalité isopérimétrique sur la droite réelle pour des mesures log-concaves.

Thèse doctorat : Informatique : Rennes 1 : 2005. / Bibliogr. p. 153-164.

Le travail de recherche réalisé dans le cadre de cette thèse introduit une nouvelle approche thermomécanique pour la modélisation du procédé de taillage à la fraise-mère et la maitrise de la précision géométrique et la qualité des pièces fabriquées. Le processus de coupe de la génération des dentures des couronnes de grandes dimensions a été simulé pour la prédiction des efforts de coupe. Le calcul de ces efforts s’est basé sur trois phases : une phase de simulation de l’'intersection géométrique entre l'outil et la pièce moyennant une simulation de la cinématique du procédé par le logiciel CATIA, une phase de simulation numérique ALE (Approche Eulérienne-Lagrangienne) 2D de la coupe orthogonale, et une dernière phase dite ‘simulation mécanistique’ qui utilise les résultats des deux premières phases pour la prédiction des efforts de coupe. La présente approche conduit à un modèle de prédiction des efforts de coupe 3D pour le processus de taillage et apparaît comme une alternative intéressante à l'approche classique de la littérature qui nécessite beaucoup d’essais expérimentaux pour déterminer les coefficients spécifiques de coupe caractéristique du matériau usiné. Nous avons également proposé une approche prédictive basée sur une modélisation analytique de l’interaction arête-copeau lors d’une opération de taillage en finition. La démarche proposée présente l'intérêt de s'affranchir des essais d'usinage, souvent longs et couteux, dans le cas de cette opération complexe (gabarit et géométrie des pièces, cinématique, formation de copeau, etc.). Enfin, le modèle proposé a été appliqué pour analyser le taillage des grandes couronnes (plusieurs mètres) en phase de finition / This work introduces a novel approach for a predictive model for hobbing process in order to improve the geometrical accuracy and quality of the manufactured part. An industrial case study of the generation of the teeth was simulated for prediction of effort. The calculation of the cutting forces is based on several steps: tool/part intersection step by means of a kinematic simulation of the process by CATIA, 2D numerical simulation of the process of the orthogonal cutting and finally the last step called ‘mechanistic simulation’ which uses the results of the other two steps for the prediction of cutting forces. This approach leads to model the 3D cutting force for hobbing process and appears as an interesting alternative to traditional mechanistic approach which requires a lot of experimental tests to determine the cutting force coefficients. Besides, we have proposed a predictive approach based on an analytical modeling of chip formation in finishing hobbing operation. The interest of the suggested approach is to be able to avoid machining tests in the case of this very complicated operation (huge dimensional parts, kinematic, chip formation process, etc...). Finally, the proposed model was applied to analyze the hobbing of larges parts (several meters) during finishing stage

Dans certains phénomènes physiques modélisés par des EDP, les coefficients intervenant dans les équations ne sont pas des fonctions déterministes fixées, et dépendent de paramètres qui peuvent varier. Ceci se produit par exemple dans le cadre de la modélisation des écoulements en milieu poreux lorsqu’on décrit le champ de perméabilité par un processus stochastique pour tenir compte de l’incertitude sur ce champs. Dans d’autres cadres, il peut s’agir de paramètres déterministes que l’on cherche à ajuster, par exemple pour optimiser un certain critère sur la solution. La solution u dépend donc non seulement de la variable x d’espace/temps mais aussi d’un vecteur y = (yj) de paramètres potentiellement nombreux, voire en nombre infinis. L’approximation numérique en y de l’application (x,y)-> u(x, y) est donc impossible par les méthodes classiques de type éléments finis, et il faut envisager des approches adaptées aux grandes dimensions. Cette thèse est consacrée à l’étude théorique et l’approximation numérique des EDP paramétriques en grandes dimensions. Pour une large classe d’EDP avec une certaine dépendance anisotrope en les paramètres yj, on étudie de la régularité en y de l’application u et on propose des méthodes d’approximation numérique dont les performances ne subissent pas les détériorations classiquement observées en grande dimension. On cherche en particulier à évaluer la complexité de la classe des solutions {u(y)}, par exemple au sens des épaisseurs de Kolmogorov, afin de comprendre les limites inhérentes des méthodes numériques. On analyse en pratique les propriétés de convergences de diverses méthodes d’approximation avec des polynômes creux. / For certain physical phenomenon that are modelled by PDE, the coefficients intervening in the equations are not fixed deterministic functions, but depend on parameters that may vary.

La technique de frittage flash (communément appelée Spark Plasma Sintering, SPS) suscite un engouement au niveau mondial. Ce procédé permet la densification de poudres à des vitesses généralement 10 à 100 fois plus élevées que celles des techniques de frittage traditionnelles. Il permet la synthèse de matériaux massifs innovants et originaux, à microstructures contrôlées, de formes complexes et de grandes dimensions. Cependant, la maîtrise du changement d’échelle et de l’homogénéité microstructurale des pièces obtenues par ce procédé nécessite une parfaite connaissance technique des équipements de frittage flash pour limiter notamment les gradients thermiques. La modélisation est une aide précieuse pour aboutir à l’amélioration de cette maîtrise. Une autre potentialité de cette technologie, l’assemblage de métaux, sans apport de matière, permet de répondre à des sollicitations industrielles pour lesquelles cette technique offre une solution alternative intéressante aux procédés d’assemblage actuels. Des aspects technologiques restent, toutefois, à maîtriser pour aller vers la réalisation d’assemblages de bonne qualité. / The flash sintering technique (commonly known as spark plasma sintering, SPS) generates a craze worldwide. This process allows a powder densification from speeds generally 10 to 100 times higher than those of the traditional sintering techniques. In addition, this allows the synthesis of innovative and original dense materials, with a controlled microstructure, complex shapes and, sometimes large sizes. However, the control of scaling and microstructure homogeneity of parts obtained by such a process requires a perfect knowledge of technical equipment including flash sintering to reduce thermal gradients. Modeling is a valuable aid to achieve the improvement of its control. Another potentiality of this technology, the welding of metal without matter, throught industrial demands offers an attractive alternative method to classical welding methods. Technological aspects remain, however, to master to go towards achieving good multi-materials.

Le défi du BigData entraîne un besoin pour les algorithmes d'apprentissage automatisé de s'adapter aux données de grande dimension et de devenir plus efficace. Récemment, une nouvelle direction de recherche est apparue qui consiste à analyser les méthodes d’apprentissage dans le régime moderne où le nombre n et la dimension p des données sont grands et du même ordre. Par rapport au régime conventionnel où n>>p, le régime avec n,p sont grands et comparables est particulièrement intéressant, car les performances d’apprentissage dans ce régime restent sensibles à l’ajustement des hyperparamètres, ouvrant ainsi une voie à la compréhension et à l’amélioration des techniques d’apprentissage pour ces données de grande dimension.L'approche technique de cette thèse s'appuie sur des outils avancés de statistiques de grande dimension, nous permettant de mener des analyses allant au-delà de l'état de l’art. La première partie de la thèse est consacrée à l'étude de l'apprentissage semi-supervisé sur des grandes données. Motivés par nos résultats théoriques, nous proposons une alternative supérieure à la méthode semi-supervisée de régularisation laplacienne. Les méthodes avec solutions implicites, comme les SVMs et la régression logistique, sont ensuite étudiées sous des modèles de mélanges réalistes, fournissant des détails exhaustifs sur le mécanisme d'apprentissage. Plusieurs conséquences importantes sont ainsi révélées, dont certaines sont même en contradiction avec la croyance commune. / The BigData challenge induces a need for machine learning algorithms to evolve towards large dimensional and more efficient learning engines. Recently, a new direction of research has emerged that consists in analyzing learning methods in the modern regime where the number n and the dimension p of data samples are commensurately large. Compared to the conventional regime where n>>p, the regime with large and comparable n,p is particularly interesting as the learning performance in this regime remains sensitive to the tuning of hyperparameters, thus opening a path into the understanding and improvement of learning techniques for large dimensional datasets.The technical approach employed in this thesis draws on several advanced tools of high dimensional statistics, allowing us to conduct more elaborate analyses beyond the state of the art. The first part of this dissertation is devoted to the study of semi-supervised learning on high dimensional data. Motivated by our theoretical findings, we propose a superior alternative to the standard semi-supervised method of Laplacian regularization. The methods involving implicit optimizations, such as SVMs and logistic regression, are next investigated under realistic mixture models, providing exhaustive details on the learning mechanism. Several important consequences are thus revealed, some of which are even in contradiction with common belief.

Motivée par les récentes avancées dans l'analyse théorique des performances des algorithmes d'apprentissage automatisé, cette thèse s'intéresse à l'analyse de performances et à l'amélioration de la classification nonsupervisée de données et graphes en grande dimension. Spécifiquement, dans la première grande partie de cette thèse, en s'appuyant sur des outils avancés de la théorie des grandes matrices aléatoires, nous analysons les performances de méthodes spectrales sur des modèles de graphes réalistes et denses ainsi que sur des données en grandes dimensions en étudiant notamment les valeurs propres et vecteurs propres des matrices d'affinités de ces données. De nouvelles méthodes améliorées sont proposées sur la base de cette analyse théorique et démontrent à travers de nombreuses simulations que leurs performances sont meilleures comparées aux méthodes de l'état de l'art. Dans la seconde partie de la thèse, nous proposons un nouvel algorithme pour la détection de communautés hétérogènes entre plusieurs couches d'un graphe à plusieurs types d'interaction. Une approche bayésienne variationnelle est utilisée pour approximer la distribution apostériori des variables latentes du modèle. Toutes les méthodes proposées dans cette thèse sont utilisées sur des bases de données synthétiques et sur des données réelles et présentent de meilleures performances en comparaison aux approches standard de classification dans les contextes susmentionnés. / Spurred by recent advances on the theoretical analysis of the performances of the data-driven machine learning algorithms, this thesis tackles the performance analysis and improvement of high dimensional data and graph clustering. Specifically, in the first bigger part of the thesis, using advanced tools from random matrix theory, the performance analysis of spectral methods on dense realistic graph models and on high dimensional kernel random matrices is performed through the study of the eigenvalues and eigenvectors of the similarity matrices characterizing those data. New improved methods are proposed and are shown to outperform state-of-the-art approaches. In a second part, a new algorithm is proposed for the detection of heterogeneous communities from multi-layer graphs using variational Bayes approaches to approximate the posterior distribution of the sought variables. The proposed methods are successfully applied to synthetic benchmarks as well as real-world datasets and are shown to outperform standard approaches to clustering in those specific contexts.