A new neural network approach for performing matrix computations is presented. The idea of this approach is to construct a feed-forward neural network (FNN) and then train it by matching a desired set of patterns. The solution of the problem is the converged weight of the FNN. Accordingly, unlike the conventional FNN research that concentrates on external properties (mappings) of the networks, this study concentrates on the internal properties (weights) of the network. The present network is linear and its weights are usually strongly constrained; hence, complicated overlapped network needs to be construct. It should be noticed, however, that the present approach depends highly on the training algorithm of the FNN. Unfortunately, the available training methods; such as, the original Back-propagation (BP) algorithm, encounter many deficiencies when applied to matrix algebra problems; e. g., slow convergence due to improper choice of learning rates (LR). Thus, this study will focus on the development of new efficient and accurate FNN training methods. One improvement suggested to alleviate the problem of LR choice is the use of a line search with steepest descent method; namely, bracketing with golden section method. This provides an optimal LR as training progresses. Another improvement proposed in this study is the use of conjugate gradient (CG) methods to speed up the training process of the neural network. The computational feasibility of these methods is assessed on two matrix problems; namely, the LU-decomposition of both band and square ill-conditioned unsymmetric matrices and the inversion of square ill-conditioned unsymmetric matrices. In this study, two performance indexes have been considered; namely, learning speed and convergence accuracy. Extensive computer simulations have been carried out using the following training methods: steepest descent with line search (SDLS) method, conventional back propagation (BP) algorithm, and conjugate gradient (CG) methods; specifically, Fletcher Reeves conjugate gradient (CGFR) method and Polak Ribiere conjugate gradient (CGPR) method. The performance comparisons between these minimization methods have demonstrated that the CG training methods give better convergence accuracy and are by far the superior with respect to learning time; they offer speed-ups of anything between 3 and 4 over SDLS depending on the severity of the error goal chosen and the size of the problem. Furthermore, when using Powell's restart criteria with the CG methods, the problem of wrong convergence directions usually encountered in pure CG learning methods is alleviated. In general, CG methods with restarts have shown the best performance among all other methods in training the FNN for LU-decomposition and matrix inversion. Consequently, it is concluded that CG methods are good candidates for training FNN of matrix computations, in particular, Polak-Ribidre conjugate gradient method with Powell's restart criteria.

La phase d’apprentissage des méthodes d’apprentissage statistique automatique correspondent à la résolution d’un problème d’optimisation mathématique dont la fonction objectif se décompose en deux parties: a) le risque empirique, construit à partir d’une fonction de perte, dont la forme est déterminée par la métrique de performance et les hypothèses sur le bruit; b) la pénalité de régularisation, construite a partir d’une norme ou fonction jauge, dont la structure est déterminée par l’information à priori disponible sur le problème a résoudre.Les fonctions de perte usuelles, comme la fonction de perte charnière pour la classification supervisée binaire, ainsi que les fonctions de perte plus avancées comme celle pour la classification supervisée avec possibilité d’abstention, sont non-différentiables. Les pénalités de régularisation comme la norme l1 (vectorielle), ainsi que la norme nucléaire (matricielle), sont également non- différentiables. Cependant, les algorithmes d’optimisation numériques les plus simples, comme l’algorithme de sous-gradient ou les méthodes de faisceaux, ne tirent pas profit de la structure composite de l’objectif. Le but de cette thèse est d’étudier les problèmes d’apprentissage doublement non-différentiables (perte non- différentiable et régularisation non-différentiable), ainsi que les algorithmes d’optimisation numérique qui sont en mesure de bénéficier de cette structure composite.Dans le premier chapitre, nous présentons une nouvelle famille de pénalité de régularisation, les normes de Schatten par blocs, qui généralisent les normes de Schatten classiques. Nous démontrons les principales propriétés des normes de Schatten par blocs en faisant appel à des outils d’analyse convexe et d’algèbre linéaire; nous retrouvons en particulier des propriétés caractérisant les normes proposées en termes d’enveloppe convexes. Nous discutons plusieurs applications potentielles de la norme nucléaire par blocs, pour le filtrage collaboratif, la compression de bases de données, et l’annotation multi-étiquettes d’images.Dans le deuxième chapitre, nous présentons une synthèse de différentes tech- niques de lissage qui permettent d’utiliser des algorithmes de premier ordre adaptes aux objectifs composites qui de décomposent en un terme différentiable et un terme non-différentiable. Nous montrons comment le lissage peut être utilisé pour lisser la fonction de perte correspondant à la précision au rang k, populaire pour le classement et la classification supervises d’images. Nous décrivons dans les grandes lignes plusieurs familles d’algorithmes de premier ordre qui peuvent bénéficier du lissage: i) les algorithmes de gradient conditionnel; ii) les algorithmes de gradient proximal; iii) les algorithmes de gradient incrémental.Dans le troisième chapitre, nous étudions en profondeur les algorithmes de gradient conditionnel pour les problèmes d’optimisation non-différentiables d’apprentissage statistique automatique. Nous montrons qu’une stratégie de lis- sage adaptative associée à un algorithme de gradient conditionnel donne lieu à de nouveaux algorithmes de gradient conditionnel qui satisfont des garanties de convergence théoriques. Nous présentons des résultats expérimentaux prometteurs des problèmes de filtrage collaboratif pour la recommandation de films et de catégorisation d’images. / Training machine learning methods boils down to solving optimization problems whose objective functions often decomposes into two parts: a) the empirical risk, built upon the loss function, whose shape is determined by the performance metric and the noise assumptions; b) the regularization penalty, built upon a norm, or a gauge function, whose structure is determined by the prior information available for the problem at hand.Common loss functions, such as the hinge loss for binary classification, or more advanced loss functions, such as the one arising in classification with reject option, are non-smooth. Sparse regularization penalties such as the (vector) l1- penalty, or the (matrix) nuclear-norm penalty, are also non-smooth. However, basic non-smooth optimization algorithms, such as subgradient optimization or bundle-type methods, do not leverage the composite structure of the objective. The goal of this thesis is to study doubly non-smooth learning problems (with non-smooth loss functions and non-smooth regularization penalties) and first- order optimization algorithms that leverage composite structure of non-smooth objectives.In the first chapter, we introduce new regularization penalties, called the group Schatten norms, to generalize the standard Schatten norms to block- structured matrices. We establish the main properties of the group Schatten norms using tools from convex analysis and linear algebra; we retrieve in particular some convex envelope properties. We discuss several potential applications of the group nuclear-norm, in collaborative filtering, database compression, multi-label image tagging.In the second chapter, we present a survey of smoothing techniques that allow us to use first-order optimization algorithms designed for composite objectives decomposing into a smooth part and a non-smooth part. We also show how smoothing can be used on the loss function corresponding to the top-k accuracy, used for ranking and multi-class classification problems. We outline some first-order algorithms that can be used in combination with the smoothing technique: i) conditional gradient algorithms; ii) proximal gradient algorithms; iii) incremental gradient algorithms.In the third chapter, we study further conditional gradient algorithms for solving doubly non-smooth optimization problems. We show that an adaptive smoothing combined with the standard conditional gradient algorithm gives birth to new conditional gradient algorithms having the expected theoretical convergence guarantees. We present promising experimental results in collaborative filtering for movie recommendation and image categorization.

No description available.

Cette étude porte sur l'estimation par méthode inverse d'un champ de conductance thermique de contact entre deux matériaux formant la paroi d'un réacteur métallurgique. Dans le cas du montage de réacteur métallurgique, il est essentiel de venir déterminer la conductance thermique de contact dans l'assemblage. Cela permet de venir identifier et corriger les défauts de contact avant la mise en fonctionnement du réacteur métallurgique.Cette étude utilise les méthodes inverses, particulièrement la méthode du gradient conjugué avec un problème adjoint, pour venir réaliser cette estimation. Dans cette étude, la méthode a été validée à l'aide de tests numériques représentant un diagnostic du contact thermique entre la paroi de carbone et la paroi d'acier du réacteur métallurgique avec différentes conductances thermiques de contact. Suite [i.e. à] cette validation, un test avec un bruit de mesure sur les températures de référence de la méthode inverse a été réalisé. Il a été démontré que, pour les tests réalisés sans bruit de mesure, l'erreur d'estimation générale est inférieure à 2%. Pour le test avec un bruit de mesure de «0, 025 K le défaut de contact a été localisé à la bonne position, en revanche l'erreur d'estimation est de 39%. Dans un second temps, des tests supplémentaires ont été réalisés pour observer l'évolution de l'erreur d'estimation en fonction de deux nombres sans dimension, le rapport de conductivité thermique et le nombre de Biot. Cela a permis de conclure qu'il faut avoir simultanément un rapport de conductivité thermique supérieur à 1 et un nombre de Biot supérieur à 0,05 pour obtenir une estimation précise dans les cas étudiés. La méthode permet de venir estimer la conductance thermique de contact, d'une manière novatrice et non intrusive, dans un mur de réacteur métallurgique.

published_or_final_version / Mathematics / Doctoral / Doctor of Philosophy

published_or_final_version / Mechanical Engineering / Doctoral / Doctor of Philosophy

Dans le contexte de l'optimisation de formes par la mé́thode des courbes de niveaux, nous nous inté́ressons à certains nouveaux problèmes : l'optimisation de valeurs propres multiples, l'optimisation de la compliance robuste et l'optimisation du critère de flambement. Nous ré́solvons aussi deux importants problèmes numériques par le couplage avec le gradient topologique et la m ́thode de régularisation de la vitesse. Nous proposons aussi dans cette thèse un chapitre destiné à montrer les probèmes numériques propres à la méthode des courbes de niveaux et nous montrons les "trucs" numériques utilisés pour résoudre ces problèmes.

No description available.

<p>The increasing number of patients undergoing treatment with assisted reproductive techniques (ART) during the past years have led to the need of developing different methods for separation of spermatozoa that can be used for different fertilisation procedures and for freezing. Cryopreservation of spermatozoa includes preparation, freezing, storage and thawing.</p><p>In this study two different cryomedia (Cryo Protec I and Cryo Protec II) for human spermatozoa were compared. The main outcome was spermsurvival rate for spermatozoa after freezing. Sperm viability was assessed using the Hypo-osmotic swelling test which is based on osmolality.</p><p>A total of 86 samples of semen were used in this study (Cryo Protec I=38, Cryo Protec II=48). The survival rate between the two cryomedia did not differ much but Cryo Protectant I showed a small increase in survival for the spermatozoa after freezing. The Hypo-osmotic swelling test also showed similar values of viable spermatozoa for the two cryomedia both before and after freezing.</p>

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.