L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions. / Deep Learning is a quickly growing area of research in machine learning, providing impressive results on different tasks ranging from image classification to speech and language modelling. In particular, a subclass of deep models, recurrent neural networks, promise even more. Recurrent models can capture the temporal structure in the data. They can learn correlations between events that might be far apart in time and, potentially, store information for unbounded amounts of time in their innate memory. In this work we first focus on understanding why depth is useful. Similar to other published work, our results prove that deep models can be more efficient at expressing certain families of functions compared to shallow models. Different from other work, we carry out our theoretical analysis on deep feedforward networks with piecewise linear activation functions, the kind of models that have obtained state of the art results on different classification tasks. The second part of the thesis looks at the learning process. We analyse a few recently proposed optimization techniques, including Hessian Free Optimization, natural gradient descent and Krylov Subspace Descent. We propose the framework of generalized trust region methods and show that many of these recently proposed algorithms can be viewed from this perspective. We argue that certain members of this family of approaches might be better suited for non-convex optimization than others. The last part of the document focuses on recurrent neural networks. We start by looking at the concept of memory. The questions we attempt to answer are: Can recurrent models exhibit unbounded memory? Can this behaviour be learnt? We show this to be true if hints are provided during learning. We explore, afterwards, two specific difficulties of training recurrent models, namely the vanishing gradients and exploding gradients problem. Our analysis concludes with a heuristic solution for the exploding gradients that involves clipping the norm of the gradients. We also propose a specific regularization term meant to address the vanishing gradients problem. On a toy dataset, employing these mechanisms, we provide anecdotal evidence that the recurrent model might be able to learn, with out hints, to exhibit some sort of unbounded memory. Finally we explore the concept of depth for recurrent neural networks. Compared to feedforward models, for recurrent models the meaning of depth can be ambiguous. We provide several ways in which a recurrent model can be made deep and empirically evaluate these proposals.

La zeitgesit contemporaine sur la reconnaissance des visages suggère que le processus de reconnaissance reposerait essentiellement sur le traitement des distances entre les attributs internes du visage. Il est toutefois surprenant de noter que cette hypothèse n’a jamais été évaluée directement dans la littérature. Pour ce faire, 515 photographies de visages ont été annotées afin d’évaluer l’information véhiculée par de telles distances. Les résultats obtenus suggèrent que les études précédentes ayant utilisé des modifications de ces distances ont présenté 4 fois plus d’informations que les distances inter-attributs du monde réel. De plus, il semblerait que les observateurs humains utilisent difficilement les distances inter-attributs issues de visages réels pour reconnaître leurs semblables à plusieurs distances de visionnement (pourcentage correct maximal de 65%). Qui plus est, la performance des observateurs est presque parfaitement restaurée lorsque l’information des distances inter-attributs n’est pas utilisable mais que les observateurs peuvent utiliser les autres sources d’information de visages réels. Nous concluons que des indices faciaux autre que les distances inter-attributs tel que la forme des attributs et les propriétés de la peau véhiculent l’information utilisée par le système visuel pour opérer la reconnaissance des visages. / According to an influential view, based on studies of development and of the face inversion effect, human face recognition relies mainly on the treatment of the distances among internal facial features. However, there is surprisingly little evidence supporting this claim. Here, we first use a sample of 515 face photographs to estimate the face recognition information available in interattribute distances. We demonstrate that previous studies of interattribute distances generated faces that exaggerated 4 times this information compared to real-world faces. When interattribute distances are sampled from a real-world distribution, we show that human observers recognize faces poorly across a broad range of viewing distances (with a maximum accuracy of 65%). In contrast, recognition performance is restored when observers only use facial cues of real-world faces other than interattribute distances. We conclude that facial cues other than interattribute distances such as attribute shapes and skin properties are the dominant information of face recognition mechanisms.

Cette thèse est divisée en trois parties. Dans la première partie, nous commençons par décrire des résultats très connus en théorie du contrôle géométrique tels que le théorème de Chow-Rashevsky, la condition de rang de Kalman, l'application Entrée-Sortie et le test linéaire. De plus, nous définissons et nous étudions brièvement la contrôlabilité locale au voisinage d'un contrôle de référence au premier et au second ordre. Dans la deuxième partie, nous donnons une preuve élémentaire du lemme de Franks linéaire pour les flots géodésiques qui utilise des techniques basiques de théorie du contrôle géométrique. Dans la dernière partie, étant donnée une variété Riemanienne compacte, nous prouvons un lemme de Franks uniforme au second ordre pour les flots géodésiques et on applique le résultat à la théorie de la persistance. Dans cette partie, nous introduisons avec plus de détails les notions de contrôlabilité locale au premier et au second ordre. En effet, nous donnons un résultat de contrôlabilité au second ordre dont la preuve est longue et technique. / This thesis is devided into three parts. In the first part we begin by describing some well known results in geometric control theory such as the Chow Rashevsky Theorem, the Kalman rank condition, the End-Point Mapping and the linear test. Moreover, we define and study briefly local controllability around a reference control at first and second order. In the second part we provide an elementary proof of the Franks lemma for geodesic flows using basic tools of geometric control theory. In the last part, given a compact Riemannian manifold, we prove a uniform Franks' lemma at second order for geodesic flows and apply the result in persistence theory. In this part we introduce with more details notions of local controllability at first and second order. In fact, we provide a second order controllability result whose proof is long and technical.

Dans la première partie de ce manuscrit nous étudions les fonctions rationnelles, c'est-à-dire définies par des transducteurs unidirectionnels. Notre objectif est d'étendre aux transductions les nombreuses correspondances logique-algèbre qui ont été établies concernant les langages, notamment le célèbre théorème de Schützenberger-McNaughton-Papert. Dans le cadre des fonctions rationnelles sur les mots finis, nous obtenons une caractérisation à la Myhill-Nerode en termes de congruences d'indice fini. Cette caractérisation nous permet d'obtenir un résultat de transfert, à partir d'équivalences logique-algèbre pour les langages vers des équivalences pour les transductions. En particulier nous montrons comment décider si une fonction rationnelle est définissable en logique du premier ordre. Sur les mots infinis, nous pouvons également décider la définissabilité en logique du premier ordre, mais avec des résultats moins généraux.Dans la seconde partie nous introduisons une logique pour les transductions et nous résolvons le problème de synthèse régulière : étant donnée une formule de la logique, peut-on obtenir un transducteur bidirectionnel déterministe satisfaisant la formule ? Les fonctions réalisées par des transducteurs bidirectionnels déterministes sont caractérisés par plusieurs modèles différents, y compris par les transducteurs MSO, et ont ainsi été nommées transductions régulières. Plus précisément nous fournissons un algorithme qui produit toujours une fonction régulière satisfaisant une spécification donnée en entrée.Nous exposons également un lien intéressant entre les transductions et les mots avec données. Par conséquent nous obtenons une logique expressive pour les mots avec données, pour laquelle le problème de satisfiabilité est décidable. / In the first part of this manuscript we focus on the study of rational functions, functions defined by one-way transducers.Our goal is to extend to transductions the many logic-algebra correspondences that have been established for languages, such as the celebrated Schützenberger-McNaughton-Papert Theorem. In the case of rational functions over finite words, we obtain a Myhill-Nerode-like characterization in terms of congruences of finite index. This characterization allows us to obtain a transfer result from logic-algebra equivalences for languages to logic-algebra equivalences for transductions. In particular, we show that one can decide if a rational function can be defined in first-order logic.Over infinite words, we obtain weaker results but are still able to decide first-order definability.In the second part we introduce a logic for transductions and solve the regular synthesis problem: given a formula in the logic, can we obtain a two-way deterministic transducer satisfying the formula?More precisely, we give an algorithm that always produces a regular function satisfying a given specification.We also exhibit an interesting link between transductions and words with ordered data. Thus we obtain as a side result an expressive logic for data words with decidable satisfiability.

No description available.

L'étude de l'influence du désordre sur les propriétés critiques des systèmes modèles et des impuretés sur les propriétés magnétiques d'échantillons nanostructurés constitue la ligne directrice de ce travail. L'utilisation des techniques de simulation Monte Carlo en constitue l'outil. Nous nous intéressons à des systèmes de spins en interaction, à 2 ou 3 dimensions, décrits par des modèles présentant des transitions de phase du premier ou du second ordre et nous cherchons à comprendre l'influence de différentes perturbations (apériodiques, désordonnées) sur leurs propriétés critiques. Dans le cas des systèmes tridimensionnels, nous montrons en particulier, grâce à des simulations numériques intensives utilisant les algorithmes d'amas ou multicanoniques, que la détermination des exposants critiques associés à une nouvelle classe d'universalité désordonnée nécessite qu'une attention tout-à-fait particulière soit apportée aux simulations afin de pouvoir distinguer les exposants effectifs des exposants asymptotiques. Nous présentons ensuite la modélisation des propriétés magnétiques d'échantillons nanostructurés (nanoparticules, multicouches amorphes) pour lesquels l'utilisation des techniques de simulation numérique permet de conforter certains modèles théoriques comme les modèles de Néel-Brown et de Stoner-Wohlfarth pour le retournement de l'aimantation ou le modèle d'anisotropie structurale locale pour expliquer l'existence d'une anisotropie magnétique macroscopique dans les multicouches amorphes Fe/Dy. Ainsi, nous avons mis en évidence le fait que le retournement de l'aimantation par rotation uniforme d'une structure ferrimagnétique peut devenir non uniforme pour une structure spérimagnétique avec une augmentation de la coercivité.

Notre thèse est divisée en 2 chapitres indépendants correspondant chacun à un article. Dans le premier chapitre, nous définissons une notion de surfaces isotropes dans les octonions, i.e. sur lesquelles certaines formes symplectiques canoniques s'annulent. En utilisant le produit vectoriel dans O, nous définissons une application rho de la grassmanienne des plans de O dans la sphère de dimension 6. Cela nous permet d'associer à chaque surface Sigma de O une fonction rho_Sigma de la surface sur la sphère. Alors, nous montrons que les surfaces isotropes de O telles que cette fonction est harmonique sont solutions d'un système complètement intégrable. En utilisant les groupes de lacets, nous construisons une représentation de type Weierstrass de ces surfaces. Par restriction au corps des quaternions, nous retrouvons comme cas particulier les surfaces lagrangiennes hamiltoniennes stationnaires de R^4. Par restriction à Im(H), nous retrouvons les surfaces CMC de R^3. Dans le second chapitre, nous étudions les applications supersymétriques harmoniques définies sur R^{2|2} et à valeurs dans un espace symétrique, du point de vue des systèmes intégrables. Il est bien connu que les applications harmoniques de R^2 à valeurs dans un espace symétrique sont solutions d'un système intégrable. Nous montrons que les applications superharmoniques de R^{2|2} dans un espace symétrique sont solutions d'un système intégrable, et que l'on a une représentation de type Weierstrass en termes de potentiels holomorphes (ainsi qu'en termes de potentiels méromorphes). Nous montrons également que les applications supersymétriques primitives de R^{2|2} dans un espace 4-symétrique donnent lieu, par restriction à R^2, à des solutions du système elliptique du second ordre associé à l'espace 4-symétrique considéré (au sens de C.L. Terng).Ceci nous permet d'obtenir, de manière conceptuelle, une sorte d'interprétation supersymétrique de tous les systèmes elliptiques du second ordre associés à un espace 4-symétrique, en particulier du système intégrable construit au chapitre 1 (et plus particulièrement des surfaces lagrangiennes hamiltoniennes stationnaires dans un espace symétrique).

L'objectif de ce travail est l'étude des équations différentielles complètes du second ordre de type elliptique à coefficients opérateurs dans un espace de Banach X quelconque. Une application concrète de ces équations est détaillée, il s'agit d'un problème de transmission du potentiel électrique dans une cellule biologique où la membrane constitue une couche mince. L'originalité de ce travail réside particulièrement dans le fait que les opérateurs non bornés considérés ne commutent pas nécessairement. Une nouvelle hypothèse dite de non commutativité est alors introduite. L'analyse est faite dans deux cadres fonctionnels distincts: les espaces de Hölder et les espaces Lp (avec X un espace UMD). L'équation est d'abord étudiée sur la droite réelle puis sur un intervalle borné avec conditions aux limites de Dirichlet. On donne des résultats d'existence, d'unicité et de régularité maximale de la solution classique sous des conditions sur les données dans des espaces d'interpolation. Les techniques utilisées sont basées sur la théorie des semi-groupes, le calcul fonctionnel de Dunford et la théorie de l'interpolation. Ces résultats sont tous appliqués à des équations aux dérivées partielles concrètes de type elliptique ou quasi-elliptique.

La zeitgesit contemporaine sur la reconnaissance des visages suggère que le processus de reconnaissance reposerait essentiellement sur le traitement des distances entre les attributs internes du visage. Il est toutefois surprenant de noter que cette hypothèse n’a jamais été évaluée directement dans la littérature. Pour ce faire, 515 photographies de visages ont été annotées afin d’évaluer l’information véhiculée par de telles distances. Les résultats obtenus suggèrent que les études précédentes ayant utilisé des modifications de ces distances ont présenté 4 fois plus d’informations que les distances inter-attributs du monde réel. De plus, il semblerait que les observateurs humains utilisent difficilement les distances inter-attributs issues de visages réels pour reconnaître leurs semblables à plusieurs distances de visionnement (pourcentage correct maximal de 65%). Qui plus est, la performance des observateurs est presque parfaitement restaurée lorsque l’information des distances inter-attributs n’est pas utilisable mais que les observateurs peuvent utiliser les autres sources d’information de visages réels. Nous concluons que des indices faciaux autre que les distances inter-attributs tel que la forme des attributs et les propriétés de la peau véhiculent l’information utilisée par le système visuel pour opérer la reconnaissance des visages. / According to an influential view, based on studies of development and of the face inversion effect, human face recognition relies mainly on the treatment of the distances among internal facial features. However, there is surprisingly little evidence supporting this claim. Here, we first use a sample of 515 face photographs to estimate the face recognition information available in interattribute distances. We demonstrate that previous studies of interattribute distances generated faces that exaggerated 4 times this information compared to real-world faces. When interattribute distances are sampled from a real-world distribution, we show that human observers recognize faces poorly across a broad range of viewing distances (with a maximum accuracy of 65%). In contrast, recognition performance is restored when observers only use facial cues of real-world faces other than interattribute distances. We conclude that facial cues other than interattribute distances such as attribute shapes and skin properties are the dominant information of face recognition mechanisms.

Cette thèse est consacrée au problème de la reconnaissance visuelle des objets basé sur l'ordinateur, qui est devenue un sujet de recherche très populaire et important ces dernières années grâce à ses nombreuses applications comme l'indexation et la recherche d'image et de vidéo , le contrôle d'accès de sécurité, la surveillance vidéo, etc. Malgré beaucoup d'efforts et de progrès qui ont été fait pendant les dernières années, il reste un problème ouvert et est encore considéré comme l'un des problèmes les plus difficiles dans la communauté de vision par ordinateur, principalement en raison des similarités entre les classes et des variations intra-classe comme occlusion, clutter de fond, les changements de point de vue, pose, l'échelle et l'éclairage. Les approches populaires d'aujourd'hui pour la reconnaissance des objets sont basé sur les descripteurs et les classiffieurs, ce qui généralement extrait des descripteurs visuelles dans les images et les vidéos d'abord, et puis effectue la classification en utilisant des algorithmes d'apprentissage automatique sur la base des caractéristiques extraites. Ainsi, il est important de concevoir une bonne description visuelle, qui devrait être à la fois discriminatoire et efficace à calcul, tout en possédant certaines propriétés de robustesse contre les variations mentionnées précédemment. Dans ce contexte, l'objectif de cette thèse est de proposer des contributions novatrices pour la tâche de la reconnaissance visuelle des objets, en particulier de présenter plusieurs nouveaux descripteurs visuelles qui représentent effectivement et efficacement le contenu visuel d'image et de vidéo pour la reconnaissance des objets. Les descripteurs proposés ont l'intention de capturer l'information visuelle sous aspects différents. Tout d'abord, nous proposons six caractéristiques LBP couleurs de multi-échelle pour traiter les défauts principaux du LBP original, c'est-à-dire, le déffcit d'information de couleur et la sensibilité aux variations des conditions d'éclairage non-monotoniques. En étendant le LBP original à la forme de multi-échelle dans les différents espaces de couleur, les caractéristiques proposées non seulement ont plus de puissance discriminante par l'obtention de plus d'information locale, mais possèdent également certaines propriétés d'invariance aux différentes variations des conditions d'éclairage. En plus, leurs performances sont encore améliorées en appliquant une stratégie de l'image division grossière à fine pour calculer les caractéristiques proposées dans les blocs d'image afin de coder l'information spatiale des structures de texture. Les caractéristiques proposées capturent la distribution mondiale de l'information de texture dans les images. Deuxièmement, nous proposons une nouvelle méthode pour réduire la dimensionnalité du LBP appelée la combinaison orthogonale de LBP (OC-LBP). Elle est adoptée pour construire un nouveau descripteur local basé sur la distribution en suivant une manière similaire à SIFT. Notre objectif est de construire un descripteur local plus efficace en remplaçant l'information de gradient coûteux par des patterns de texture locales dans le régime du SIFT. Comme l'extension de notre première contribution, nous étendons également le descripteur OC-LBP aux différents espaces de couleur et proposons six descripteurs OC-LBP couleurs pour améliorer la puissance discriminante et la propriété d'invariance photométrique du descripteur basé sur l'intensité. Les descripteurs proposés capturent la distribution locale de l'information de texture dans les images. Troisièmement, nous introduisons DAISY, un nouveau descripteur local rapide basé sur la distribution de gradient, dans le domaine de la reconnaissance visuelle des objets. [...]