• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 46
  • 25
  • 7
  • Tagged with
  • 81
  • 40
  • 26
  • 22
  • 21
  • 17
  • 17
  • 16
  • 15
  • 15
  • 15
  • 15
  • 11
  • 10
  • 10
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
21

De la valeur sociale des personnes à celle des objets : étude expérimentale de la généralisation de l'utilité et de la désirabilité sociales / From people's to object's social value : experimental study of the generalization of social utility and social desirability

Schiffler, Frédéric 05 June 2012 (has links)
S'inscrivant dans la conception évaluative du jugement social (Beauvois et Dubois, 2009), cette thèse a pour objectif de montrer que les deux dimensions du jugement personnologique (utilité et désirabilité sociales) correspondent à deux modes de connaissance évaluative très généraux intervenant dans le jugement de tout objetsocial. De façon plus précise, on se propose de montrer que ces deux modes de connaissance peuvent 1. être induits à partir de pratiques évaluatives faites tantôt sur des personnes, tantôt sur des objets, et 2. être ensuite généralisés à la description d'objets (après induction sur des personnes) ou de personnes (après induction sur des objets).Deux recherches montrent que les adjectifs évaluatifs courants et propres à la description des objets de consommation sont, comme attendu, massivement structurés par deux dimensions analogues à la désirabilité et à l'utilité sociales (respectivement l'agréabilité et la valeur marchande des objets). Six autres expérimentations, destinées à tester la généralisation des deux modes de connaissance évaluative montrent globalement, commeattendu, qu'il est possible d'induire un mode de connaissance évaluative, surtout celui en lien avec l'utilité sociale, et un mode de connaissance descriptive et que le mode de connaissance induit peut effectivement être généralisé à la connaissance d'un autre registre d'objets (du registre des personnes à celui des objets vs du registre des objets à celui des personnes).Nos résultats suggèrent donc que la désirabilité sociale et l'utilité sociale semblent bien fonctionner comme deux modes de connaissance évaluative généraux tant des personnes que des objets de consommation. Ils confirment aussi que la mobilisation de ces deux dimensions relève bien des pratiques sociales d'évaluation et non de la réalité psychologique des personnes. Les apports théoriques à la conception évaluative, les perspectives de recherches, ainsi qu'une application potentielle à la psychologie du consommateur, sont discutées. / Following evaluative framework of social judgment (Beauvois and Dubois, 2009), this thesis aims at showing that the two dimensions of persons judgment (the so called : "social utility" and "social desirability") correspond to two evaluative knowledge's modes that can be applied to common objects judgment. More precisely, we propose to demonstrate that these two evaluative modes can be 1. induced from evaluativepractices made either into the person register, or into the object register, and 2. then generalized to objects descriptions (following induction into person register) or to persons descriptions (following induction into object register).Two researches started with showing that current and evaluative adjectives that are suitable for objects description are massively structured by two dimensions similar to social desirability and social utility (respectively "agreeableness" and "market value"). Six other experiments intended to test the generalization of the two evaluative modes. As predicted, results showed that it is possible to induce the two evaluative knowledgemodes, especially that which pertains to persons social utility and market value, and another descriptive knowledge mode, and that these induced modes can be generalized from persons to objects and conversely from objects to persons.Thus, these findings suggest that the social desirability and the social utility traits dimensions function like two general modes of evaluative knowledge that can be applied to any social object. They also confirm that the mobilization of these two modes is not a consequence of psychological realism, but result of evaluative social practices. Theoretical implications for the evaluative framework as well as directions for future work and apotential application for consumer psychology are discussed.
22

Généralisation automatique pour la prise en compte de thèmes champ : le modèle GAEL / Automated generalisation to take fields into account : the GAEL model

Gaffuri, Julien 01 July 2008 (has links)
La généralisation de données géographiques est l'opération de simplification de ces données effectuée lors de la diminution de leur échelle de représentation. Cette thèse s'appuie sur le modèle de généralisation automatique à base d'agents de (Ruas et Duchêne, 2007), qui a été mis en oeuvre avec succès pour la généralisation des objets géographiques discrets (bâtiments, routes, etc.). L'objectif est de permettre une prise en compte d'un nouveau type de thèmes, appelés "thèmes champ", comme le relief ou l'occupation du sol. Ces thèmes ont pour particularité d'être définis en tout point de l'espace. Nous souhaitons permettre une préservation des relations pouvant exister entre les objets géographiques et les champs, comme par exemple le fait qu'un cours d'eau s'écoule sur le relief. Pour répondre à cet objectif, nous proposons le modèle de généralisation GAEL (Généralisation à base d'Agents Elastiques) qui permet d'appliquer des déformations aux champs pour préserver les relations objet-champ. Les champs sont modélisés comme des agents, dits élastiques, qui ont la capacité de se déformer pour amortir les opérations de généralisation appliquées aux objets géographiques (bâtiments, routes, etc.). Ces déformations sont obtenues en s'appuyant sur une décomposition des champs en petits éléments contraints (points, segments, triangles, etc.) et sur une modélisation des points composant les champs sous forme d'agents. Couplé au modèle de (Ruas et Duchêne, 2007), le modèle GAEL permet de disposer d'un modèle de généralisation hybride, capable d'effectuer à la fois des opérations discrètes et continues / Geographic data generalisation is the process of simplification of these data when their representation scale decreases. This thesis is based on the automated generalisation model of (Ruas et Duchêne, 2007), which has been successfully applied to the generalisation of discrete geographic objects (buildings, roads, etc.). Our purpose is to take into account a new kind of themes, the "field themes", such as the relief and the land use cover. These themes have the specificity to be defined at each point of the space. We aim at preserving the relationships between geographic objects and fields, such as for example, the fact that a river should flow down on the relief. To reach this goal, we propose a generalisation model called GAEL (Generalisation based on Agents and Elasticity). This model allows to apply deformations to the fields in order to preserve the object-field relationships. Fiels are modelled as "elastic agents", which are able to deform themselves to propagate the generalisation operations applied on the geographic objects (buildings, roads, etc.). These deformations are performed by using a decomposition of the fields into small constrained elements (points, segments, triangles, etc.) and by modelling the points composing the fields as agents. Because it is merged with the model of (Ruas et Duchêne, 2007), the GAEL model offers a hybrid generalisation model, able to manage both discrete and continuous operations
23

Etude et modélisation de stratégies de régulation linéaires découplantes appliquées à un convertisseur multicellulaire parallèle

Garreau, Clement 01 June 2018 (has links) (PDF)
Les structures de conversion multi-niveaux parallèles permettent de faire transiter de fortscourants tout en gardant une bonne puissance massique ; celles-ci sont réalisées en parallélisantdes cellules de commutation. Cette parallélisation permet de réduire le courant dans chaquecellule et ainsi de revenir dans des gammes plus standard de composants de puissance. Laparallélisation, en utilisant une commande adaptée, améliore les formes d’onde en sortie duconvertisseur. Ce manuscrit se focalisera sur une structure de conversion multiniveaux parallèlespécifique constituée de bras de hacheur dévolteur en parallèles couplés magnétiquement. Eneffet du fait de la commande entrelacée mise en place, l’ondulation du courant de sortie se voitréduite mais en contrepartie l’utilisation d’inductances séparées sur chaque bras entraine uneaugmentation de l’ondulation des courants de bras, directement liée au nombre de cellules decommutation, en fonction de l’ondulation du courant de sortie. Afin de palier à ce problème cesinductances sont remplacées par un (ou plusieurs) coupleur(s) magnétique(s) qui permet(tent) deréduire l’ondulation de courant dans chaque bras. Cependant dans le but de garantir la nonsaturation ainsi qu’une bonne intégration des coupleurs il est nécessaire de s’assurer del’équilibrage des courants de chaque bras malgré une différence entre les paramètres. Ainsi cemanuscrit s’est axé vers la détermination de différentes méthodes de modélisation découplant lesystème permettant le maintien de l’égale répartition des courants en utilisant des différences derapports cycliques. Ces méthodes de modélisation ont été généralisées afin de réaliser unalgorithme permettant de générer des lois de commande quel que soit le nombre de cellules enparallèle. Dans une dernière partie ces lois de commande ont été testées sur un prototype en lesimplémentant sur FPGA afin de procéder à une vérification expérimentale
24

Généralisation de la méthode Nitsche XFEM pour la discrétisation de problèmess d'interface elliptiques / NXFEM generalization for elliptic interface problems discretization

Barrau, Nelly 10 October 2013 (has links)
Cette thèse porte sur la généralisation de la méthode NXFEM proposée par A. et P. Hansbo pour le problème d’interface elliptique. La modélisation et simulation numérique d’écoulements dans des domaines fracturés sont au coeur de nombreuses applications, telles que le milieu pétrolier (modélisation de réservoirs, présence de failles, propagation d’un signal, repérage de couches), l’aérospatiale (problème de chocs, de rupture), en génie civil (fissuration du béton), mais également dans la biologie cellulaire (déformation des globules rouges). En outre, de nombreux projets de recherche nécessitent le développement des méthodes robustes pour la prise en compte de singularités, ce qui fait partie des motivations et des objectifs de l'équipe Concha, ainsi que de cette thèse. Une modification de cette méthode a tout d’abord été proposée afin d’obtenir la robustesse à la fois par rapport à la géométrie du maillage coupé par l’interface et par rapport aux paramètres de diffusion. Nous nous sommes ensuite intéressés à sa généralisation à tout type de maillages 2D-3D (triangles, quadrilatères, tétraèdres, hexaèdres), et pour tout type d’éléments finis (conformes, non conformes, Galerkin discontinus) pour des interfaces planes et courbes. Les applications ont été orientées vers des problèmes d’écoulements en milieux poreux fracturés : adaptation de la méthode NXFEM à la résolution d’un modèle asymptotique de failles, à des problèmes instationnaires, de transports, ou encore à des domaines multi-fracturés. / This thesis focuses on the generalization of the NXFEM method proposed by A. and P. Hansbo for elliptic interface problem. Numerical modeling and simulation of flow in fractured media are at the heart of many applications, such as petroleum and porous media (reservoir modeling, presence of faults, signal propagation, identification of layers ...), aerospace (problems of shock, rupture), civil engineering (concrete cracking), but also in cell biology (deformation of red blood cells). In addition, many research projects require the development of robust methods for the consideration of singularities, which is one of the motivations and objectives of the Concha team and of this thesis. First a modification of this method was proposed to obtain a robust method not only with respect to the mesh-interface geometry, but also with respect to the diffusion parameters. We then looked to its generalization to any type of 2D-3D meshes (triangles, quadrilaterals, tetrahedra, hexahedra), and for any type of finites elements (conforming, nonconforming, Galerkin discontinuous) for plane and curved interfaces. The applications have been referred to the flow problems in fractured porous media : adaptation of NXFEM method to solve an asymptotic model of faults, to unsteady problems, transport problems, or to multi-fractured domains.
25

Généralisation du diagramme de Voronoï et placement de formes géométriques complexes dans un nuage de points. / Generalizing the Voronoi diagram and placing complex geometric shapes among a point-set.

Iwaszko, Thomas 22 November 2012 (has links)
La géométrie algorithmique est une discipline en pleine expansion dont l'objet est la conception d'algorithmes résolvant des problèmes géométriques. De tels algorithmes sont très utiles notamment dans l'ingénierie, l'industrie et le multimédia. Pour être performant, il est fréquent qu'un algorithme géométrique utilise des structures de données spécialisées.Nous nous sommes intéressés à une telle structure : le diagramme de Voronoï et avons proposé une généralisation de celui-ci. Ladite généralisation résulte d'une extension du prédicat du disque vide (prédicat propre à toute région de Voronoï) à une union de disques. Nous avons analysé les régions basées sur le prédicat étendu et avons proposé des méthodes pour les calculer par ordinateur.Par ailleurs, nous nous sommes intéressés aux « problèmes de placement de formes », thème récurrent en géométrie algorithmique. Nous avons introduit un formalisme universel pour de tels problèmes et avons, pour la première fois, proposé une méthode de résolution générique, en ce sens qu'elle est apte à résoudre divers problèmes de placement suivant un même algorithme.Nos travaux présentent, d'une part, l'avantage d'élargir le champ d'application de structures de données basées sur Voronoï. D'autre part, ils facilitent de manière générale l'utilisation de la géométrie algorithmique, en unifiant définitions et algorithmes associés aux problèmes de placement de formes. / Computational geometry is an active branch of computer science whose goal is the design of efficient algorithms solving geometric problems. Such algorithms are useful in domains like engineering, industry and multimedia. In order to be efficient, algorithms often use special data structures.In this thesis we focused on such a structure: the Voronoi diagram. We proposed a new generalized diagram. We have proceeded by extending the empty disk predicate (satisfied by every Voronoi region) to an arbitrary union of disks. We have analyzed the new plane regions based on the extended predicate, and we designed algorithms for computing them.Then, we have considered another topic, which is related to the first one: shape placement problems. Such problems have been studied repeatedly by researchers in computational geometry. We introduced new notations along with a global framework for such problems. We proposed, for the first time a generic method, which is able to solve various placement problems using a single algorithm.Thus, our work extend the scope of Voronoi based data structures. It also simplifies the practical usage of placement techniques by unifying the associated definitions and algorithms.
26

Étude comparative de prépositions suédoises et françaises dans Lejontämjaren de Camilla Läckberg et dans sa traduction en français / Comparative study about Swedish and French prepositions in Lejontämjaren by Camilla Läckberg and its translation into french

Swärd, Elias January 2019 (has links)
Le but de ce mémoire est d’étudier les relations entre les prépositions en suédois et en français. Les prépositions sont classifiées selon différentes catégories selon leur rôle syntaxique dans la phrase. Le livre analysé est Lejontämjaren de Camilla Läckberg et sa traduction en français Le dompteur de lions traduit par Lena Grumbach. Le résultat a montré que la catégorie la plus nombreuse était « la préposition avant le syntagme régi », c’est-à-dire que la préposition précède le nom, alors que la catégorie « la préposition en fonction absolue », c’est-à-dire qu’il n’y a pas de nom lié à la préposition, avait le plus petit nombre d’occurrences. Dans les phrases analysées, la traduction était dans l'ensemble fidèle au texte de la langue source, c’est-à-dire la langue dans laquelle le texte original a été écrit. Il y avait plusieurs cas de généralisation sémantique dans le corpus, ce qui signifie que le traducteur traduit un lexème (unité lexicale de base) suédois sémantiquement complexe par un lexème français moins complexe. / The goal of this thesis is to study the relations between prepositions in Swedish and French. The prepositions are classified into different categories according to their syntactical role in the sentence. The analyzed book is Lejontämjaren by Camilla Läckberg and its translation into French Le dompteur de lions translated by Lena Grumbach. The result showed that the largest category was ” the preposition before the governed phrase” , that is, when the preposition precedes the noun, whereas the category ” the absolute preposition” , that is, when there is no noun related to the preposition, had the smallest number of occurrences. In the analyzed sentences, the translation was on the whole faithful to the text of the source language, which is the language in which the original text was written. There were several cases of semantic generalization in the corpus, which means that the translator translates a semantically complex Swedish lexeme (basic lexical unit) into a less complex French lexeme.
27

Du textuel au numérique : analyse et classification automatiques

Torres Moreno, Juan-Manuel 12 December 2007 (has links) (PDF)
Dans ce document, je présente les travaux de recherche que j'ai menés après ma thèse, d'abord comme chercheur au LANIA, Mexique, puis pendant mon post-doctorat au Canada au LANCI-UQAM et comme chercheur au ERMETIS, ensuite à l'École Polytechnique de Montréal et finalement au LIA où je suis actuellement responsable de la thématique TALNE.<br /> Un goût personnel pour les méthodes d'apprentissage automatique m'a orienté vers leur utilisation dans le Traitement Automatique de la Langue Naturelle. Je laisserai de côte des aspects psycholinguistiques de la compréhension d'une langue humaine et je vais m'intéresser uniquement à la modélisation de son traitement comme un système à entrée-sortie. L'approche linguistique possède des limitations pour décider de cette appartenance, et en général pour faire face à trois caractéristiques des langages humaines : Ambiguïté. <br /> Je pense que l'approche linguistique n'est pas tout à fait appropriée pour traiter des problèmes qui sont liés à un phénomène sous-jacent des langues humaines : l'incertitude. L'incertitude affecte aussi les réalisations technologiques dérivées du TAL : un système de reconnaissance vocale par exemple, doit faire face à de multiples choix générés par une entrée. Les phrases étranges, mal écrites ou avec une syntaxe pauvre ne posent pas un problème insurmontable à un humain, car les personnes sont capables de choisir l'interprétation des phrases en fonction de leur utilisation courante. L'approche probabiliste fait face à l'incertitude en posant un modèle de langage comme une distribution de probabilité. Il permet de diviser un modèle de langage en plusieurs couches : morphologie, syntaxe, sémantique et ainsi de suite. Tout au long de cette dissertation, j'ai essayé de montrer que les méthodes numériques sont performantes en utilisant une approche pragmatique : les campagnes d'évaluation nationales et internationales. Et au moins, dans les campagnes à portée de ma connaissance, les performances des méthodes numériques surpassent celles des méthodes linguistiques. Au moment de traiter de grandes masses de documents, l'analyse linguistique fine est vite dépassée par la quantité de textes à traiter. On voit des articles et des études portant sur Jean aime Marie et autant sur Marie aime Jean ou encore Marie est aimée par Jean. J'ai découvert tout au long de mes travaux, en particulier ceux consacrés au résumé automatique et au raffinement de requêtes, qu'un système hybride combinant des approches numériques à la base et une analyse linguistique au sommet, donne de meilleures performances que les systèmes pris de façon isolée. <br />Dans l'introduction je me posais la question de savoir si la linguistique pouvait encore jouer un rôle dans le traitement de la langue naturelle. Enfin, le modèle de sac de mots est une simplification exagérée qui néglige la structure de la phrase, ce qui implique une perte importante d'information. Je reformule alors les deux questions précédentes comme ceci : Les approches linguistiques et les méthodes numériques peuvent-elles jouer un partenariat dans les tâches du TAL? Cela ouvre une voie intéressante aux recherches que je compte entreprendre la conception de systèmes TAL hybrides, notamment pour la génération automatique de texte et pour la compression de phrases.<br /> On peut difficilement envisager de dépasser le plafond auquel les méthodes numériques se heurtent sans faire appel à la finesse des approches linguistiques, mais sans négliger pour autant de les valider et de les tester sur des corpora.
28

Le modèle de données et sa représentation relationnelle dans un système de gestion de base de données généralisées : projet TIGRE

Palazzo Moreira De Oliveira, M. José 29 June 1984 (has links) (PDF)
Cette thèse traite du problème des bases de données où les informations à stocker et à manipuler sont de natures différentes de celles habituellement traitées par les SG3Ds. Présentation du modèle TIGRE comme une extension du modèle entité. Association. Modélisation des données temporelles. Description de la réalisation effectuée dans le cadre du serveur de base de données TIGRE
29

Généralisation du diagramme de Voronoï et placement de formes géométriques complexes dans un nuage de points.

Iwaszko, Thomas 22 November 2012 (has links) (PDF)
La géométrie algorithmique est une discipline en pleine expansion dont l'objet est la conception d'algorithmes résolvant des problèmes géométriques. De tels algorithmes sont très utiles notamment dans l'ingénierie, l'industrie et le multimédia. Pour être performant, il est fréquent qu'un algorithme géométrique utilise des structures de données spécialisées.Nous nous sommes intéressés à une telle structure : le diagramme de Voronoï et avons proposé une généralisation de celui-ci. Ladite généralisation résulte d'une extension du prédicat du disque vide (prédicat propre à toute région de Voronoï) à une union de disques. Nous avons analysé les régions basées sur le prédicat étendu et avons proposé des méthodes pour les calculer par ordinateur.Par ailleurs, nous nous sommes intéressés aux " problèmes de placement de formes ", thème récurrent en géométrie algorithmique. Nous avons introduit un formalisme universel pour de tels problèmes et avons, pour la première fois, proposé une méthode de résolution générique, en ce sens qu'elle est apte à résoudre divers problèmes de placement suivant un même algorithme.Nos travaux présentent, d'une part, l'avantage d'élargir le champ d'application de structures de données basées sur Voronoï. D'autre part, ils facilitent de manière générale l'utilisation de la géométrie algorithmique, en unifiant définitions et algorithmes associés aux problèmes de placement de formes.
30

Dynamics of learning and generalization in neural networks

Pezeshki, Mohammad 08 1900 (has links)
Les réseaux neuronaux sont remarquablement performants pour une grande variété de tâches d'apprentissage automatique et ont eu un impact profond sur la définition même de l'intelligence artificielle (IA). Cependant, malgré leur rôle important dans l'état actuel de l'IA, il est important de réaliser que nous sommes encore loin d'atteindre une intelligence de niveau humain. Une étape cruciale à l'amélioration de la performance des réseaux neuronaux consiste à faire progresser notre compréhension théorique, qui est en retard par rapport aux développements pratiques. Les dynamiques d'optimisation complexes des réseaux neuronaux, qui résultent d’interactions en haute dimension entre les nombreux paramètres du réseau, constituent un défi majeur pour l'élaboration des fondements théoriques de l'apprentissage profond. Ces dynamiques non triviales donnent lieu à des comportements empiriques déroutants qui, dans certains cas, contrastent fortement avec les prédictions théoriques. L'absence de surapprentissage dans les réseaux sur-paramétrés, leur recours à des corrélations fallacieuses et les courbes de généralisation non monotones font partie des comportements de généralisation des réseaux neuronaux qui laissent perplexe. Dans cette thèse, notre objectif est d'étudier certains de ces phénomènes perplexes en tant que pièces différentes d'un même casse-tête; un casse-tête dans lequel chaque phénomène sert de signal d'orientation pour développer une meilleure compréhension des réseaux neuronaux. Nous présentons trois articles en vue d’atteindre cet objectif; Le premier article sur multi-scale feature learning dynamics étudie les raisons qui sous-tendent la courbe de généralisation à double descente observée dans les réseaux neuronaux modernes. L'une des principales conclusions est que la double descente à travers les époques peut être attribuée à l'apprentissage de traits caractéristiques distincts à différentes échelles : Alors que les représentations faciles/rapides à apprendre sont en sur-apprentissage, les représentations plus complexes/lentes commencent à bien apprendre, ce qui entraîne une deuxième descente de l'erreur sur l’ensemble de test. Le deuxième article sur la famine de gradient identifie un phénomène fondamental qui peut entraîner une inclination à l'apprentissage dans les réseaux neuronaux. La famine de gradient se produit lorsqu'un réseau neuronal apprend à minimiser la perte en ne capturant qu'un sous-ensemble des traits caractéristiques pertinents à la classification, malgré la présence d'autres traits caractéristiques informatifs qui ne sont pas découverts. La famine de gradient a des conséquences bénéfiques et néfastes dont nous discutons. Le troisième article sur les méthodes simples de ré-équilibrage des données présente une étude empirique sur le problème de la généralisation à des groupes sous-représentés lorsque les données d'entraînement souffrent de déséquilibres importants. Ce travail porte sur les modèles qui généralisent bien en moyenne mais ne parviennent pas à généraliser à des groupes minoritaires. Notre principale conclusion est que des méthodes simples de ré-équilibrage de données permettent d'atteindre l’état de l’art pour la précision sur les groupes minoritaires, ce qui appelle à une examination plus approfondie des valeurs de référence et des méthodes de recherche sur la généralisation en-dehors du support de la distribution. Nos résultats permettent de mieux comprendre la mécanique interne des réseaux neuronaux et d'identifier les obstacles à la construction de modèles plus fiables, et ont des implications pratiques quant à l'entraînement des réseaux neuronaux. / Neural networks perform remarkably well in a wide variety of machine learning tasks and have had a profound impact on the very definition of artificial intelligence (AI). However, despite their significant role in the current state of AI, it is important to realize that we are still far from achieving human-level intelligence. A critical step in further improving neural networks is to advance our theoretical understanding which is in fact lagging behind our practical developments. A key challenge in building theoretical foundations for deep learning is the complex optimization dynamics of neural networks, resulting from the high-dimensional interactions between a large number of network parameters. Such non-trivial dynamics lead to puzzling empirical behaviors that, in some cases, appear in stark contrast with existing theoretical predictions. Lack of overfitting in over-parameterized networks, their reliance on spurious correlations, and double-descent generalization curves are among the perplexing generalization behaviors of neural networks. In this dissertation, our goal is to study some of these perplexing phenomena as different pieces of the same puzzle. A puzzle in which every phenomenon serves as a guiding signal towards developing a better understanding of neural networks. We present three articles towards this goal; The first article on multi-scale feature learning dynamics investigates the reasons underlying the double-descent generalization curve observed in modern neural networks. A central finding is that epoch-wise double descent can be attributed to distinct features being learned at different scales: as fast-learning features overfit, slower-learning features start to fit, resulting in a second descent in test error. The second article on gradient starvation identifies a fundamental phenomenon that can result in a learning proclivity in neural networks. Gradient starvation arises when a neural network learns to minimize the loss by capturing only a subset of features relevant for classification, despite the presence of other informative features which fail to be discovered. We discuss how gradient starvation can have both beneficial and adverse consequences on generalization performance. The third article on simple data balancing methods conducts an empirical study on the problem of generalization to underrepresented groups when the training data suffers from substantial imbalances. This work looks into models that generalize well on average but fail to generalize to minority groups of examples. Our key finding is that simple data balancing methods already achieve state-of-the-art accuracy on minority groups which calls for closer examination of benchmarks and methods for research in out-of-distribution generalization. These three articles take steps towards bringing insights into the inner mechanics of neural networks, identifying the obstacles in the way of building reliable models, and providing practical suggestions for training neural networks.

Page generated in 0.0332 seconds