Spelling suggestions: "subject:"réduction"" "subject:"déduction""
201 |
Complexity Control for Low-Power HEVC Encoding / Contrôle de la complexité pour l'encodage HEVC basse consommation d'énergieMercat, Alexandre 07 December 2018 (has links)
L'Internet des objets (loT) est devenu une réalité et ses applications pressenties vont fortement augmenter la demande de vidéo mobile. En conséquence, les systèmes montent en complexité algorithmique et le portage du codage vidéo sur plates-formes embarquées devient problématique. Les nouveaux contenus vidéo 4K et 360°, venant avec des résolutions spatiales (8K, 16K) et temporelles (120 images/seconde élevées compliquent encore le problème. Il est donc nécessaire de réduire l'empreinte des nouveaux codec tels que HEVC tout en préservant les performances en compression et en qualité d'image de ces codecs, La performance énergétique limitée des batteries des systèmes embarqués pousse à proposer de nouvelle méthodes pour ajuster et contrôler la complexité et l'énergie des codecs HEVC. Ce document propose un ensemble d'études dont l'objectif est d'ajuster et de contrôler la complexité et donc la consommation énergétique de l'encodeur HEVC. Deux méthodes de prédiction de découpe de CTU sont proposées : la première basée sur une approche statistique utilisant la variance de l'image et la seconde utilisant l'intelligence artificielle. À partir de cette prédiction, une méthode est proposée pour ajuster la complexité de l'encodage HEVC. Cette solution étend l'espace de recherche autour de la prédiction et alloue la complexité dans l'image afin de minimiser les dégradations en termes de compression et de qualité. Enfin un système de contrôle temps réel de la complexité d'encodage est proposé. Il démontre l'applicabilité de contributions de ce document en maintenant la complexité d'encodage proche d'une consigne. / The Internet of Things (loT) is now a reality. Forthcoming applications will boost mobile video demand to an unprecedented level. The induced increase in computational complexity is a challenge when executing in real-time new video coding standards on embedded platforms, limited in computing, memory, and energy. New 4K UHD and 360-degree video contents coming with high spatial (SK, 16K) and temporal (120fp resolutions further complicate the problem. In this context, codecs such as HEVC (High Efficiency Vide Coding) must be worked on to reduce their complexity while preserving the bitrate and image quality. Th bounded energy density of embedded system's batteries requires designers to propose new methods scaling and controlling the complexity and energy consumption of HEVC codecs. This document presents a set of studies aiming at scaling and controlling the complexity, and therefore the energy consumption, of HEVC Intra encoding. Two methods of quad-tree partitioning prediction in "one-shot are proposed: one based on variance-aware statistic approach and one based on Machine Learning using data-mining classifiers. From the obtained prediction, a generic tunable complexity scheme of HEVC encoding is introduced. It expands the search space around the original partitioning prediction and allocates complexit in a frame while minimizing performance loss in terms of bitrate and visual quality. Finally, a real-time contr system is created that dynamically manages the encoding process to keep the encoding complexity under specific tarjet. It demonstrates the a licability of the mayor contributions of this document.
|
202 |
Réactions de (dé)hydrogénation catalysées par des complexes de manganèse(I) / (De)hydrogenation reactions catalyzed by manganese(I) complexesBruneau-Voisine, Antoine 17 October 2018 (has links)
Pour répondre aux enjeux économiques et sociaux modernes, le développement de catalyseurs organométalliques à base de métaux abondants et bon marché, comme alternatives aux catalyseurs historiques basés sur les métaux précieux, connaît un essor constant depuis deux décennies. L’objectif du présent travail doctoral a été de développer des catalyseurs à base de manganèse, troisième métal de transition le plus abondant après le fer et le titane, et précédemment principalement utilisé en oxydation, pour les réactions de (dé)-hydrogénation. / To meet modern economic and social challenges, the development of inexpensive and abundant metal-based organometallic catalysts, as alternatives to historical catalysts based on precious metals, has been growing steadily for two decades. The aim of this doctoral work was to develop catalysts based on manganese, which is the third most abundant transition metal after iron and titanium, and previously mainly used in oxidation, for (de)-hydrogenation reactions.
|
203 |
Efficient simulation tools for real-time monitoring and control using model order reduction and data-driven techniques / Outils de simulation efficaces pour la surveillance et le contrôle en temps réel à l'aide de techniques de réduction de modèles et de techniques basées sur les donnéesQuaranta, Giacomo 02 September 2019 (has links)
La simulation numérique, c'est-à-dire l'utilisation des ordinateurs pour exécuter un programme physique, est une partie importante du monde technologique actuel. Elle est nécessaire dans de nombreux domaines scientifiques et techniques pour étudier le comportement de systèmes dont les modèles mathématiques sont trop complexes pour fournir des solutions analytiques et elle rend possible l'évaluation virtuelle des réponses des systèmes (jumeaux virtuels). Cela réduit considérablement le nombre de tests expérimentaux nécessaires à la conception précise du système réel que le modèle numérique représente. Cependant, ces jumeaux virtuels, basés sur des méthodes classiques qui utilisent une représentation fine du système (ex. méthode des éléments finis), permettent rarement une rétroaction en temps réel, même dans un contexte de calcul haute performance, fonctionnant sur des plateformes puissantes. Dans ces circonstances, les performances en temps réel requises dans certaines applications sont compromises. En effet, les jumeaux virtuels sont statiques, c'est-à-dire qu'ils sont utilisés dans la conception de systèmes complexes et de leurs composants, mais on ne s'attend pas à ce qu'ils prennent en compte ou assimilent des données affin de définir des systèmes d'application dynamiques pilotés par les données. De plus, des écarts significatifs entre la réponse observée et celle prévue par le modèle sont généralement constatés en raison de l'imprécision des modèles employés, de la détermination des paramètres du modèle ou de leur évolution dans le temps. Dans cette thèse, nous proposons différentes méthodes pour résoudre ces handicaps affin d'effectuer une surveillance et un contrôle en temps réel. Dans la première partie, les techniques de Réduction de Modèles sont utilisées pour tenir compte des contraintes en temps réel; elles calculent une bonne approximation de la solution en simplifiant la procédure de résolution plutôt que le modèle. La précision de la solution n'est pas compromise et des simulations e-caces peuvent être réalisées (jumeaux numériquex). Dans la deuxième partie, la modélisation pilotée par les données est utilisée pour combler l'écart entre la solution paramétrique calculée, en utilisant des techniques de réduction de modèles non intrusives, et les champs mesurés, affin de rendre possibles des systèmes d'application dynamiques basés sur les données (jumeaux hybrides). / Numerical simulation, the use of computers to run a program which implements a mathematical model for a physical system, is an important part of today technological world. It is required in many scientific and engineering fields to study the behavior of systems whose mathematical models are too complex to provide analytical solutions and it makes virtual evaluation of systems responses possible (virtual twins). This drastically reduces the number of experimental tests for accurate designs of the real system that the numerical model represents. However these virtual twins, based on classical methods which make use of a rich representations of the system (e.g. finite element method), rarely allows real-time feedback, even when considering high performance computing, operating on powerful platforms. In these circumstances, the real-time performance required in some applications are compromised. Indeed the virtual twins are static, that is, they are used in the design of complex systems and their components, but they are not expected to accommodate or accommodate or assimilate data so as to define dynamic data-driven application systems. Moreover significant deviations between the observed response and the one predicted by the model are usually noticed due to inaccuracy in the employed models, in the determination of the model parameters or in their time evolution. In this thesis we propose different methods to solve these handicaps in order to perform real-time monitoring and control. In the first part Model Order Reduction (MOR) techniques are used to accommodate real-time constraints; they compute a good approximation of the solution by simplifying the solution procedure instead of the model. The accuracy of the predicted solution is not compromised and efficient simulations can be performed (digital twins). In the second part data-driven modeling are employed to fill the gap between the parametric solution, computed by using non-intrusive MOR techniques, and the measured fields, in order to make dynamic data-driven application systems possible (hybrid twins).
|
204 |
Selective Electrocatalytic reduction mediated by Sm(II) : Application to nitroarenes, sulfoxides and phthalimides / Réduction électrocatalytique sélective médiée par Sm(II) : application aux nitroarènes, aux sulfoxydes et aux phtalimidesZhang, Yu-Feng 28 November 2017 (has links)
Le SmI₂ en tant que réactif de transfert monoélectronique a été largement utilisé en chimie organique depuis les premiers travaux de Kagan. Cependant, la quantité stœchiométrique ou en excès de SmI₂ et d'additifs toxique tels que HMPA sont utilisés normalement pour améliorer la réactivité. De plus, à cause de sa sensibilité à l'oxygène, le stockage de la solution de SmI₂ dans le THF est difficile. Récemment, nous avons développé une nouvelle méthode électrocatalytique basée sur la régénération électrochimique de Sm²⁺. Par rapport à la réactivité du SmI₂ classique, notre approche utilise une quantité catalytique de Sm. Premièrement, pour la réduction de nitroarènes, la réaction a sélectivement fourni les composés aromatiques azoïques et les anilines en fonction du solvant choisi. Notamment, c'est la première fois que la réaction Sm²⁺ se produit dans le méthanol dans le cas des anilines. Deuxièmement, dans le cas de la réduction des sulfoxydes par SmI₂, en général, l'HMPA était nécessaire comme additif. Dans notre procédé électrocatalytique, les sulfoxydes ont été transformés en sulfures avec une chimiosélectivité élevée et des excellents rendements toujours à température ambiante sans besoin ni de HMPA ni d’atmosphère protectrice. Enfin, les dérivés d'isoindolinone sont des séries de produits importants en chimie organique, la réduction des phtalimides est l'approche la plus pratique pour les obtenir. Avec les alcools, l'alcoxylation réductrice de phtalimides a eu lieu pour la première fois avec le Sm²⁺ électrocatalytique dans nos conditions. Et si on ajoute d'autres sources de protons, ce procédé a fourni les ω-hydroxylactames et isoindolinones correspondants avec des rendements élevés. / The SmI₂ as a single electron transfer reagent has been widely used in organic chemistry since the pioneering works by Kagan. However, the stoichiometric or excess amount of SmI₂ and harmful additives such as HMPA are used normally to enhance the reactivity, moreover, due to the oxygen sensitive, the storage of SmI₂ solution is difficult.Recently, we have developed a new electrocatalytic method based on the electrochemical regeneration of Sm²⁺. Compared to the classic SmI₂ reaction, our process occurred with a catalytic amount of Sm. In the reduction of nitroarenes, it selectively afforded the azo aromatic compounds and anilines depending on different solvents system. Notably, it’s the first time that the Sm²⁺ reaction occurred in the methanol. Normally, the HMPA was the additive in the reduction of sulfoxides by SmI₂. Under our electrocatalytic process, the sulfoxides were converted into sulfides in high chemoselectivity and yield at room temperature without HMPA and protecting atmosphere.The isoindolinone derivatives are series of important products in organic chemistry, the reduction of phthalimides is the most convenient approach to provide them. With alcohols, the unprecedented Sm²⁺ electrocatalyzed reductive alkoxylation of phthalimides was established. Moreover, adding other proton sources, this process afforded the corresponding ω-hydroxylactams and isoindolinones.
|
205 |
Approximate computing for high energy-efficiency in IoT applications / Calcul approximatif à haute efficacité énergétique pour des applications de l'internet des objetsNdour, Geneviève 17 July 2019 (has links)
Les unités à taille réduite font partie des méthodes proposées pour la réduction de la consommation d’énergie. Cependant, la plupart de ces unités sont évaluées séparément,c’est-à-dire elles ne sont pas évaluées dans une application complète. Dans cette thèse, des unités à taille réduite pour le calcul et pour l’accès à la mémoire de données, configurables au moment de l’exécution, sont intégrées dans un processeur RISC-V. La réduction d’énergie et la qualité de sortie des applications exécutées sur le processeur RISC-V étendu avec ces unités, sont évaluées. Les résultats indiquent que la consommation d’énergie peut être réduite jusqu’à 14% pour une erreur ≤0.1%. De plus, nous avons proposé un modèle d’énergie générique qui inclut à la fois des paramètres logiciels et architecturaux. Le modèle permet aux concepteurs logiciels et matériels d’avoir un aperçu rapide sur l’impact des optimisations effectuées sur le code source et/ou sur les unités de calcul. / Reduced width units are ones of the power reduction methods. However such units have been mostly evaluated separately, i.e. not evaluated in a complete applications. In this thesis, we extend the RISC-V processor with reduced width computation and memory units, in which only a number of most significant bits (MSBs), configurable at runtime is active. The energy reduction vs quality of output trade-offs of applications executed with the extended RISC-V are studied. The results indicate that the energy can be reduced by up to 14% for an error ≤ 0.1%. Moreover we propose a generic energy model that includes both software parameters and hardware architecture ones. It allows software and hardware designers to have an early insight into the effects of optimizations on software and/or units.
|
206 |
Etude de la réactivité des dioxydes métalliques du groupe IVb en présence de carbone par une approche (micro)-structurale : Application à la modélisation des diagrammes de phases ternaires Me-C-O (où Me = Ti, Zr, Hf) / Study of the reactivity of group IVb metallic dioxides in the presence of carbon by a (micro)-structural approach : Application to the thermodynamic modelling of ternary phase diagrams Me-C-O (where Me = Ti, Zr, Hf)Réjasse, Florian 02 December 2015 (has links)
Durant ce travail, la réactivité des dioxydes du groupe IVb (TiO2, ZrO2, HfO2) en contact avec du carbone turbostratique a été étudiée afin de comprendre les mécanismes réactionnels de la réduction carbothermique. Cette voie de synthèse a également permis d’obtenir des phases oxycarbures sous forme pulvérulente afin d’étudier les différents domaines de stabilité des solutions solides en fonction de la température de traitement thermique. L’ajout d’oxygène à la structure cristalline des carbures modifie le comportement de ces matériaux au frittage ainsi que leurs propriétés macroscopiques. Par conséquent, la détermination des limites des différentes solutions solides requiert l’utilisation d’une méthodologie précise. En couplant les différentes techniques de caractérisation (analyse chimique élémentaire, DRX, dosage de phases, MET), les compositions des phases oxycarbures synthésisées ont ainsi pu être déterminées. Afin de compléter cette étude, la réactivité de monolithes de carbure de titane en contact avec du dioxyde de titane a été étudiée lors de traitements thermiques de recuit sous charge en atmosphère confinée. L’identification des phases en équilibre constituent des données diagrammatiques nécessaires aux première tentatives de modélisation thermodynamique des diagrammes de phases ternaires Me-C-O (ou Me = Ti, Zr, Hf) par la méthode semi-empirique CALPHAD. / During this work, the reactivity of group IVb dioxides (TiO2, ZrO2, HfO2) in contact with turbostractic carbon has been investigated in order to understand the reactional mechanisms of the carbothermal reduction. This way of synthesis has also allowed us to obtain oxycarbides phases in powder form to study the different stability domains of solids solutions with respect to the temperature of heat treatment. The addition of oxygen within the crystalline structure modifies the sintering behaviour of these materials and also their macroscopic properties. Consequently, the determination of solid solution boundaries requires an accurate methodology. A broad panoply of characterization techniques are coupled (Elemental analysis, XRD, Quantification of phases, TEM) to determine the compositions of oxycarbide phases. In order to complete this study, the reactivity of titanium carbide monoliths in contact with titanium dioxide has been studied during heat treatments of annealing under pressure in confined atmosphere. The identification of phases in equilibrium constitutes diagrammatic data which are necessary for the preliminary attempts of thermodynamic modeling of ternary phases diagrams Me-C-O (where Me = Ti, Zr, Hf) using the semi-empirical CALPHAD method.
|
207 |
Asymptotic approaches in financial risk management / Approches asymptotiques en gestion des risques financiersGenin, Adrien 21 September 2018 (has links)
Cette thèse se propose de traiter de trois problèmes de gestion des risques financiers en utilisant différentes approches asymptotiques. La première partie présente un algorithme Monte Carlo d’échantillonnage d’importance pour la valorisation d’options asiatiques dans des modèles exponentiels de Lévy. La mesure optimale d’échantillonnage d’importance est obtenue grâce à la théorie des grandes déviations. La seconde partie présente l’étude du comportement asymptotique de la somme de n variables aléatoires positives et dépendantes dont la distribution est un mélange log-normal ainsi que des applications en gestion des risque de portefeuille d’actifs. Enfin, la dernière partie, présente une application de la notion de variations régulières pour l’analyse du comportement des queues de distribution d’un vecteur aléatoire dont les composantes suivent des distributions à queues épaisses et dont la structure de dépendance est modélisée par une copule Gaussienne. Ces résultats sont ensuite appliqués au comportement asymptotique d’un portefeuille d’options dans le modèle de Black-Scholes / This thesis focuses on three problems from the area of financial risk management, using various asymptotic approaches. The first part presents an importance sampling algorithm for Monte Carlo pricing of exotic options in exponential Lévy models. The optimal importance sampling measure is computed using techniques from the theory of large deviations. The second part uses the Laplace method to study the tail behavior of the sum of n dependent positive random variables, following a log-normal mixture distribution, with applications to portfolio risk management. Finally, the last part employs the notion of multivariate regular variation to analyze the tail behavior of a random vector with heavy-tailed components, whose dependence structure is modeled by a Gaussian copula. As application, we consider the tail behavior of a portfolio of options in the Black-Scholes model
|
208 |
Contributions à la diminution de consommation des circuits numériques / Low energy design of digital circuitsSlimani, Mariem 09 April 2013 (has links)
Ce travail de thèse traite différents aspects de la conception basse consommation. Tout d’abord, le concept du calcul réversible, considéré comme le premier essai pour un calcul sans dissipation, est présenté. Puis, je me suis intéressée aux dissipations des circuits complémentaires MOS puisque c’est la logique la plus couramment utilisée dans les circuits numériques. J’ai proposé deux approches pour réduire la consommation de ces circuits numériques. La première approche porte sur la réduction de la dissipation due aux glitchs. J’ai proposé une nouvelle méthode qui consiste à adapter les tensions de seuil des transistors pour assurer un filtrage optimal de ces glitchs. Les résultats de simulation montrent que nous obtenons jusqu’à16% de réduction des glitchs, ce qui représente une amélioration de 18% par rapport à l’état de l’art sur la base des circuits de référence ISCAS85. La deuxième approche porte sur la réduction de la dissipation obtenue en faisant fonctionner les transistors MOS en régime d’ inversion faible (sous-seuil). Les circuits fonctionnant dans ce régime représentent une solution idéale pour les applications ultra-basse-consommation. Par contre, l’une des préoccupations majeures est qu’ils sont plus sensibles aux dispersions des processus de fabrication, ce qui peut entraîner des problèmes de fiabilité. Je propose un modèle compact qui détermine le point d’énergie minimum de façon analytique, donc sans recourir à une simulation type SPICE, tout en étant suffisamment précise vis-à-vis de la variabilité(due à la dispersion). L’écart de résultat entre le modèle compact et un modèle SPICE complet est de 6%. / This thesis focuses on different aspects of ”Low Energy Design”. First, reversible logic, as it is the first attempt for low energy computing, is briefly dis- cussed. Then, we focus on dynamic energy saving in the combinational part of CMOS circuits. We propose a new method to reduce glitches based on dual threshold voltage technique. Simulation results report more than 16% average glitch reduction. We also show that combining dual-threshold to gate-sizingtechnique is very interesting for glitch filtering as it brings up to 27 % energy savings. In the third part of this dissertation, we have been interested in sub-threshold operation where the minimum energy can be achieved using a reduced supply voltage. Sub-threshold operation has been an efficient solution for energy-constrained applications with low speed requirements. However, it is very sensitive to process variability which can impact the robustness and effective performance of the circuit. We propose a model valid in sub and near threshold regions in order to correctly estimate the circuit performance in a variability aware analysis. We provide an analytical solution for the optimum supply voltage that minimizes the total energy per operation while considering variability effects. Spice simulations matches the analytical result to within 6%.
|
209 |
Apprentissage de structures dans les valeurs extrêmes en grande dimension / Discovering patterns in high-dimensional extremesChiapino, Maël 28 June 2018 (has links)
Nous présentons et étudions des méthodes d’apprentissage non-supervisé de phénomènes extrêmes multivariés en grande dimension. Dans le cas où chacune des distributions marginales d’un vecteur aléatoire est à queue lourde, l’étude de son comportement dans les régions extrêmes (i.e. loin de l’origine) ne peut plus se faire via les méthodes usuelles qui supposent une moyenne et une variance finies. La théorie des valeurs extrêmes offre alors un cadre adapté à cette étude, en donnant notamment une base théorique à la réduction de dimension à travers la mesure angulaire. La thèse s’articule autour de deux grandes étapes : - Réduire la dimension du problème en trouvant un résumé de la structure de dépendance dans les régions extrêmes. Cette étape vise en particulier à trouver les sous-groupes de composantes étant susceptible de dépasser un seuil élevé de façon simultané. - Modéliser la mesure angulaire par une densité de mélange qui suit une structure de dépendance déterminée à l’avance. Ces deux étapes permettent notamment de développer des méthodes de classification non-supervisée à travers la construction d’une matrice de similarité pour les points extrêmes. / We present and study unsupervised learning methods of multivariate extreme phenomena in high-dimension. Considering a random vector on which each marginal is heavy-tailed, the study of its behavior in extreme regions is no longer possible via usual methods that involve finite means and variances. Multivariate extreme value theory provides an adapted framework to this study. In particular it gives theoretical basis to dimension reduction through the angular measure. The thesis is divided in two main part: - Reduce the dimension by finding a simplified dependence structure in extreme regions. This step aim at recover subgroups of features that are likely to exceed large thresholds simultaneously. - Model the angular measure with a mixture distribution that follows a predefined dependence structure. These steps allow to develop new clustering methods for extreme points in high dimension.
|
210 |
Asynchronous optimization for machine learning / Optimisation asynchrone pour l'apprentissage statistiqueLeblond, Rémi 15 November 2018 (has links)
Les explosions combinées de la puissance computationnelle et de la quantité de données disponibles ont fait des algorithmes les nouveaux facteurs limitants en machine learning. L’objectif de cette thèse est donc d’introduire de nouvelles méthodes capables de tirer profit de quantités de données et de ressources computationnelles importantes. Nous présentons deux contributions indépendantes. Premièrement, nous développons des algorithmes d’optimisation rapides, adaptés aux avancées en architecture de calcul parallèle pour traiter des quantités massives de données. Nous introduisons un cadre d’analyse pour les algorithmes parallèles asynchrones, qui nous permet de faire des preuves correctes et simples. Nous démontrons son utilité en analysant les propriétés de convergence et d’accélération de deux nouveaux algorithmes. Asaga est une variante parallèle asynchrone et parcimonieuse de Saga, un algorithme à variance réduite qui a un taux de convergence linéaire rapide dans le cas d’un objectif lisse et fortement convexe. Dans les conditions adéquates, Asaga est linéairement plus rapide que Saga, même en l’absence de parcimonie. ProxAsaga est une extension d’Asaga au cas plus général où le terme de régularisation n’est pas lisse. ProxAsaga obtient aussi une accélération linéaire. Nous avons réalisé des expériences approfondies pour comparer nos algorithms à l’état de l’art. Deuxièmement, nous présentons de nouvelles méthodes adaptées à la prédiction structurée. Nous nous concentrons sur les réseaux de neurones récurrents (RNNs), dont l’algorithme d’entraînement traditionnel – basé sur le principe du maximum de vraisemblance (MLE) – présente plusieurs limitations. La fonction de coût associée ignore l’information contenue dans les métriques structurées ; de plus, elle entraîne des divergences entre l’entraînement et la prédiction. Nous proposons donc SeaRNN, un nouvel algorithme d’entraînement des RNNs inspiré de l’approche dite “learning to search”. SeaRNN repose sur une exploration de l’espace d’états pour définir des fonctions de coût globales-locales, plus proches de la métrique d’évaluation que l’objectif MLE. Les modèles entraînés avec SeaRNN ont de meilleures performances que ceux appris via MLE pour trois tâches difficiles, dont la traduction automatique. Enfin, nous étudions le comportement de ces modèles et effectuons une comparaison détaillée de notre nouvelle approche aux travaux de recherche connexes. / The impressive breakthroughs of the last two decades in the field of machine learning can be in large part attributed to the explosion of computing power and available data. These two limiting factors have been replaced by a new bottleneck: algorithms. The focus of this thesis is thus on introducing novel methods that can take advantage of high data quantity and computing power. We present two independent contributions. First, we develop and analyze novel fast optimization algorithms which take advantage of the advances in parallel computing architecture and can handle vast amounts of data. We introduce a new framework of analysis for asynchronous parallel incremental algorithms, which enable correct and simple proofs. We then demonstrate its usefulness by performing the convergence analysis for several methods, including two novel algorithms. Asaga is a sparse asynchronous parallel variant of the variance-reduced algorithm Saga which enjoys fast linear convergence rates on smooth and strongly convex objectives. We prove that it can be linearly faster than its sequential counterpart, even without sparsity assumptions. ProxAsaga is an extension of Asaga to the more general setting where the regularizer can be non-smooth. We prove that it can also achieve a linear speedup. We provide extensive experiments comparing our new algorithms to the current state-of-art. Second, we introduce new methods for complex structured prediction tasks. We focus on recurrent neural networks (RNNs), whose traditional training algorithm for RNNs – based on maximum likelihood estimation (MLE) – suffers from several issues. The associated surrogate training loss notably ignores the information contained in structured losses and introduces discrepancies between train and test times that may hurt performance. To alleviate these problems, we propose SeaRNN, a novel training algorithm for RNNs inspired by the “learning to search” approach to structured prediction. SeaRNN leverages test-alike search space exploration to introduce global-local losses that are closer to the test error than the MLE objective. We demonstrate improved performance over MLE on three challenging tasks, and provide several subsampling strategies to enable SeaRNN to scale to large-scale tasks, such as machine translation. Finally, after contrasting the behavior of SeaRNN models to MLE models, we conduct an in-depth comparison of our new approach to the related work.
|
Page generated in 0.1046 seconds