Les modèles de réseaux de neurones et en particulier les modèles profonds sont aujourd'hui l'un des modèles à l'état de l'art en apprentissage automatique et ses applications. Les réseaux de neurones profonds récents possèdent de nombreuses couches cachées ce qui augmente significativement le nombre total de paramètres. L'apprentissage de ce genre de modèles nécessite donc un grand nombre d'exemples étiquetés, qui ne sont pas toujours disponibles en pratique. Le sur-apprentissage est un des problèmes fondamentaux des réseaux de neurones, qui se produit lorsque le modèle apprend par coeur les données d'apprentissage, menant à des difficultés à généraliser sur de nouvelles données. Le problème du sur-apprentissage des réseaux de neurones est le thème principal abordé dans cette thèse. Dans la littérature, plusieurs solutions ont été proposées pour remédier à ce problème, tels que l'augmentation de données, l'arrêt prématuré de l'apprentissage ("early stopping"), ou encore des techniques plus spécifiques aux réseaux de neurones comme le "dropout" ou la "batch normalization". Dans cette thèse, nous abordons le sur-apprentissage des réseaux de neurones profonds sous l'angle de l'apprentissage de représentations, en considérant l'apprentissage avec peu de données. Pour aboutir à cet objectif, nous avons proposé trois différentes contributions. La première contribution, présentée dans le chapitre 2, concerne les problèmes à sorties structurées dans lesquels les variables de sortie sont à grande dimension et sont généralement liées par des relations structurelles. Notre proposition vise à exploiter ces relations structurelles en les apprenant de manière non-supervisée avec des autoencodeurs. Nous avons validé notre approche sur un problème de régression multiple appliquée à la détection de points d'intérêt dans des images de visages. Notre approche a montré une accélération de l'apprentissage des réseaux et une amélioration de leur généralisation. La deuxième contribution, présentée dans le chapitre 3, exploite la connaissance a priori sur les représentations à l'intérieur des couches cachées dans le cadre d'une tâche de classification. Cet à priori est basé sur la simple idée que les exemples d'une même classe doivent avoir la même représentation interne. Nous avons formalisé cet à priori sous la forme d'une pénalité que nous avons rajoutée à la fonction de perte. Des expérimentations empiriques sur la base MNIST et ses variantes ont montré des améliorations dans la généralisation des réseaux de neurones, particulièrement dans le cas où peu de données d'apprentissage sont utilisées. Notre troisième et dernière contribution, présentée dans le chapitre 4, montre l'intérêt du transfert d'apprentissage ("transfer learning") dans des applications dans lesquelles peu de données d'apprentissage sont disponibles. L'idée principale consiste à pré-apprendre les filtres d'un réseau à convolution sur une tâche source avec une grande base de données (ImageNet par exemple), pour les insérer par la suite dans un nouveau réseau sur la tâche cible. Dans le cadre d'une collaboration avec le centre de lutte contre le cancer "Henri Becquerel de Rouen", nous avons construit un système automatique basé sur ce type de transfert d'apprentissage pour une application médicale où l'on dispose d’un faible jeu de données étiquetées. Dans cette application, la tâche consiste à localiser la troisième vertèbre lombaire dans un examen de type scanner. L’utilisation du transfert d’apprentissage ainsi que de prétraitements et de post traitements adaptés a permis d’obtenir des bons résultats, autorisant la mise en oeuvre du modèle en routine clinique. / Neural network models and deep models are one of the leading and state of the art models in machine learning. They have been applied in many different domains. Most successful deep neural models are the ones with many layers which highly increases their number of parameters. Training such models requires a large number of training samples which is not always available. One of the fundamental issues in neural networks is overfitting which is the issue tackled in this thesis. Such problem often occurs when the training of large models is performed using few training samples. Many approaches have been proposed to prevent the network from overfitting and improve its generalization performance such as data augmentation, early stopping, parameters sharing, unsupervised learning, dropout, batch normalization, etc. In this thesis, we tackle the neural network overfitting issue from a representation learning perspective by considering the situation where few training samples are available which is the case of many real world applications. We propose three contributions. The first one presented in chapter 2 is dedicated to dealing with structured output problems to perform multivariate regression when the output variable y contains structural dependencies between its components. Our proposal aims mainly at exploiting these dependencies by learning them in an unsupervised way. Validated on a facial landmark detection problem, learning the structure of the output data has shown to improve the network generalization and speedup its training. The second contribution described in chapter 3 deals with the classification task where we propose to exploit prior knowledge about the internal representation of the hidden layers in neural networks. This prior is based on the idea that samples within the same class should have the same internal representation. We formulate this prior as a penalty that we add to the training cost to be minimized. Empirical experiments over MNIST and its variants showed an improvement of the network generalization when using only few training samples. Our last contribution presented in chapter 4 showed the interest of transfer learning in applications where only few samples are available. The idea consists in re-using the filters of pre-trained convolutional networks that have been trained on large datasets such as ImageNet. Such pre-trained filters are plugged into a new convolutional network with new dense layers. Then, the whole network is trained over a new task. In this contribution, we provide an automatic system based on such learning scheme with an application to medical domain. In this application, the task consists in localizing the third lumbar vertebra in a 3D CT scan. A pre-processing of the 3D CT scan to obtain a 2D representation and a post-processing to refine the decision are included in the proposed system. This work has been done in collaboration with the clinic "Rouen Henri Becquerel Center" who provided us with data

Les données d’expression génique sont reconnues comme étant de grande dimension, etnécessitant l’emploi de méthodes statistiques adaptées. Mais dans le contexte des essaisvaccinaux, d’autres mesures, comme par exemple les mesures de cytométrie en flux, sontégalement de grande dimension. De plus, ces données sont souvent mesurées de manièrelongitudinale. Ce travail est bâti sur l’idée que l’utilisation d’un maximum d’informationdisponible, en modélisant les connaissances a priori ainsi qu’en intégrant l’ensembledes différentes données disponibles, améliore l’inférence et l’interprétabilité des résultatsd’analyses statistiques en grande dimension. Tout d’abord, nous présentons une méthoded’analyse par groupe de gènes pour des données d’expression génique longitudinales. Ensuite,nous décrivons deux analyses intégratives dans deux études vaccinales. La premièremet en évidence une sous-expression des voies biologiques d’inflammation chez les patientsayant un rebond viral moins élevé à la suite d’un vaccin thérapeutique contre le VIH. Ladeuxième étude identifie un groupe de gènes lié au métabolisme lipidique dont l’impactsur la réponse à un vaccin contre la grippe semble régulé par la testostérone, et donc liéau sexe. Enfin, nous introduisons un nouveau modèle de mélange de distributions skew t àprocessus de Dirichlet pour l’identification de populations cellulaires à partir de donnéesde cytométrie en flux disponible notamment dans les essais vaccinaux. En outre, nousproposons une stratégie d’approximation séquentielle de la partition a posteriori dans lecas de mesures répétées. Ainsi, la reconnaissance automatique des populations cellulairespourrait permettre à la fois une avancée pratique pour le quotidien des immunologistesainsi qu’une interprétation plus précise des résultats d’expression génique après la priseen compte de l’ensemble des populations cellulaires. / Gene expression data is recognized as high-dimensional data that needs specific statisticaltools for its analysis. But in the context of vaccine trials, other measures, such asflow-cytometry measurements are also high-dimensional. In addition, such measurementsare often repeated over time. This work is built on the idea that using the maximum ofavailable information, by modeling prior knowledge and integrating all data at hand, willimprove the inference and the interpretation of biological results from high-dimensionaldata. First, we present an original methodological development, Time-course Gene SetAnalysis (TcGSA), for the analysis of longitudinal gene expression data, taking into accountprior biological knowledge in the form of predefined gene sets. Second, we describetwo integrative analyses of two different vaccine studies. The first study reveals lowerexpression of inflammatory pathways consistently associated with lower viral rebound followinga HIV therapeutic vaccine. The second study highlights the role of a testosteronemediated group of genes linked to lipid metabolism in sex differences in immunologicalresponse to a flu vaccine. Finally, we introduce a new model-based clustering approach forthe automated treatment of cell populations from flow-cytometry data, namely a Dirichletprocess mixture of skew t-distributions, with a sequential posterior approximation strategyfor dealing with repeated measurements. Hence, the automatic recognition of thecell populations could allow a practical improvement of the daily work of immunologistsas well as a better interpretation of gene expression data after taking into account thefrequency of all cell populations.

The manufacturing industry is accountable for a significant amount of carbon emissions released, and manufacturers experience pressure from stakeholders to address the sustainability issues and contribute to the UN Sustainable Development Goals. However, the lack of verified frameworks to achieve a sustainable supply chain makes it difficult to revisit their supply chain strategies. This study benchmarks how manufacturing companies in Sweden achieve sustainability in their supply chains by examining the a priori and post-implementation factors required, as well as how the sustainability initiatives are structured. The study is a multiple case study, which started with a literature review to gain a relevant understanding of the research problem. Semi-structured interviews were held with seven case companies in different sectors in the manufacturing industry and with two environmental consultants. The findings prove that manufacturing companies achieve sustainability in their supply chains by combining a priori and post-implementation factors with aspects regarding the structure of the initiatives. Top management commitment and management providing the necessary means to drive the initiative are crucial a priori factors. Moreover, the findings demonstrate to define ownership of the tasks in the initiative and that top management should integrate sustainability in the business model and have a budget for sustainability initiatives. Prioritizing the activities with the largest value creation is important, where a materiality analysis facilitates. Training employees and management on sustainability, and encouraging the employees to find green improvements are necessary. Post implementation, adopting a circular process is critical, while also ensuring sufficient resources throughout the initiatives. Moreover, the findings highlight strict governance with clearly defined ownership over time, the more decentralized the better. A cross-functional organization is advantageous for achieving the above-mentioned factors. The reason for pursuing an initiative must be defined to enable clear goals. Backcasting and a materiality analysis are useful tools to create measurable goals accordingly, and the goals should be scientifically approved by the Science Based Target initiative. In the execution, using previous experiences on internal and external platforms aid the case companies with their goal conflict prioritization. Lastly, frequent follow ups are critical, where the follow-up process should follow international standards. It is necessary to have a defined process for follow ups and have traceable follow ups to view the progress. / Tillverkningsindustrin står för en betydande mängd av världens koldioxidutsläpp, och tillverkningsbolag blir alltmer pressade av intressenter att ta itu med hållbarhetsfrågorna och bidra till FN:s globala mål för hållbar utveckling. Bristen på verifierade ramverk för att uppnå en hållbar försörjningskedja försvårar för företag att se över deras hållbarhetsstrategier. Denna benchmarkingstudie om hur tillverkningsföretag i Sverige uppnår hållbarhet i sina försörjningskedjor undersöker de faktorer som krävs innan och efter en implementering av ett hållbarhetsinitiativ, samt hur initiativen är strukturerade. Fallstudien började med en litteraturundersökning för att få relevant förståelse och kunskap om forskningsproblemet. Semistrukturerade intervjuer genomfördes med sju fallföretag inom olika sektorer i tillverkningsindustrin och med två miljökonsulter. Resultaten visar att tillverkningsföretag uppnår hållbarhet genom att kombinera kritiska faktorer innan och efter utförandet, samt att följa aspekter som rör initiativens struktur. Engagemang från högsta ledningen som ger nödvändiga medel för att driva initiativet är avgörande innan implementeringen. Dessutom visar resultaten att fallföretagen och högsta ledningen bör integrera hållbarhet i affärsmodellen och ha en budget för hållbarhetsinitiativ. Att prioritera aktiviteter med störst värdeskapande är viktigt, där en väsentlighetsanalys underlättar. Det är nödvändigt att utbilda medarbetarna och ledningen inom hållbarhet och uppmuntra de anställda att hitta miljöförbättringar. Efter implementeringen är det avgörande att arbeta i en cirkulär process, samtidigt som det säkerställs tillräckligt med resurser genom hela initiativet. Dessutom visar resultaten att en strikt styrning med tydligt definierat ägarskap över tid är essentiellt, och ju mer decentraliserat desto bättre. En tvärfunktionell organisation är fördelaktig för att uppnå ovan nämnda faktorer. Anledningen till att driva ett initiativ måste definieras för att möjliggöra tydliga mål. Backcasting och väsentlighetsanalyser är användbara verktyg för att skapa mätbara mål utifrån, samt att målen bör vara vetenskapligt godkända i enlighet med Science Based Target initiative. Under genomförandet anser fallföretagen att det är viktigt att beakta tidigare erfarenheter av att driva hållbarhetsinitiativ, då det underlättar målkonfliktprioriteringen. Slutligen är frekventa uppföljningar kritiska, där uppföljningsprocessen bör följa en internationell standard. Det är även nödvändigt att ha en definierad och spårbar process för uppföljningen för att tydligt se framstegen.

Ce rapport résume mes activités de recherche depuis l'obtention de mon doctorat. Je me suis penché sur le problème fondamental de l'estimation de signaux sources à partir de l'observation de mesures corrompues de ces signaux, dans des scénarios où les données mesurées peuvent être considérées comme une transformation linéaire inconnue des sources. Deux problèmes classiques de ce type sont la déconvolution ou égalisation de canaux introduisant des distorsions linéaires, et la séparation de sources dans des mélanges linéaires. L'approche dite aveugle essaie d'exploiter un moindre nombre d'hypothèses sur le problème à résoudre : celles-ci se réduisent typiquement à l'indépendance statistique des sources et l'inversibilité du canal ou de la matrice de mélange caractérisant le milieu de propagation. Malgré les avantages qui ont suscité l'intérêt pour ces techniques depuis les années soixante-dix, les critères aveugles présentent aussi quelques inconvénients importants, tels que l'existence d'ambiguïtés dans l'estimation, la présence d'extrema locaux associés à des solutions parasites, et un coût de calcul élevé souvent lié à une convergence lente. Ma recherche s'est consacrée à la conception de nouvelles techniques d'estimation de signal visant à pallier aux inconvénients de l'approche aveugle et donc à améliorer ses performances. Une attention particulière a été portée sur deux applications dans les télécommunications et le génie biomédical : l'égalisation et la séparation de sources dans des canaux de communications numériques, et l'extraction de l'activité auriculaire à partir des enregistrements de surface chez les patients souffrant de fibrillation auriculaire. La plupart des techniques proposées peuvent être considérées comme étant semi-aveugles, dans le sens où elles visent à exploiter des informations a priori sur le problème étudié autres que l'indépendance des sources ; par exemple, l'existence de symboles pilotes dans les systèmes de communications ou des propriétés spécifiques de la source atriale dans la fibrillation auriculaire. Dans les télécommunications, les approches que j'ai explorées incluent des solutions algébriques aux fonctions de contraste basées sur la modulation numérique, la combinaison de contrastes aveugles et supervisés dans des critères semi-aveugles, et une technique d'optimisation itérative basée sur un pas d'adaptation calculé algébriquement. Nos efforts visant à extraire le signal atrial dans des enregistrements de fibrillation auriculaire nous ont permis non seulement de dégager de nouvelles fonctions de contraste basées sur les statistiques de second ordre et d'ordre élevé incorporant l'information a priori sur les statistiques des sources, mais aussi d'aboutir à de nouveaux résultats d'impact clinique et physiologique sur ce trouble cardiaque encore mal compris. Ce rapport se conclut en proposant quelques perspectives pour la continuation de ces travaux. Ces recherches ont été menées en collaboration avec un nombre de collègues en France et à l'étranger, et ont également compris le co-encadrement de plusieurs doctorants. Les contributions qui en ont découlé ont donné lieu à plus de soixante publications dans des journaux, des conférences et des ouvrages collectifs à caractère international. Quelques-unes de ces publications sont jointes à ce document.

Cette thèse se consacre aux garanties de reconstruction et de l'analyse de sensibilité de régularisation variationnelle pour des problèmes inverses linéaires bruités. Il s'agit d'un problème d'optimisation convexe combinant un terme d'attache aux données et un terme de régularisation promouvant des solutions vivant dans un espace dit de faible complexité. Notre approche, basée sur la notion de fonctions partiellement lisses, permet l'étude d'une grande variété de régularisations comme par exemple la parcimonie de type analyse ou structurée, l'antiparcimonie et la structure de faible rang. Nous analysons tout d'abord la robustesse au bruit, à la fois en termes de distance entre les solutions et l'objet original, ainsi que la stabilité de l'espace modèle promu. Ensuite, nous étudions la stabilité de ces problèmes d'optimisation à des perturbations des observations. À partir d'observations aléatoires, nous construisons un estimateur non biaisé du risque afin d'obtenir un schéma de sélection de paramètre.

The archive as a site of ‘knowledge retrieval’* has long been the exemplary domain of astute historical inquiry. Following the recent ‘historic turn’* to address the politics of knowledge in the broader human and historical sciences, rather than its function as a site of ‘knowledge retrieval’*, I will reflect on the function of the archive as a site of ‘knowledge production’* in the writing of the histories of ancient Israel. Aligned within the conversations among historians and archivists and the new archival turn, the research will endeavour to offer a contribution to the debate on the topic of historical methodology of ancient Israel in the disciplines of Biblical Archaeology and History of ancient Israel. I will argue that an examination into the function of the archive as historical a priori in a study of the discourses on the Lachish reliefs in the disciplines discloses the practical and theoretical tenets that converge to construct knowledge on the Lachish reliefs and hence also knowledge on ancient Israel. The research will contend that a bounded formation of knowledge on the Lachish reliefs has evolved in the disciplines since the nineteenth century that is along the British imperial archival grain. * Terminology from Stoler, A L 2002. Colonial Archives and the Arts of Governance: On the Content in the Form, in Hamilton C, Harris, V, Taylor, J, Pickover, M, Reid, G & Saleh, R (eds) 2002. Refiguring the Archive. Cape Town: David Philip, 83-102. / Biblical and Ancient Studies / MA (Biblical Archaeology) / 1 online resource (xii, 194 leaves) ; illustrations (some color), maps

Many have used the principles of statistics and Bayesian decision theory to model specific learning problems. It is less common to see models of the processes of learning in general. One exception is the model of the supervised learning process known as the "Extended Bayesian Formalism" or EBF. This model is descriptive, in that it can describe and compare learning algorithms. Thus the EBF is capable of modeling both effective and ineffective learning algorithms. We extend the EBF to model un-supervised learning, semi-supervised learning, supervised learning, and empirical function optimization. We also generalize the utility model of the EBF to deal with non-deterministic outcomes, and with utility functions other than 0-1 loss. Finally, we modify the EBF to create a "prescriptive" learning model, meaning that, instead of describing existing algorithms, our model defines how learning should optimally take place. We call the resulting model the Unified Bayesian Decision Theoretical Model, or the UBDTM. WE show that this model can serve as a cohesive theory and framework in which a broad range of questions can be analyzed and studied. Such a broadly applicable unified theoretical framework is one of the major missing ingredients of machine learning theory. Using the UBDTM, we concentrate on supervised learning and empirical function optimization. We then use the UBDTM to reanalyze many important theoretical issues in Machine Learning, including No-Free-Lunch, utility implications, and active learning. We also point forward to future directions for using the UBDTM to model learnability, sample complexity, and ensembles. We also provide practical applications of the UBDTM by using the model to train a Bayesian variation to the CMAC supervised learner in closed form, to perform a practical empirical function optimization task, and as part of the guiding principles behind an ongoing project to create an electronic and print corpus of tagged ancient Syriac texts using active learning.

Prvotním cílem tohoto projektu bylo prostudovat problematiku jazykového modelování pro rozpoznávání řeči a techniky pro získávání textových dat z Webu. Text představuje základní techniky rozpoznávání řeči a detailněji popisuje jazykové modely založené na statistických metodách. Zvláště se práce zabývá kriterii pro vyhodnocení kvality jazykových modelů a systémů pro rozpoznávání řeči. Text dále popisuje modely a techniky dolování dat, zvláště vyhledávání informací. Dále jsou představeny problémy spojené se získávání dat z webu, a v kontrastu s tím je představen vyhledávač Google. Součástí projektu byl návrh a implementace systému pro získávání textu z webu, jehož detailnímu popisu je věnována náležitá pozornost. Nicméně, hlavním cílem práce bylo ověřit, zda data získaná z Webu mohou mít nějaký přínos pro rozpoznávání řeči. Popsané techniky se tak snaží najít optimální způsob, jak data získaná z Webu použít pro zlepšení ukázkových jazykových modelů, ale i modelů nasazených v reálných rozpoznávacích systémech.

Civilinės atsakomybės esmę nusako jos tikslai. Autorius darbe nagrinėja visas civilinės atsakomybės funkcijas, jų sudedamuosius elementus, pasireiškimą nacionalinėje ir užsienio valstybių doktrinoje ir praktikoje, probleminius klausimus. Atlikus tyrimą autorius daro išvadą, kad pagrindinės civilinės atsakomybės funkcijos yra kompensacija ir prevencija, nors pastaroji yra mažesnės reikšmės. Civilinės atsakomybės pobūdis lemia kompensacinės funkcijos neginčijamą svarbą žalos atlyginimo procese. Šios funkcijos esmę išreiškia visiško nuostolių atlyginimo principas. Visiškai atlyginti nuostolius – tai grąžinti nukentėjusįjį į tokią turtinę padėtį, kokia būtų nepadarius žalos. Kartu šis principas reiškia, kad iš žalos padariusio asmens negalima išieškoti daugiau, nei nukentėjusysis patyrė žalos, nes tai reikštų nepagrįstą nukentėjusiojo praturtėjimą. Darbe autorius taip pat aprašo, kaip kompensavimo funkcija pasireiškia Lietuvos teisinėje sistemoje ir koks funkcijos pasireiškimo būdas yra dažniausiai pasitaikantis praktikoje. Darbe analizuojama ir pabaigoje padaroma išvada, kad visiško nuostolių atlyginimo principas negali būti absoliutus. Visa apimtimi civilinės atsakomybės kompensavimo funkcija negali pasireikšti atlyginant neturtinę žalą, esant ribotai civilinei atsakomybei, o taip pat atsižvelgiant į būtinumą taikyti sąžiningumo, protingumo ir teisingumo principus. Prevencija pasireiškia dvejopai. Pirma, a priori, t.y. teisės pažeidėjas žinodamas apie gresiančią atsakomybę... [toliau žr. visą tekstą] / The essence of the civil liability is expressed by its goals. The paper deals with the functions of the civil liability, theirs constitutive elements, their manifestation in national and foreign countries doctrine and practise, problem issues. At the end of the research the author makes conclusion that the main functions of the civil liability is the compensation and the prevention though the last is of a secondary importance. The nature of the civil liability determines undisputable significance of the compensatory function in the loss indemnifying process. The essence of the compensatory function is expressing by the principle of the compensation of damages in full. To compensate damages in full – is return the aggrieved person in such property state that would be if there are not occurred damages. Together with above mentioned such principle means that from the person by whom the damage was caused can not be recover more than the aggrieved person has incurred losses because otherwise the aggrieved person shall be considered as in the position of the unjust enrichment. The author in the paper also describes how the compensatory function manifests itself in the Lithuanian legal system and which nature of such manifesting is mostly occurred in practise. In the paper is analysing and in the end is making by the author a conclusion that the principle of the compensation of damages in full cannot be absolute. The compensatory function fully cannot be expressed either in... [to full text]