L'apprentissage par renforcement est la réponse du domaine de l'apprentissage numérique au problème du contrôle optimal. Dans ce paradigme, un agent informatique apprend à contrôler un environnement en interagissant avec ce dernier. Il reçoit régulièrement une information locale de la qualité du contrôle effectué sous la forme d'une récompense numérique (ou signal de renforcement), et son objectif est de maximiser une fonction cumulante de ces récompenses sur le long terme, généralement modélisée par une fonction dite de valeur. Le choix des actions appliquées à l'environnement en fonction de sa configuration est appelé une politique, et la fonction de valeur quantifie donc la qualité de cette politique donc la qualité de cette politique. Ce parangon est très général, et permet de s'intéresser à un grand nombre d'applications, comme la gestion des flux de gaz dans un complexe sidérurgique, que nous abordons dans ce manuscrit. Cependant, sa mise en application pratique peut être difficile. Notamment, lorsque la description de l'environnement à contrôler est trop grande, une représentation exacte de la fonction de la valeur (ou de la politique) n'est pas possible. Dans ce cas se pose le problème de la généralisation (ou de l'approximation de fonction de valeur) : il faut d'une part concevoir des algorithmes dont la complexité algorithmique ne soit pas trop grande, et d'autre part être capable d'interférer le comportement à suivre pour une configuration de l'environnement inconnue lorsque des situations proches ont déjà été expérimentées. C'est le problème principal que nous traitons dans ce manuscrit, en proposant une approche inspirée du filtrage de Kalman / Reinforcement learning is the response of machine learning to the problem of optimal control. In this paradigm, an agent learns do control an environment by interacting with it. It receives evenly a numeric reward (or reinforcement signal), which is a local information about the quality of the control. The agent objective is to maximize a cumulative function of these rewards, generally modelled as a so-called value function. A policy specifies the action to be chosen in a particular configuration of the environment to be controlled, and thus the value function quantifies the quality of yhis policy. This paragon is very general, and it allows taking into account many applications. In this manuscript, we apply it to a gas flow management problem in the iron and steel industry. However, its application can be quite difficult. Notably, if the environment description is too large, an exact representation of the value function (or of the policy) is not possible. This problem is known as generalization (or value function approximation) : on the one hand, one has to design algorithms with low computational complexity, and on the other hand, one has to infer the behaviour the agent should have in an unknown configuration of the environment when close configurations have been experimented. This is the main problem we address in this manuscript, by introducing a family of algorithms inspired from Kalman filtering

Cálculos dos espectros (E,J ) e das propriedades eletromagnéticas (U,Q,BE2,BM1) são realizados para isótopos ímpares do Ni, e isótopos ímpares com N=82, empregando o modelo de camadas (MC), a aproximação BCS usual (uma e três quasipartículas), BCS com blocking (BBCS) e BCS projetada (PBCS). São examinadas, em detalhe, a importância das correlações de cinco quasipartículas e das correções introduzidas em BCS. Os graus de liberdade coletivos do caroço são introduzidos através do acoplamento quasipartículas cluster vibrador (ACQPV), de modo que nosso formalismo possibilita tanto a inclusão de blocking como a projeção em número de partículas no cluster de uma e três quasipartículas. São realizados cálculos comparativos entre a versão com blocking (BQPCV) e com projeção (PQPCV) para os espectros e as propriedades eletromagnéticas de isótopos ímpares do Zn. A versão projetada é aplicada a isótopos do Césio, na descrição dos estados 5/2+ gerados pelo acoplamento anômalo. / We calculate nuclear spectra (E,J ) and electromagnetic properties (U,,BE2,BM1) for odd Ni isotopes and N=82 odd nuclei, using the shell model (MC), the usual BCS approximation (one and three quasiparticles ), blocking (BBCS) and projected (PBCS) BCS. The effects of five quasiparticles correlations and BCS corrections are carefully investigated. We introduce the core collective degrees of freedom by the quasiparticle- cluster- vibration coupling (ACQPV) , in such a way that our treatment makes possible to introduce both blocking and particle- number- projection in one and three quasiparticle cluster. Blocking (BQPCV) and projected (PQPCV) versions are compared for spectra and electromagnetic properties of odd Zn isotopes . Projected version is applied to Cs isotopes, in order to describe the 5/2+ states generated by anomalous coupling.

Le développement d'un colorant naturel sensibilisateur pour les applications de cellules solaires a attiré beaucoup d'attention en raison de ses avantages inhérents, tels que son faible coût, la préparation simple, les ressources facilement disponibles et le respect de l'environnement. Toutefois, les principaux problèmes liés à la cellule solaire sensibilisée par colorant (CSSC) sont une faible photostabilité et une faible efficacité. Dans cette thèse, la bixine extrait de graines de rocou (Bixa orellana L.) a été utilisée comme sensibilisateur. Pour améliorer sa stabilité et la performance des CSSC, l’utilisation de la kaolinite activée a également été étudiée. Une CSSC à haute efficacité nécessite une photo-électrode avec une grande surface spécifique pour adsorber efficacement le colorant. Ainsi le couple TiO2/kaolinite a été préparé dans ce but. Il est considéré que la kaolinite peut confiner la lumière incidente à l'intérieur de l'électrode et peut aussi améliorer la conduction d'électrons. Dans ce système, la kaolinite a également un rôle important pour accroître la photostabilité de la bixine. Un autre facteur affectant les performances des CSSC est le rôle important de l’électrolyte. Dans ces travaux, les carbonates organiques cycliques qui ont une constante diélectrique élevée et aussi un point d’ébullition élevé (plus de 300oC) ont été évalués comme solvants de l’électrolyte. Ces travaux ont été réalisés en quatre étapes: (1) extraction, purification et caractérisation de la bixine, (2) préparation, activation et caractérisation de la kaolinite, (3) étude d’adsorption de la bixine sur la surface de la kaolinite et du TiO2, et (4) fabrication des cellules solaires sensibilisées par la bixine (CSSB). Les résultats montrent que l’extraction accélérée par solvant en utilisant un mélange de 60% de cyclohexane et 40% d’acétone peut être une méthode d’extraction efficace pour la bixine. Après purification par la chromatographie flash, la bixine est isolée avec un dégré de pureté de 99,86%. Elle est composée de 88,11% de cis-bixine et 11,75% de dicis- bixine. L’activation par l’ammoniaque de la kaolinite calcinée (la métakaolinite) est une bonne méthode pour produire la kaolinite avec une très grande surface spécifique et un rapport Si/Al élevé. L’étude d’absorption de la bixine a montré que le carbonate de diméthyle est un solvant approprié pour la bixine. Il permet à la bixine un coefficient d’absorption élevé et de bonnes caractéristiques d’adsorption sur la surface de la photo-électrode. L’adsorption de monocouche de la bixine sur la surface de TiO2 ou la surface de la kaolinite est plus favorable pour obtenir un rendement énergétique plus élevée. La présence de la métakaolinite activée dans la photo-électrode TiO2 a contribué à améliorer les performances et la stabilité de la CSSB par rapport à la CSSB fabriquée avec la photoélectrode de TiO2 pur. Ces performances sont reproductibles. L’électrolyte exerce un effet synergétique avec la métakaolinite activée en faveur de l’amélioration des paramètres électriques de la CSSB. Sous une intensité lumineuse de 200 W/m2, la CSSB comprenant une photo-électrode de TiO2 modifié par 5% de métakaolinite activée et un système électrolyte de KiI/I2 dans l’acétate de carbonate de glycérol produit un rendement énergétique de (0,050+0,006)%, ce qui est plus élevé que celui de la CSSB comprenant une photo-électrode de TiO2 pur (0,027+0,012)%. L’utilisation d’un couple redox de LiI/I2 dans l’acétate de carbonate de glycérol produit le rendement maximum (0,086+0,014)%. La fonction de stockage et de chargement d’énergie des CSSB fonctionnent bien jusqu’au troisième jour de l’analyse. A ce jour, la CSSB fabriquée en utilisant la photoélectrode de TiO2 modifiée par la métakaolinite activée est 16 fois plus stable que celle de la CSSB fabriquée en utilisant la photo-électrode de TiO2 pur.

Le diagnostic assisté par ordinateur du cancer du sein devient de plus en plus une nécessité vu la croissance exponentielle du nombre de mammographies effectuées chaque année. En particulier, le diagnostic des masses mammaires et leur classification suscitent actuellement un grand intérêt. En effet, la complexité des formes traitées et la difficulté rencontrée afin de les discerner nécessitent l'usage de descripteurs appropriés. Dans ce travail, des méthodes de caractérisation adaptées aux pathologies mammaires sont proposées ainsi que l'étude de différentes méthodes de classification est abordée. Afin de pouvoir analyser les formes des masses, une étude concernant les différentes techniques de segmentation est réalisée. Cette étude nous a permis de nous orienter vers le modèle du level set basé sur la minimisation de l'énergie de la région évolutive. Une fois les images sont segmentées, une étude des différents descripteurs proposés dans la littérature est menée. Cependant, ces propositions présentent certaines limites telles que la sensibilité au bruit, la non invariance aux transformations géométriques et la description générale et imprécise des lésions. Dans ce contexte, nous proposons un nouveau descripteur intitulé les points terminaux du squelette (SEP) afin de caractériser les spiculations du contour des masses tout en respectant l'invariance à l'échelle. Un deuxième descripteur nommé la sélection des protubérances (PS) est proposé. Il assure de même le critère d'invariance et la description précise de la rugosité du contour. Toutefois, le SEP et le PS sont sensibles au bruit. Une troisième proposition intitulée le descripteur des masses spiculées (SMD) assurant une bonne robustesse au bruit est alors réalisée. Dans l'objectif de comparer différents descripteurs, une étude comparative entre différents classifieurs est effectuée. Les séparateurs à vaste marge (SVM) fournissent pour tous les descripteurs considérés le meilleur résultat de classification. Finalement, les descripteurs proposés ainsi que d'autres couramment utilisés dans le domaine du cancer du sein sont comparés afin de tester leur capacité à caractériser convenablement le contour des masses en question. La performance des trois descripteurs proposés et notamment le SMD est mise en évidence à travers les comparaisons effectuées. / The computer-aided diagnosis of breast cancer is becoming increasingly a necessity given the exponential growth of performed mammograms. In particular, the breast mass diagnosis and classification arouse nowadays a great interest. Indeed, the complexity of processed forms and the difficulty to distinguish between them require the use of appropriate descriptors. In this work, characterization methods suitable for breast pathologies are proposed and the study of different classification methods is addressed. In order to analyze the mass shapes, a study about the different segmentation techniques in the context of breast mass detection is achieved. This study allows to adopt the level set model based on minimization of region-scalable fitting energy. Once the images are segmented, a study of various descriptors proposed inthe literature is conducted. Nevertheless, these proposals have some limitations such as sensitivity to noise, non invariance to geometric transformations and imprecise and general description of lesions. In this context, we propose a novel descriptor entitled the Skeleton End Points descriptor (SEP) in order to better characterize spiculations in mass contour while respecting the scale invariance. A second descriptor named the Protuberance Selection (PS) is proposed. It ensures also the same invariance criterion and the accurate description of the contour roughness. However, SEP and PS proposals are sensitive to noise. A third proposal entitled Spiculated Mass Descriptor (SMD) which has good robustness to noise is then carried out. In order to compare different descriptors, a comparative study between different classifiers is performed. The Support Vector Machine (SVM) provides for all considered descriptors the best classification result. Finally, the proposed descriptors and others commonly used in the breast cancer field are compared to test their ability to characterize the considered mass contours.

Prostate Apoptosis Response-4 (Par-4) is a conserved and ubiquitous tumor-suppressor factor which can selectively induce apoptosis in tumor cells, while leaving normal cells unaffected. While Par-4 is well established as a tumor-suppressor, there have yet been no formal investigations as to whether it has a physiologic role in normal tissues. Early observations of Par-4 knockout mouse lines yielded that the adult mice displayed significant weight gain and fat accumulation compared to their wild-type counterparts while on a conventional chow diet. Interestingly, obese mouse and human subjects were found to exhibit reduced expression of Par-4 in adipose tissue as well as lower levels of secreted Par-4 in their plasma, compared to samples collected from lean human subjects. Subsequent in vitro experiments would show that loss of Par-4 has significant impact upon adipogenesis. Mechanistically, Par-4 loss during adipogenesis in cell culture correlated inversely with expression of the adipogenic transcription factor PPARγ. Subsequent experiments would demonstrate that Par-4 transcriptionally represses PPARγ at the promoter level. Thereby, we conclude that Par-4 regulates adipogenesis and lipid accumulation through transcriptional repression of the PPARγ promoter. This research utilizes novel models and may be used as the basis for Par-4-mediated therapies for obesity and metabolic disease.

Safety-critical systems depend on the fact that their software components provide services that behave correctly (i.e. satisfy their requirements). Additionally, in many cases, these systems have to be adapted or reconfigured in case of failures or when changes in requirements or in quality of service occur. When these changes appear at the software level, they can be handled by the notion of substitution. Indeed, the software component of the source system can be substituted by another software component to build a new target system. In the case of safety-critical systems, it is mandatory that this operation enforces that the new target system behaves correctly by preserving the safety properties of the source system during and after the substitution operation. In this thesis, the studied systems are modeled as state-transition systems. In order to model system substitution, the Event-B method has been selected as it is well suited to model such state-transition systems and it provides the benefits of refinement, proof and the availability of a strong tooling with the Rodin Platform. This thesis provides a generic model for system substitution that entails different situations like cold start and warm start as well as the possibility of system degradation, upgrade or equivalence substitutions. This proposal is first used to formalize substitution in the case of discrete systems applied to web services compensation and allowed modeling correct compensation. Then, it is also used for systems characterized by continuous behaviors like hybrid systems. To model continuous behaviors with Event-B, the Theory plug-in for Rodin is investigated and proved successful for modeling hybrid systems. Afterwards, a correct substitution mechanism for systems with continuous behaviors is proposed. A safety envelope for the output of the system is taken as the safety requirement. Finally, the proposed approach is generalized, enabling the derivation of the previously defined models for web services compensation through refinement, and the reuse of proofs across system models.

Afin de subvenir aux besoins énergétiques des nouvelles technologies électroniques nomades et miniatures, le développement de microdispositifs de stockage électrochimique d’énergie suffisamment performants telles que les microbatteries (MB) Li-ion est nécessaire. Pour ce faire, l’élaboration de MB Li-ion en topologie tridimensionnelle est une voie attractive qui permet le déploiement de surface spécifique tout en conservant l’empreinte surfacique initiale (de l’ordre du mm2), exacerbant ainsi la densité d’énergie délivrée par la MB. Cette solution est rendue possible grâce au développement de technique de dépôt couches minces telle que l’ALD qui est capable de réaliser des dépôts conformes. Dans le cadre de cette thèse, un électrolyte solide (Li3PO4) a été développé et optimisé de façon conforme, par ALD, sur un substrat de silicium structuré au préalable par des techniques de micro-fabrication. Une électrode positive de type spinelle (LiMn1.5Ni0.5O4) a également été élaborée par pulvérisation cathodique RF. Les performances ont été optimisées en fonction des paramètres de dépôt sur un substrat Si/Al2O3/Pt. Une capacité volumique de 63 µAh.cm-2.µm-1 a ainsi été mesurée pour un dépôt de 420 nm à 0,01 mbar recuit sous air à 700°C. Enfin, un prototype de cellule électrochimique en vue d’un suivi in situ/operando par DRX d’une électrode en couche mince, a été proposé. / In order to address the demand on energetic needs to sustain nomad and miniaturized electronic devices, micro-devices performance for energy storage such as Li-ion microbatteries (MB) have to be improved. An attractive way to meet the required performance consists in using 3D topology increasing the specific surface while keeping the initial surface footprint (in the mm2 range) which is significantly enhancing the delivered energy density of the MB. The development of thin film technologies such as ALD enabling conformal deposition makes it possible. In the framework of this thesis, a solid electrolyte (Li3PO4) has been developed and optimized by ALD, on a 3D micro-architectured silicon substrate obtained by microfabrication techniques. A positive electrode (LiMn1.5Ni0.5O4) has also been developed and optimized as a function of the deposition parameter by RF sputtering deposition on a Si/Al2O3/Pt substrate. A volumetric capacity of 63 µAh.cm-2.µm-1 has been measured for a film of 420 nm thick obtained at 0.01 mbar and then annealed at 700°C under air atmosphere. Finally, a prototype has been proposed to realize an electrochemical cell for the purpose of in situ/operando follow-up by XRD of a thin film electrode deposited on silicon substrate.

Avec la croissance exponentielle de la quantité de données, l’échantillonnage est une méthode pertinente pour étudier les populations. Parfois, nous avons besoin d’échantillonner un grand nombre d’objets d’une part pour exclure la possibilité d’un manque d’informations clés et d’autre part pour générer des résultats plus précis. Le problème réside dans le fait que l’échantillonnage d’un trop grand nombre d’individus peut constituer une perte de temps.Dans cette thèse, notre objectif est de chercher à établir des ponts entre la statistique et le k-processus ponctuel déterminantal(k-DPP) qui est défini via un noyau. Nous proposons trois projets complémentaires pour l’échantillonnage de grands ensembles de données en nous basant sur les k-DPPs. Le but est de sélectionner des ensembles variés qui couvrent un ensemble d’objets beaucoup plus grand en temps polynomial. Cela peut être réalisé en construisant différentes chaînes de Markov où les k-DPPs sont les lois stationnaires.Le premier projet consiste à appliquer les processus déterminantaux à la sélection d’espèces diverses dans un ensemble d’espèces décrites par un arbre phylogénétique. En définissant le noyau du k-DPP comme un noyau d’intersection, les résultats fournissent une borne polynomiale sur le temps de mélange qui dépend de la hauteur de l’arbre phylogénétique.Le second projet vise à utiliser le k-DPP dans un problème d’échantillonnage de sommets sur un graphe connecté de grande taille. La pseudo-inverse de la matrice Laplacienne normalisée est choisie d’étudier la vitesse de convergence de la chaîne de Markov créée pour l’échantillonnage de la loi stationnaire k-DPP. Le temps de mélange résultant est borné sous certaines conditions sur les valeurs propres de la matrice Laplacienne.Le troisième sujet porte sur l’utilisation des k-DPPs dans la planification d’expérience avec comme objets d’étude plus spécifiques les hypercubes latins d’ordre n et de dimension d. La clé est de trouver un noyau positif qui préserve le contrainte de ce plan c’est-à-dire qui préserve le fait que chaque point se trouve exactement une fois dans chaque hyperplan. Ensuite, en créant une nouvelle chaîne de Markov dont le n-DPP est sa loi stationnaire, nous déterminons le nombre d’étapes nécessaires pour construire un hypercube latin d’ordre n selon le n-DPP. / With the exponentially growing amount of data, sampling remains the most relevant method to learn about populations. Sometimes, larger sample size is needed to generate more precise results and to exclude the possibility of missing key information. The problem lies in the fact that sampling large number may be a principal reason of wasting time.In this thesis, our aim is to build bridges between applications of statistics and k-Determinantal Point Process(k-DPP) which is defined through a matrix kernel. We have proposed different applications for sampling large data sets basing on k-DPP, which is a conditional DPP that models only sets of cardinality k. The goal is to select diverse sets that cover a much greater set of objects in polynomial time. This can be achieved by constructing different Markov chains which have the k-DPPs as their stationary distribution.The first application consists in sampling a subset of species in a phylogenetic tree by avoiding redundancy. By defining the k-DPP via an intersection kernel, the results provide a fast mixing sampler for k-DPP, for which a polynomial bound on the mixing time is presented and depends on the height of the phylogenetic tree.The second application aims to clarify how k-DPPs offer a powerful approach to find a diverse subset of nodes in large connected graph which authorizes getting an outline of different types of information related to the ground set. A polynomial bound on the mixing time of the proposed Markov chain is given where the kernel used here is the Moore-Penrose pseudo-inverse of the normalized Laplacian matrix. The resulting mixing time is attained under certain conditions on the eigenvalues of the Laplacian matrix. The third one purposes to use the fixed cardinality DPP in experimental designs as a tool to study a Latin Hypercube Sampling(LHS) of order n. The key is to propose a DPP kernel that establishes the negative correlations between the selected points and preserve the constraint of the design which is strictly confirmed by the occurrence of each point exactly once in each hyperplane. Then by creating a new Markov chain which has n-DPP as its stationary distribution, we determine the number of steps required to build a LHS with accordance to n-DPP.

Cette étude traite d’une machine doublement saillante à aimants permanents, utilisée en entraînement direct pour application hydrolienne. Dans un premier temps, différentes approches technologiques utilisées pour l’exploitation hydrolienne sont passées en revue. Ensuite, la génératrice est modélisée par approche circuit. Cette méthode permet de tenir compte de la saturation magnétique et de la variation d’entrefer, tout en offrant un compromis intéressant entre la précision des résultats et le temps de simulation. Le modèle de la DSPM est ensuite couplé avec son convertisseur. Un modèle thermique est également mis en place. Ce modèle est ensuite utilisé pour optimiser simultanément la denture de la DSPM et les paramètres de la commande afin de maximiser le couple et de réduire ses ondulations, importantes dans les machines à saillance. Les paramètres de commande sont également optimisés sur un cycle hydrolien. Le premier critère à minimiser sur cycle concerne les ondulations de couple. Les pertes Joule sont ensuite rajoutées comme second critère. Des fronts de Pareto sont alors déduits et analysés. Finalement, des essais à vide et en charge sur un prototype 2 kW, 50 tr/min ont permis de valider le modèle théorique développé. / This study deals with a doubly salient permanent magnet machine, used in direct drive for tidal application. First, different technological approaches used for tidal power generation are reviewed. Then, the generator is modelled by circuit approach. This method allows for magnetic saturation and airgap variation to be taken into account, while offering an interesting compromise between the accuracy of the results and the simulation time. The DSPM model is then coupled with its converter. A thermal model is also implemented. This model is then used to optimize simultaneously the DSPM teeth and its control parameters in order to maximize the torque and reduce its ripples which are important in salient machines. The control parameters are also optimized on a tidal cycle. The first criterion to be minimized on cycle is the torque ripples. Joule losses are added as a second criterion and Pareto fronts are deduced and analyzed. Finally, tests at no-load and also at load operations on a prototype 2 kW, 50 rpm validate the theoretical model developed

Les microcapsules de polyélectrolytes préparées par dépôt couche-par-couche suscitent depuis plusieurs années un intérêt croissant lié à leurs applications potentielles dans divers domaines, notamment ceux des biotechnologies et de la libération contrôlée de médicaments. L'objectif de ce travail était de développer de nouvelles microcapsules à base d'acide hyaluronique (HA), un polysaccharide biocompatible et biodégradable. La première partie de ce travail a consisté à optimiser les conditions de synthèse de microcapsules à partir de HA et de poly(allylamine) (PAH). Le PAH a par la suite été remplacé par des polymères biocompatibles : la poly(L-lysine (PLL), ou un dérivé quaternisé du chitosane (QCH). L'influence du partenaire polycationique sur la morphologie, ainsi que les propriétés de stabilité, perméabilité et de dégradation enzymatique des capsules a été analysée. L'encapsulation d'un dextrane comme médicament modèle a par ailleurs été démontrée.