L’efficacité des données est un défi clé pour l’apprentissage par renforcement profond (DRL), limitant souvent son utilisation aux environnements où des quantités illimitées de données simulées sont disponibles. J’envisage une gamme de solutions pour résoudre ce problème. Nous commençons par proposer une méthode permettant d’exploiter des données non étiquetées pour pré-entraîner des représentations qui sont ensuite affinées sur une petite quantité de données spécifiques à la tâche. Pour apprendre des représentations qui capturent divers aspects de la tâche sous-jacente, j’emploie une combinaison de modélisation des dynamiques latentes et de RL conditionné par objectif non supervisé. Cette approche surpasse nettement les travaux antérieurs combinant le pré-entraînement des représentations hors ligne avec l’affinement spécifique à la tâche, et se compare favorablement à d’autres méthodes de pré-entraînement nécessitant des ordres de grandeur plus de données. Nous identifions ensuite et discutons d’un défaut commun des algorithmes de DRL : une tendance à se fier aux interactions précoces et à ignorer les preuves utiles rencontrées plus tard. Les agents de DRL encourent un risque de surapprentissage par rapport aux expériences antérieures, affectant négativement le reste du processus d’apprentissage. Inspirés par les sciences cognitives, je fais référence à cet effet comme étant le biais de primauté. Nous proposons un mécanisme simple mais généralement applicable qui s’attaque au biais de primauté en réinitialisant périodiquement une partie de l’agent. Nous appliquons ce mécanisme aux algorithmes dans les domaines d’action discrets (Atari 100k) et continus (DeepMind Control Suite), améliorant constamment leurs performances. Nous démontrons ensuite que, poussée à l’extrême, cette approche basée sur la réinitialisation permet d’augmenter considérablement les ressources computationnelles même avec des données limitées, un phénomène que j’appelle franchir le mur du ratio de relecture. Les algorithmes basés sur cette stratégie sont capables d’exhiber un apprentissage beaucoup plus efficace que les travaux antérieurs, et permettent dans de nombreux cas un échange libre entre computation et données. Enfin, je conclue en démontrant qu’il est également possible de mettre à l’échelle les réseaux neuronaux utilisés dans le RL efficace en termes de données, simplement en modifiant certains hyperparamètres. En combinaison avec les autres avancées réalisées jusqu’à présent, cela nous permet d’atteindre une efficacité d’apprentissage surhumaine sur Atari 100k même en apprenant purement à partir de zéro et sans utiliser un modèle pour la planification. / Data efficiency is a key challenge for deep reinforcement learning (RL), often limiting its use to settings where unlimited quantities of simulated data are available. I consider a range of solutions to address this problem. I begin by proposing a method to leverage unlabeled data to pretrain representations that are then finetuned on a small amount of task-specific data. To learn representations that capture diverse aspects of the underlying task, I employ a combination of latent dynamics modeling and unsupervised goal-conditioned RL. This approach significantly surpasses prior work combining offline representation pretraining with task-specific finetuning and compares favorably with other pretraining methods that require orders of magnitude more data. I then identify and discuss a common flaw of deep RL algorithms: a tendency to rely on early interactions and ignore useful evidence encountered later. Deep RL agents incur a risk of overfitting to earlier experiences, negatively affecting the rest of the learning process. Inspired by cognitive science, I refer to this effect as the primacy bias. I propose a simple yet generally applicable mechanism that tackles the primacy bias by periodically resetting a part of the agent. I apply this mechanism to algorithms in both discrete (Atari 100k) and continuous action (DeepMind Control Suite) domains, consistently improving their performance. I then demonstrate that when taken to the extreme, this reset-based approach allows computational resources to be scaled up enormously even with limited data, a phenomenon which I call breaking the replay ratio barrier. Algorithms based on this strategy are able to exhibit far more efficient learning than prior work and allow computation and data to be freely exchanged in many cases. Finally, I conclude by demonstrating that it is also possible to scale up the neural networks used in sample-efficient RL, simply by changing certain hyperparameters. In combination with the other advances made so far, this allows us to achieve super-human learning efficiency on Atari 100k even when learning purely from scratch and not using a model for planning.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal. / Cette étude avait pour buts de (1) décrire les comportements de promotion de la santé des aidantes d'une personne atteinte d'un trouble mental, (2) vérifier la relation entre, d'une part leurs caractéristiques personnelles, leur perception d'auto-efficacité, leurs influences interpersonnelles, leurs influences situationnelles et, d'autre part leurs comportements de promotion de la santé et finalement, (3) vérifier la contribution des variables à l'étude aux comportements de promotion de la santé des aidantes. Basée sur le modèle en soins infirmiers McGill (1982) et le modèle théorique de promotion de la santé de Pender (1996), cette étude descriptive corrélationnelle a été réalisée auprès d'un échantillon de convenance composé de 61 aidantes. Les participantes ont répondu à un questionnaire concernant leurs caractéristiques personnelles et à des outils de mesure permettant d'évaluer leur perception d'auto-efficacité (Self-Rated for Health Practice Scale), leurs influences interpersonnelles, leurs influences situationnelles (Family Experiences Interview Schedule Short-Form) et leurs comportements de promotion de la santé (Health Promoting Lifestyle Profile 11). Pour ce qui est des comportements de promotion de la santé, le score global moyen indique que le plus fort pourcentage (62%) des aidantes pratiquent quelquefois des comportements de promotion de la santé. Alors que les comportements les plus pratiqués sont ceux concernant une saine alimentation, la croissance personnelle et les relations interpersonnelles satisfaisantes, la pratique des comportements concernant la responsabilité pour leur santé, la gestion du stress et les exercices physiques s'avère occasionnelle. Parmi les caractéristiques personnelles, le nombre d'heures consacrées au travail rémunéré par les aidantes s'avère le seul facteur associé à l'échelle totale des comportements de promotion de la santé (r=-0,26p<0,05) Par ailleurs, la relation entre la perception d'auto-efficacité spécifique des aidantes et leurs comportements de promotion de la santé est fortement significative (r=0,65,p<0,01) Par contre, il ne ressort aucune relation significative entre les influences interpersonnelles et les comportements de promotion de la santé des aidantes. En outre, iv certaines sous-dimensions des influences situationnelles telles que le fardeau subjectif lié à la supervision des comportements dérangeants du proche, les réactions affectives et les inquiétudes des aidantes présentent des corrélations significatives négatives variant de r=-0,26 à r=-0,31 avec les comportements concernant la gestion du stress et les relations interpersonnelles satisfaisantes. Finalement, l'ensemble des variables explique 41% de la variance des comportements de promotion de la santé des aidantes. Seuls, la perception d'auto-efficacité spécifique aux comportements de promotion de la santé (β=0,59, t=5,28, p<0,000) et l'impact du rôle d'aidante sur leur routine quotidienne (β=-0,25, t=-2,15, p<0,05) s'avèrent des prédicteurs significatifs de ces comportements. Pour faire suite à ces résultats, il est recommandé que les interventions infirmières stimulent l'engagement des aidantes à prendre soin de leur propre santé et favorisent l'apprentissage ainsi que l'intégration à leur mode de vie de comportements concernant la gestion du stress, les relations interpersonnelles satisfaisantes et les exercices physiques. Pour ce faire, il importe de rehausser la perception d'auto-efficacité spécifique aux comportements ciblés des aidantes et de tenir compte de l'impact du rôle d'aidante sur leur routine quotidienne. Finalement, il ressort que les infirmières ont à clarifier leur rôle de promotion de la santé auprès des aidantes car il semble méconnu de leur part.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal. / Sous l'angle de la situation pratique que constitue le contrôle des vomissements induits par la chimiothérapie, notre objectif de recherche consiste à explorer les approches qui faciliteraient la prise de décision face aux interventions de santé. Plus spécifiquement, nous avons évalué de façon prospective, dans un contexte d'utilisation réelle, les impacts économiques et sur la qualité de vie des traitements antiémétiques utilisés pour prévenir les vomissements entraînés par des agents de chimiothérapie modérément émétiques utilisés dans le cancer du sein. D'autre part, afin de répondre aux limites de cette première approche pour la prise de décision, nous avons estimé quelle serait la valeur monétaire accordée à des améliorations de scores de-qualité de vie, dans l'optique de pouvoir comparer le coût des traitements antiémétiques à leurs résultats mesurés en terme de qualité de vie et convertis sur une base monétaire commune. Les nausées et vomissements induits par la chimiothérapie constituent une préoccupation de première importance pour les patients traités pour le cancer. Dans un contexte respectant le plus possible la pratique courante nous avons comparé de façon prospective un traitement antiémétique conventionnel à base de métoclopramide à un traitement à base d'ondansétron, un nouvel agent antiémétique, chez des patientes traitées pour le cancer du sein avec une chimiothérapie modérément émétique. Le contrôle complet des vomissements a été considéré comme mesure d'efficacité. Une évaluation de la qualité de vie a été effectuée à l'aide de l'instrument QLQ-C30 développé par l'EORTC*. Le coût des traitements a été calculé en adoptant la perspective du centre hospitalier. Un meilleur contrôle des vomissements immédiats a été obtenu avec les régimes à base d’ondansétron qu'avec ceux à base de métoclopramide (77% vs 32%). Par ailleurs, le ratio coût-efficacité différentiel a été évalué à 57$ pour chaque contrôle des vomissements immédiats additionnel obtenu avec l'ondansétron. La qualité de vie globale a diminué de façon significativement plus importante chez les patientes qui ont vomi que chez celles qui n'ont pas vomi. Nous avons, d'autre part, étudié par le biais de la propension à payer, la valeur qui serait accordée à des améliorations de scores de qualité de vie. Cette évaluation a été effectuée auprès d'un échantillon de la population active à l'aide d'un questionnaire auto-administré. Ce dernier présentait différents états de santé pour lesquels les répondants devaient fournir une évaluation de la qualité de vie et un montant de propension à payer pour une intervention hypothétique qui permettrait de passer de cet état de santé à un état de parfaite santé. Nous avons identifié des corrélations significatives entre les montants de propension à payer, les scores de qualité de vie et le revenu familial. Nous avons conséquemment développé un modèle de régression permettant de prédire un montant de propension à payer à partir du score de qualité de vie et du revenu familial. À titre exploratoire, nous avons calculé, à l'aide de ce modèle, une valeur monétaire correspondant au bénéfice découlant du contrôle des vomissements similaire à celui observé dans la première étude. De cette façon les coûts supplémentaires induits par l'ondansétron peuvent être comparés à la valeur estimée de son bénéfice. En identifiant les limites de l'analyse coût-efficacité classique pour la prise de décision et en explorant les possibilités de traduire en valeur monétaire des effets relatifs à la qualité de vie, nos travaux apportent une contribution au débat sur l'intégration des résultats des évaluations économiques à la prise de décision.

Cette recherche s’inscrit dans la lignée de celles qui étudient l’utilisation des données probantes de recherches dans le processus d’élaboration des politiques éducatives nationales. Elle a ceci d’original qu’elle déplace cette problématique à un niveau encore inexploré, le niveau global. À ce niveau, les organisations internationales jouent le rôle d’intermédiaire entre les lieux de production du savoir et les lieux de décision. De ce fait, la nature et les fondements de leurs recommandations méritent d’être examinés avec attention. Plus spécifiquement, et en raison du fait que l'amélioration de la qualité des enseignants est devenue « une priorité absolue » des programmes politiques nationaux et internationaux (UNESCO, 2014), cette étude décrit et analyse la nature et les fondements des orientations pédagogiques privilégiées par trois des organisations internationales les plus influentes dans le domaine de l'éducation : l’Organisation des Nations Unies pour l'éducation, la science et la culture (UNESCO), l’Organisation de coopération et de développement économiques (OCDE) et la Banque mondiale. Pour ce faire, elle fait appel à deux types de données. D'abord, et pour l'essentiel, le premier repose sur une analyse documentaire de rapports publiés par ces trois organismes à propos de l’amélioration de la qualité des enseignants et de leur formation (N = 117). Le second type de données est constitué d'entretiens individuels directifs (N = 15) auprès d’acteurs impliqués dans des travaux également consacrés aux enseignants et à leur formation. Les résultats montrent que l’UNESCO, l’OCDE et la Banque mondiale exploitent de manière peu fréquente les données probantes de recherches sur l’efficacité de l’enseignement. Elles produisent un discours pédagogique sommaire en faveur des approches « (socio)-constructivistes » dites centrées sur l’apprenant. Ainsi, prises entre le désir d'améliorer la qualité des enseignants et les principes d'une posture pédagogique qui récuse l’existence des pratiques exemplaires, les trois organisations se trouvent présentement dans une impasse. / This dissertation follows from a body of work that examines the use of scientific research evidence in national education policy making. Its originality lies in the fact that it tackles this issue at a level yet to be explored, i.e., the global level. At that level, international organizations play the role of intermediaries between knowledge production and decision-making arenas. The nature and foundations of their recommendations therefore need to be examined carefully. More specifically, and given that improving the quality of teachers has become an “absolute priority” in national and international policies (UNESCO, 2014), this doctoral research describes and analyzes the nature and foundations of the pedagogical orientations put forward by three of the most influential international organizations in the education sector: UNESCO, the Organization for economic cooperation and development (OECD), and the World Bank. Two types of data were exploited to this end. The first and main type consists of reports published by these organizations on improving teacher quality and teacher education (N = 117). The second type of data was generated through structured interviews with individuals (N = 15) working for the three organizations and involved in programs or projects targeting teachers and their training. The results of the analyses show that UNESCO, OECD and the World Bank seldom us scientific research evidence on teaching effectiveness. Instead, they produce a basic pedagogic discourse in favor of “(socio)-constructivist”, also called learner-centered, approaches. They are thus caught between the desire to improve teacher quality and the principles of a pedagogic stance that rejects the existence of exemplary practices; and, as a result, find themselves in an impasse.

Ce mémoire porte sur le déploiement optimal de la chaîne d'approvisionnement du gaz naturel renouvelable (GNR) de source agricole au Québec. Il s'agit de déterminer s'il est préférable de construire un réseau centralisé où la biomasse est transformée en GNR dans une grande usine ou de plutôt décentraliser la transformation en GNR dans de petites usines près des sources agricoles. J'étudie le problème au moyen de la programmation linéaire puisqu'il peut être modélisé comme un problème d'emplacement-allocation. Je résous le modèle en employant la technique mathématique la plus répandue : la combinaison d'un algorithme par séparation et évaluation avec la méthode du simplexe. Je trouve que la chaîne d'approvisionnement optimale est centralisée. Le modèle permet également de tracer une courbe des coûts de production et une courbe de coût unitaire.

Le mode de conservation affecte le contenu en glucides solubles et la solubilité de la protéine brute (PB), modifiant ainsi la disponibilité de l'énergie et de la PB dans le rumen, ainsi que le métabolisme protéique chez la vache laitière. Pour étudier ces effets, la récolte d'un champ de fléole des prés a été conservée en foin (Foin), ou en ensilage avec fermentation restreinte (acide formique 85 % ; 6 L/t d'herbe fraîche ; Formic) ou extensive (inoculation bactérienne ; 1,25 x 10u UFC/t ; Inoc). Le contenu en glucides solubles dans l'eau a été le plus faible dans Inoc et le plus élevé dans Foin. La solubilité de la PB a été la plus faible dans Foin et la plus élevée dans Inoc. Des caractéristiques intermédiaires ont été obtenues dans Formic. Six vaches Holstein en lactation et fistulées au rumen ont été réparties selon un plan expérimental en carré latin 3x3 , analysé en carré de Youden dû à la perte des données de deux vaches pour des raisons indépendantes des traitements alimentaires. Le ratio fourrage : concentré a été en moyenne de 55 : 45 et les rations ont différé quant à leur teneur en PB : 12,2, 14,4 et 15,0 % pour Foin, Formic et Inoc, respectivement. Cette disparité n'a pas permis de séparer clairement les effets reliés au mode de conservation de ceux liés à l'ingestion d'azote dans la comparaison Foin versus ensilages (Formic + Inoc). Néanmoins, elle a démontré que l'azote peut être rapatrié efficacement au rumen pour compenser une carence alimentaire. Quant à la restriction de la fermentation dans l'ensilage (Formic versus Inoc), elle a seulement permis de réduire (P <0,04) la concentration ruminale en azote ammoniacal, la teneur en urée lactée et l'excrétion urinaire d'azote uréique, ainsi que d'obtenir un profil fermentaire ruminai de type lipogénique, sans toutefois modifier la sécrétion de gras du lait comparativement à la stimulation de la fermentation dans l'ensilage (Inoc).

L'arsenal thérapeutique utilisé dans le traitement de l'hypertension artérielle est vaste, généralement efficace et sécuritaire. Pourtant, les études populationnelles démontrent que les médicaments antihypertenseurs permettent une maîtrise adéquate de la tension artérielle dans moins de 50% des patients hypertendus. Parmi les causes pouvant expliquer ce phénomène, on note l'existence d'une grande variabilité interindividuelle dans la réponse aux agents antihypertenseurs. L'identification des facteurs responsables de cette variabilité permettrait de personnaliser davantage les approches thérapeutiques actuelles afin d'en améliorer les bénéfices cliniques. Les travaux de recherche présentés dans cette thèse de doctorat se rapportent aux déterminants génétiques de la réponse aux agents antihypertenseurs. Trois études cliniques ont ainsi été réalisées afin d'évaluer l'impact de polymorphismes génétiques sur l'efficacité et l'innocuité d'agents de classes pharmacologiques différentes. La première étude a mis en évidence le rôle joué par le polymorphisme Met235Thr du gène de l'angiotensinogène dans le taux de réponse au losartan, un agent antihypertenseur de la classe des antagonistes des récepteurs à l'angiotensine Il. Les résultats de cette étude ont également démontré l'influence qu'exerce ce polymorphisme sur la tension artérielle de base, notamment chez les femmes homozygotes DO pour le polymorphisme de délétion / insertion de l'intron 16 du gène de l'enzyme de conversion de l'angiotensine (ECA). La deuxième étude clinique a permis d'identifier un groupe de patients présentant une susceptibilité accrue pour la toux sèche secondaire aux inhibiteurs de l'ECA. Les patients doubles homozygotes pour le polymorphisme d'insertion / délétion de l'intron 1 du gène du récepteur de type 2 à la bradykinine (+9/+9) et pour celui d'insertion / délétion de l'intron 16 du gène de l'ECA (DD), ont développé la toux caractéristique de cette classe de médicaments dans près de 80% des cas. Enfin, la troisième étude a démontré que les variations génétiques du cytochrome P450 206 étaient associées à d'importants changements dans le métabolisme du nébivolol, un bêta-bloqueur de 3ième génération fortement hydroxylé par cette enzyme. L'étude n'a néanmoins révélé aucune variation significative dans les effets antihypertenseurs de ce médicament. En conclusion, les résultats de ces trois études apportent des éléments nouveaux dans la compréhension des déterminants génétiques de la réponse aux agents antihypertenseurs. La poursuite de ces études pourra éventuellement aider les cliniciens à personnaliser davantage l'utilisation des agents antihypertenseurs chez leurs patients.

Cette thèse développe des modèles d'évaluation de performance d'une ligne de production composée de machines non fiables sujettes à plusieurs modes de défaillances, ou pouvant opérer en fonctionnement dégradé. Ces machines sont dites multi-états et sont séparées par de stocks intermédiaires de capacités finies. On considère que le fonctionnement dégradé affecte uniquement le taux de production nominal des machines de la ligne et non la qualité des pièces produites. Un modèle continu est utilisé pour décrire le débit d'une machine et le niveau d'un stock. Chaque mode de défaillance est caractérisé par ses propres temps de bon fonctionnement et de réparation. Ces temps sont considérés comme des variables aléatoires exponentiellement distribuées. Les modèles proposés permettent l'évaluation de performances de longues lignes de production en procédant par agrégation de machines. Cette technique consiste à évaluer les paramètres d'une machine équivalente pouvant se substituer à un ensemble constitué d'un stock et des deux machines qui l'encadrent. Ainsi, une machine équivalente à la ligne complète est évaluée de proche en proche. Afin de valider les modèles proposés, les résultats analytiques obtenus sont comparés avec des résultats de simulation. Pour cela, nous avons développé un outil de simulation appelé « ProdLineSim ». Dans le cas de machines sujettes à plusieurs modes de défaillances, les résultats de simulation ont montré qu'en tenant compte de manière explicite des différents modes de défaillances de chaque machine, la méthode proposée permet une évaluation de performance plus précise qu'en ne considérant, pour chaque machine, qu'un seul mode de défaillance. Dans le cas de machines pouvant opérer en fonctionnement dégradé, les résultats de simulation ont aussi montré qu'en tenant compte de manière explicite de ce fonctionnement dégradé, la méthode proposée permet une évaluation de performance plus précise.

Le but de l’étude était de déterminer l’impact d’un supplément d’acide folique et de vitamine B12 (v+ ou v-) à la vache et de diètes contenant différentes teneurs en hydrates de carbone non structuraux sur la production laitière, le gain des veaux, le rendement de carcasse et la qualité de la viande des veaux. Trente-deux couples vache-veau ont été répartis en blocs selon la parité de la mère et la date de vêlage (8 blocs de 4 paires) selon un plan en blocs complets aléatoires. Dans chaque bloc, 2 vaches ont reçu une diète pauvre en hydrates de carbone non-structuraux (PHC) et 2 vaches ont reçu une diète riche en hydrates de carbone non-structuraux (RHC). À l’intérieur de chaque diète, les vaches ont reçu un supplément d’acide folique et de vitamine B12 ou aucun supplément. Durant les 100 premiers jours suivant le vêlage, les vaches ont reçu de l’ensilage avec (RHC) ou sans (PHC) 1 kg de mélasse sèche. Entre 100 et 200 jours, les paires vaches-veau ont reçu de nouvelles parcelles d’ensilage quotidiennement à 6h30 (PHC) ou 18h30 (PHC). Entre 200 et 300 jours, les paires vache-veau ont reçu de l’ensilage fauché à 6h00 (PHC) ou 18h00 (RHC). Les veaux ont été abattus à 305 ±12 jours. La production laitière et le gain des veaux n’ont pas été influencés par les traitements (P>0.05). La qualité de la viande n’a pas été influencée par les traitements sauf la concentration en collagène total qui a été diminuée par le supplément de vitamines (P=0.03). Ces résultats indiquent que les suppléments d’acide folique et de vitamine B12 ont peu d’impact chez des vaches de boucherie qui ne sont pas en carence et que les teneurs en hydrates de carbone non-structuraux n’étaient vraisemblablement pas suffisantes pour affecter les performances animales. / Thirty-two spring calving cows (760 ± 91 kg BW) and calves (44 ± 4.53 kg BW) were blocked according to parity and calving date (8 blocks of 4 cows) according to a randomised complete block design. Within each block, 2 cows were fed a low total non-structural carbohydrate (LTNC) diet, while 2 were fed a high TNC (HTNC) diet. Within each diet, cows were administered either no vitamins (v-) or weekly intramuscular injections of 160 mg of folic acid plus 10 mg of vitamin B12 (v+). From parturition to 100 d post-calving cows received grass silage ad libitum with (HTNC) or without 1 kg of dried molasses (LTNC). From day 100 to 200, cow-calf pairs were allotted new pasture daily at 0630h (LTNC) or 1830h (HTNC). During days 200 to 300, cow-calf pairs were fed ad libitum silage cut at 0600h (LTNC) or 1800h (HTNC). Calves were slaughtered at 305±12 d. Treatments had no effect on milk yield (P=0.17) but increased milk vitamin B12 excretion (P< 0.01) at 195 days post-calving. Treatments had no effect on calf performance except for meat collagen (P>0.05). These results indicate that folic acid and vitamin B12 supplements have little impact on healthy beef cattle and that plant TNC levels did not differ sufficiently to elicit an animal response.

Dans un contexte où la résistance bactérienne est directement liée à l’efficacité de traitement des antibiotiques, ce mémoire compare les déterminants du profit d’une firme suite à l’innovation d’un antibiotique d’un premier cas où la firme possède un réservoir d’efficacité de traitement différent de ses concurrents et d’un second cas où le réservoir d’efficacité est conjointement exploité par la firme innovatrice et ses concurrents. Dans le premier cas, la firme attribue une valeur implicite positive à son propre réservoir d’efficacité et une valeur implicite négative au réservoir concurrent. Dans le second cas, la firme innovatrice doit accorder une valeur implicite positive au réservoir partagé. Elle doit par contre escompter davantage les revenus futurs de l’exploitation de ce réservoir commun comparativement au premier cas où elle possède son propre réservoir.