No description available.

A novel approach to the gain estimation problem,using a multi-armed bandit formulation, is studied. The gain estimation problem deals with the problem of estimating the largest L2-gain that signal of bounded norm experiences when passing through a linear and time-invariant system. Under certain conditions, this new approach is guaranteed to surpass traditional System Identification methods in terms of accuracy.The bandit algorithms Upper Confidence Bound, Thompson Sampling and Weighted Thompson Sampling are implemented with the aim of designing the optimal input for maximizing the gain of an unknown system. The regret performance of each algorithm is studied using simulations on a test system. Upper Confidence Bound, with exploration parameter set to zero, performed the best among all tested values for this parameter. Weighted Thompson Sampling performed better than Thompson Sampling.

京都大学 / 新制・課程博士 / 博士(情報学) / 甲第24939号 / 情博第850号 / 新制||情||142(附属図書館) / 京都大学大学院情報学研究科システム科学専攻 / (主査)准教授 本多 淳也, 教授 田中 利幸, 教授 鹿島 久嗣 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM

The basal ganglia (BG) is known for its function not only in motor modulation but also in action selection and reward learning. There are two major anatomical pathways through the BG, the direct and the indirect pathways. The direct pathway starts from the striatum and then directly projects to the globus pallidus, pars interna (GPi) and the substantia nigra, pars reticulata (SNr) respectively, while the indirect pathway starts from the striatum but then indirectly projects to GPi and SNr through the globus pallidus, pars externa and then to the subthalamic nucleus. In addition, the output from GPi not only projects to the thalamus where it has been proposed to function in motor control, but also to the lateral habenula (LHb) where it has been proposed to function in outcome evaluation. Previous studies have found that there are three major genetically distinct neuron groups in the entopeduncular nucleus (EP) (rodent homologue of the primate GPi): 1) purely glutamatergic neurons projecting to LHb neurons expressing parvalbumin (PVLHb); 2) purely GABAergic neurons projecting to motor thalamic neurons expressing parvalbumin (PVThal); 3) GABA/glutamate co-releasing neurons projecting to LHb neurons expressing somatostatin (SstLHb). In this study, we knocked out the vesicular glutamate transporter 2 in SstLHb neurons through an adeno-associated virus in mice to test for the impact on goal-directed behavior using a probabilistic switching, two-armed bandit task (2ABT). Results obtained from the freely moving, water-restricted somatostatin-cre mice with the vesicular glutamate transporter 2 ablated in SstLHb neurons showed that: 1) there was neither improvement nor decline in their performance on the task; 2) they might be more distracted between trials while more concentrated within a trial; 3) they had an increase in the probability of switching between ports on consecutive trials when uncertainty in the location of the highly rewarded port was maximum compared to the control animals with intact glutamate release from SstLHb neurons to LHb. The success of the viral expression was then confirmed through whole-cell voltage-clamp recordings of postsynaptic neurons of the LHb, receiving projections from SstLHb neurons. In conclusion, our study has suggested that the glutamate release from the GABA/glutamate co-releasing neurons of EP projecting to LHb may play a role in reinforcement learning and motivation to obtain rewards, and the loss of glutamate in the GABA/glutamate co-releasing vesicles results in increasing uptake of GABA into these vesicles, leading to possible rebound burst firing of SstLHb neurons that eventually increases the sensitivity towards low rate of reward-delivery dramatically. / 2026-03-13T00:00:00Z

La thèse comporte trois essais en microéconomie appliquée. En utilisant des modèles d’apprentissage (learning) et d’externalité de réseau, elle étudie le comportement des agents économiques dans différentes situations. Le premier essai de la thèse se penche sur la question de l’utilisation des ressources naturelles en situation d’incertitude et d’apprentissage (learning). Plusieurs auteurs ont abordé le sujet, mais ici, nous étudions un modèle d’apprentissage dans lequel les agents qui consomment la ressource ne formulent pas les mêmes croyances a priori. Le deuxième essai aborde le problème générique auquel fait face, par exemple, un fonds de recherche désirant choisir les meilleurs parmi plusieurs chercheurs de différentes générations et de différentes expériences. Le troisième essai étudie un modèle particulier d’organisation d’entreprise dénommé le marketing multiniveau (multi-level marketing). Le premier chapitre est intitulé "Renewable Resource Consumption in a Learning Environment with Heterogeneous beliefs". Nous y avons utilisé un modèle d’apprentissage avec croyances hétérogènes pour étudier l’exploitation d’une ressource naturelle en situation d’incertitude. Il faut distinguer ici deux types d’apprentissage : le adaptive learning et le learning proprement dit. Ces deux termes ont été empruntés à Koulovatianos et al (2009). Nous avons montré que, en comparaison avec le adaptive learning, le learning a un impact négatif sur la consommation totale par tous les exploitants de la ressource. Mais individuellement certains exploitants peuvent consommer plus la ressource en learning qu’en adaptive learning. En effet, en learning, les consommateurs font face à deux types d’incitations à ne pas consommer la ressource (et donc à investir) : l’incitation propre qui a toujours un effet négatif sur la consommation de la ressource et l’incitation hétérogène dont l’effet peut être positif ou négatif. L’effet global du learning sur la consommation individuelle dépend donc du signe et de l’ampleur de l’incitation hétérogène. Par ailleurs, en utilisant les variations absolues et relatives de la consommation suite à un changement des croyances, il ressort que les exploitants ont tendance à converger vers une décision commune. Le second chapitre est intitulé "A Perpetual Search for Talent across Overlapping Generations". Avec un modèle dynamique à générations imbriquées, nous avons étudié iv comment un Fonds de recherche devra procéder pour sélectionner les meilleurs chercheurs à financer. Les chercheurs n’ont pas la même "ancienneté" dans l’activité de recherche. Pour une décision optimale, le Fonds de recherche doit se baser à la fois sur l’ancienneté et les travaux passés des chercheurs ayant soumis une demande de subvention de recherche. Il doit être plus favorable aux jeunes chercheurs quant aux exigences à satisfaire pour être financé. Ce travail est également une contribution à l’analyse des Bandit Problems. Ici, au lieu de tenter de calculer un indice, nous proposons de classer et d’éliminer progressivement les chercheurs en les comparant deux à deux. Le troisième chapitre est intitulé "Paradox about the Multi-Level Marketing (MLM)". Depuis quelques décennies, on rencontre de plus en plus une forme particulière d’entreprises dans lesquelles le produit est commercialisé par le biais de distributeurs. Chaque distributeur peut vendre le produit et/ou recruter d’autres distributeurs pour l’entreprise. Il réalise des profits sur ses propres ventes et reçoit aussi des commissions sur la vente des distributeurs qu’il aura recrutés. Il s’agit du marketing multi-niveau (multi-level marketing, MLM). La structure de ces types d’entreprise est souvent qualifiée par certaines critiques de système pyramidal, d’escroquerie et donc insoutenable. Mais les promoteurs des marketing multi-niveau rejettent ces allégations en avançant que le but des MLMs est de vendre et non de recruter. Les gains et les règles de jeu sont tels que les distributeurs ont plus incitation à vendre le produit qu’à recruter. Toutefois, si cette argumentation des promoteurs de MLMs est valide, un paradoxe apparaît. Pourquoi un distributeur qui désire vraiment vendre le produit et réaliser un gain recruterait-il d’autres individus qui viendront opérer sur le même marché que lui? Comment comprendre le fait qu’un agent puisse recruter des personnes qui pourraient devenir ses concurrents, alors qu’il est déjà établi que tout entrepreneur évite et même combat la concurrence. C’est à ce type de question que s’intéresse ce chapitre. Pour expliquer ce paradoxe, nous avons utilisé la structure intrinsèque des organisations MLM. En réalité, pour être capable de bien vendre, le distributeur devra recruter. Les commissions perçues avec le recrutement donnent un pouvoir de vente en ce sens qu’elles permettent au recruteur d’être capable de proposer un prix compétitif pour le produit qu’il désire vendre. Par ailleurs, les MLMs ont une structure semblable à celle des multi-sided markets au sens de Rochet et Tirole (2003, 2006) et Weyl (2010). Le recrutement a un effet externe sur la vente et la vente a un effet externe sur le recrutement, et tout cela est géré par le promoteur de l’organisation. Ainsi, si le promoteur ne tient pas compte de ces externalités dans la fixation des différentes commissions, les agents peuvent se tourner plus ou moins vers le recrutement. / This thesis includes three essays in applied microeconomics. Using learning and network effects models, we study agents’ behavior in various environments through three chapters. The first chapter examines natural resource exploitation under uncertainty with learning and heterogeneous priors. In the second chapter, we examine the problem of research Foundation concerned with finding good quality researchers for today and the future. The third chapter studies the Multi-level marketing organizations. The first chapter is entitled "Renewable Resource Consumption in a Learning Environment with Heterogeneous beliefs". This work uses a learning model with heterogeneity of beliefs to study natural resources consumption under uncertainty. Following Koulovatianos et al (2009), we distinguish two types of learning process: adaptive learning and learning. I find that learning decreases the total consumption of the resource in comparison with adaptive learning. However, individually and under some conditions, some exploiters could consume more in learning than in adaptive learning. In learning, the exploiter faces two kinds of incentive to invest in the resource: self-incentive which is always positive and heterogeneity incentive which may be negative. The effect of learning on individual consumption depends on the sign and the extent of the heterogeneity incentive. Using absolute change and relative change of consumption due to a change in beliefs, we find that the exploiters tend to converge to a common behaviour. The second chapter is entitled "A perpetual Search for Talent across Overlapping Generations". We use a dynamic discrete time model with overlapping generations to study how a research Fund should optimally rank and select which researchers to give a grant. The optimal decision rule depends on both the perceived quality of researchers based on past success histories and on age. Between two researchers of equal perceived qualities the Fund should select the youngest. This work contributes to the understanding of the bandit problems sometime known to be untractable and pspace-hard. Here, instead of looking for an index characterization, we propose to rank or eliminate progressively the researchers by comparing them two by two. The third chapter is entitled "Paradox about the Multi-Level Marketing". Over the past 50 years, the Multi-level Marketing (MLM) has become an important business strategy. vi MLM is a marketing method in which independent distributors of a product get profits not only from their own sales, but also from recruiting other distributors. According to the promoters of this organization, the purpose of the business and the will of the distributors are to sell the product and not to set up a scam. The question is the following: if the real intention is to sell, why does a distributor recruit other distributors who will become his competitors? It is well known in classical industrial organization that people avoid competition as well as possible. Why is it not the case in the MLM organization? We explain this paradox by the particular economic structure of the MLM. Distributor could not sell enough if he did not recruit. Recruiting provides a price leading power and allows to sell more and make more profit (in some respect). Moreover, the MLM is similar to the multi-sided market structure a la Rochet and Tirole (2003, 2006) and Weyl (2010). There is network effect between recruitment and selling activity. Thus, the extent of the paradox can also be explained by the different commissions set by the MLM promoters.

Dans cette thèse, nous étudions des problèmes de prise de décisions séquentielles dans lesquels, pour chacune de ses décisions, l'apprenant reçoit une information qu'il utilise pour guider ses décisions futures. Pour aller au-delà du retour d’information conventionnel tel qu'il a été bien étudié pour des problèmes de prise de décision séquentielle tels que les bandits multi-bras, nous considérons des formes de retour d’information partielle motivées par des applications pratiques.En premier, nous considérons le problème des bandits duellistes, dans lequel l'apprenant sélectionne deux actions à chaque pas de temps et reçoit en retour une information relative (i.e. de préférence) entre les valeurs instantanées de ces deux actions.En particulier, nous proposons un algorithme optimal qui permet à l'apprenant d'obtenir un regret cumulatif quasi-optimal (le regret est la différence entre la récompense cumulative optimale et la récompense cumulative constatée de l’apprenant). Dans un second temps, nous considérons le problème des bandits corrompus, dans lequel un processus de corruption stochastique perturbe le retour d’information. Pour ce problème aussi, nous concevons des algorithmes pour obtenir un regret cumulatif asymptotiquement optimal. En outre, nous examinons la relation entre ces deux problèmes dans le cadre du monitoring partiel qui est un paradigme générique pour la prise de décision séquentielle avec retour d'information partielle. / The multi-armed bandit (MAB) problem is a mathematical formulation of the exploration-exploitation trade-off inherent to reinforcement learning, in which the learner chooses an action (symbolized by an arm) from a set of available actions in a sequence of trials in order to maximize their reward. In the classical MAB problem, the learner receives absolute bandit feedback i.e. it receives as feedback the reward of the arm it selects. In many practical situations however, different kind of feedback is more readily available. In this thesis, we study two of such kinds of feedbacks, namely, relative feedback and corrupt feedback.The main practical motivation behind relative feedback arises from the task of online ranker evaluation. This task involves choosing the optimal ranker from a finite set of rankers using only pairwise comparisons, while minimizing the comparisons between sub-optimal rankers. This is formalized by the MAB problem with relative feedback, in which the learner selects two arms instead of one and receives the preference feedback. We consider the adversarial formulation of this problem which circumvents the stationarity assumption over the mean rewards for the arms. We provide a lower bound on the performance measure for any algorithm for this problem. We also provide an algorithm called "Relative Exponential-weight algorithm for Exploration and Exploitation" with performance guarantees. We present a thorough empirical study on several information retrieval datasets that confirm the validity of these theoretical results.The motivating theme behind corrupt feedback is that the feedback the learner receives is a corrupted form of the corresponding reward of the selected arm. Practically such a feedback is available in the tasks of online advertising, recommender systems etc. We consider two goals for the MAB problem with corrupt feedback: best arm identification and exploration-exploitation. For both the goals, we provide lower bounds on the performance measures for any algorithm. We also provide various algorithms for these settings. The main contribution of this module is the algorithms "KLUCB-CF" and "Thompson Sampling-CF" which asymptotically attain the best possible performance. We present experimental results to demonstrate the performance of these algorithms. We also show how this problem setting can be used for the practical application of enforcing differential privacy.

El Plan de San Diego is the name of an important document in Texas history, but the document and surrounding history is usually discussed with little or no reference to the town of San Diego, Texas, the people who lived there, or the cultural landscape. The Plan de San Diego is an unsuccessful rebellion that is one of the few documented irredentist revolts in U.S. History, it is also a written document calling for return of lands in a multi-ethnic call to arms advocating the recovery of territory by people of Mexican descent in 1915, named for the town San Diego, TX. After the discovery of this Plan, Mexican-Americans were persecuted, violently suppressed, and murdered: 300-5,000 people of Mexican descent died violently following the discovery and publication of the Plan de San Diego in what historians have called the “Bandit Wars”. San Diego, Texas residents and the entire U.S.-Mexican borderlands changed after the discovery of the Plan. My research investigates the political landscape and changes in material and cultural assemblages during and after the Plan, examining how descendant communities retained ties to place and remembered this event in the community of San Diego. Archival research, Historical archaeology and media representations of San Diego explore expose the everyday lives, settlement patterns, and subsistence strategies of the residents of San Diego before and after 1915, showing the material and social effects of the failed rebellion. The socio-political landscape that helped create Mexican-American culture in San Diego is a silenced, violent, and misunderstood chapter of Texas history that shapes the current borderlands and contributes important insights into the study of sites of rebellion and retaliation worldwide. / text

La thèse comporte trois essais en microéconomie appliquée. En utilisant des modèles d’apprentissage (learning) et d’externalité de réseau, elle étudie le comportement des agents économiques dans différentes situations. Le premier essai de la thèse se penche sur la question de l’utilisation des ressources naturelles en situation d’incertitude et d’apprentissage (learning). Plusieurs auteurs ont abordé le sujet, mais ici, nous étudions un modèle d’apprentissage dans lequel les agents qui consomment la ressource ne formulent pas les mêmes croyances a priori. Le deuxième essai aborde le problème générique auquel fait face, par exemple, un fonds de recherche désirant choisir les meilleurs parmi plusieurs chercheurs de différentes générations et de différentes expériences. Le troisième essai étudie un modèle particulier d’organisation d’entreprise dénommé le marketing multiniveau (multi-level marketing). Le premier chapitre est intitulé "Renewable Resource Consumption in a Learning Environment with Heterogeneous beliefs". Nous y avons utilisé un modèle d’apprentissage avec croyances hétérogènes pour étudier l’exploitation d’une ressource naturelle en situation d’incertitude. Il faut distinguer ici deux types d’apprentissage : le adaptive learning et le learning proprement dit. Ces deux termes ont été empruntés à Koulovatianos et al (2009). Nous avons montré que, en comparaison avec le adaptive learning, le learning a un impact négatif sur la consommation totale par tous les exploitants de la ressource. Mais individuellement certains exploitants peuvent consommer plus la ressource en learning qu’en adaptive learning. En effet, en learning, les consommateurs font face à deux types d’incitations à ne pas consommer la ressource (et donc à investir) : l’incitation propre qui a toujours un effet négatif sur la consommation de la ressource et l’incitation hétérogène dont l’effet peut être positif ou négatif. L’effet global du learning sur la consommation individuelle dépend donc du signe et de l’ampleur de l’incitation hétérogène. Par ailleurs, en utilisant les variations absolues et relatives de la consommation suite à un changement des croyances, il ressort que les exploitants ont tendance à converger vers une décision commune. Le second chapitre est intitulé "A Perpetual Search for Talent across Overlapping Generations". Avec un modèle dynamique à générations imbriquées, nous avons étudié iv comment un Fonds de recherche devra procéder pour sélectionner les meilleurs chercheurs à financer. Les chercheurs n’ont pas la même "ancienneté" dans l’activité de recherche. Pour une décision optimale, le Fonds de recherche doit se baser à la fois sur l’ancienneté et les travaux passés des chercheurs ayant soumis une demande de subvention de recherche. Il doit être plus favorable aux jeunes chercheurs quant aux exigences à satisfaire pour être financé. Ce travail est également une contribution à l’analyse des Bandit Problems. Ici, au lieu de tenter de calculer un indice, nous proposons de classer et d’éliminer progressivement les chercheurs en les comparant deux à deux. Le troisième chapitre est intitulé "Paradox about the Multi-Level Marketing (MLM)". Depuis quelques décennies, on rencontre de plus en plus une forme particulière d’entreprises dans lesquelles le produit est commercialisé par le biais de distributeurs. Chaque distributeur peut vendre le produit et/ou recruter d’autres distributeurs pour l’entreprise. Il réalise des profits sur ses propres ventes et reçoit aussi des commissions sur la vente des distributeurs qu’il aura recrutés. Il s’agit du marketing multi-niveau (multi-level marketing, MLM). La structure de ces types d’entreprise est souvent qualifiée par certaines critiques de système pyramidal, d’escroquerie et donc insoutenable. Mais les promoteurs des marketing multi-niveau rejettent ces allégations en avançant que le but des MLMs est de vendre et non de recruter. Les gains et les règles de jeu sont tels que les distributeurs ont plus incitation à vendre le produit qu’à recruter. Toutefois, si cette argumentation des promoteurs de MLMs est valide, un paradoxe apparaît. Pourquoi un distributeur qui désire vraiment vendre le produit et réaliser un gain recruterait-il d’autres individus qui viendront opérer sur le même marché que lui? Comment comprendre le fait qu’un agent puisse recruter des personnes qui pourraient devenir ses concurrents, alors qu’il est déjà établi que tout entrepreneur évite et même combat la concurrence. C’est à ce type de question que s’intéresse ce chapitre. Pour expliquer ce paradoxe, nous avons utilisé la structure intrinsèque des organisations MLM. En réalité, pour être capable de bien vendre, le distributeur devra recruter. Les commissions perçues avec le recrutement donnent un pouvoir de vente en ce sens qu’elles permettent au recruteur d’être capable de proposer un prix compétitif pour le produit qu’il désire vendre. Par ailleurs, les MLMs ont une structure semblable à celle des multi-sided markets au sens de Rochet et Tirole (2003, 2006) et Weyl (2010). Le recrutement a un effet externe sur la vente et la vente a un effet externe sur le recrutement, et tout cela est géré par le promoteur de l’organisation. Ainsi, si le promoteur ne tient pas compte de ces externalités dans la fixation des différentes commissions, les agents peuvent se tourner plus ou moins vers le recrutement. / This thesis includes three essays in applied microeconomics. Using learning and network effects models, we study agents’ behavior in various environments through three chapters. The first chapter examines natural resource exploitation under uncertainty with learning and heterogeneous priors. In the second chapter, we examine the problem of research Foundation concerned with finding good quality researchers for today and the future. The third chapter studies the Multi-level marketing organizations. The first chapter is entitled "Renewable Resource Consumption in a Learning Environment with Heterogeneous beliefs". This work uses a learning model with heterogeneity of beliefs to study natural resources consumption under uncertainty. Following Koulovatianos et al (2009), we distinguish two types of learning process: adaptive learning and learning. I find that learning decreases the total consumption of the resource in comparison with adaptive learning. However, individually and under some conditions, some exploiters could consume more in learning than in adaptive learning. In learning, the exploiter faces two kinds of incentive to invest in the resource: self-incentive which is always positive and heterogeneity incentive which may be negative. The effect of learning on individual consumption depends on the sign and the extent of the heterogeneity incentive. Using absolute change and relative change of consumption due to a change in beliefs, we find that the exploiters tend to converge to a common behaviour. The second chapter is entitled "A perpetual Search for Talent across Overlapping Generations". We use a dynamic discrete time model with overlapping generations to study how a research Fund should optimally rank and select which researchers to give a grant. The optimal decision rule depends on both the perceived quality of researchers based on past success histories and on age. Between two researchers of equal perceived qualities the Fund should select the youngest. This work contributes to the understanding of the bandit problems sometime known to be untractable and pspace-hard. Here, instead of looking for an index characterization, we propose to rank or eliminate progressively the researchers by comparing them two by two. The third chapter is entitled "Paradox about the Multi-Level Marketing". Over the past 50 years, the Multi-level Marketing (MLM) has become an important business strategy. vi MLM is a marketing method in which independent distributors of a product get profits not only from their own sales, but also from recruiting other distributors. According to the promoters of this organization, the purpose of the business and the will of the distributors are to sell the product and not to set up a scam. The question is the following: if the real intention is to sell, why does a distributor recruit other distributors who will become his competitors? It is well known in classical industrial organization that people avoid competition as well as possible. Why is it not the case in the MLM organization? We explain this paradox by the particular economic structure of the MLM. Distributor could not sell enough if he did not recruit. Recruiting provides a price leading power and allows to sell more and make more profit (in some respect). Moreover, the MLM is similar to the multi-sided market structure a la Rochet and Tirole (2003, 2006) and Weyl (2010). There is network effect between recruitment and selling activity. Thus, the extent of the paradox can also be explained by the different commissions set by the MLM promoters.

El Plan de San Diego is the name of an important document in Texas history, but the document and surrounding history is usually discussed with little or no reference to the town of San Diego, Texas, the people who lived there, or the cultural landscape. The Plan de San Diego is an unsuccessful rebellion that is one of the few documented irredentist revolts in U.S. History, it is also a written document calling for return of lands in a multi-ethnic call to arms advocating the recovery of territory by people of Mexican descent in 1915, named for the town San Diego, TX. After the discovery of this Plan, Mexican-Americans were persecuted, violently suppressed, and murdered: 300-5,000 people of Mexican descent died violently following the discovery and publication of the Plan de San Diego in what historians have called the “Bandit Wars”. San Diego, Texas residents and the entire U.S.-Mexican borderlands changed after the discovery of the Plan. My research investigates the political landscape and changes in material and cultural assemblages during and after the Plan, examining how descendant communities retained ties to place and remembered this event in the community of San Diego. Archival research, Historical archaeology and media representations of San Diego explore expose the everyday lives, settlement patterns, and subsistence strategies of the residents of San Diego before and after 1915, showing the material and social effects of the failed rebellion. The socio-political landscape that helped create Mexican-American culture in San Diego is a silenced, violent, and misunderstood chapter of Texas history that shapes the current borderlands and contributes important insights into the study of sites of rebellion and retaliation worldwide.

In this Thesis, we first deploy Gittins index theory to establish the indexability of inter-alia general families of restless bandits that arise in problems of stochastic scheduling with switching penalties and machine maintenance. We also give formulae for the resulting indices. Numerical investigations testify the strong performance of the index heuristics.The second class of problems concerns two families of Markov decision problems. The spinning plates problem concerns the optimal management of a portfolio of assets whose yields grow with investment but otherwise decline. In the model of asset exploitation called the squad system, the yield from an asset declines when it is utilised but will recover when the asset is at rest. Simply stated conditions are given which guarantee general indexability of the problem together with necessary and sufficient conditions for strict indexability. The index heuristics, which emerge from the analysis, are assessed numerically and found to perform strongly.