Reinforcement learning (RL) algorithms aim to identify optimal action sequences for an agent in a given environment, traditionally maximizing the expected rewards received from the environment by taking each action and transitioning between states. This thesis explores approaching RL distributionally, replacing the expected reward function by the full distribution over the possible rewards received, known as the value distribution. We focus on the quantile regression distributional RL (QR-DQN) algorithm introduced by Dabney et al. (2017), which models the value distribution by representing its quantiles. With such information of the value distribution, we modify the QR-DQN algorithm to enhance the agent's risk sensitivity. Our risk-averse algorithm is evaluated against the original QR-DQN in the Atari 2600 and in the Gymnasium environment, specifically in the games Breakout, Pong, Lunar Lander and Cartpole. Results indicate that the risk-averse variant performs comparably in terms of rewards while exhibiting increased robustness and risk aversion. Potential refinements of the risk-averse algorithm are presented.

Titre de l'écran-titre (visionné le 18 mars 2024) / La recherche considère que la séparation parentale est l'un des événement les plus stressants dans la vie des enfants touchés, avec des répercussions qui se font sentir tout au long de leur vie (Stadelmann et al., 2010). Les recherches s'entendent pour dire que la séparation des parents est associée au risque de développement de comportements extériorisés et intériorisés à l'adolescence. Toutefois, peu d'études se sont penchées sur les effets de la séparation parentale dans le développement de traits limites. Par ailleurs, peu d'étude ont contrôlés pour d'autres formes de traumatismes, alors que de plus en plus de preuves démontrent que diverses formes de traumas chez les enfants coexistent souvent plutôt que de se produire de façon indépendante. Ainsi, la présente étude vise à explorer les liens d'associations entre des expériences adverses vécues dans l'enfance, notamment la séparation parentale, et l'adaptation psychologique des adolescentes et adolescents (c.-à-d. les comportements internalisés, les comportements externalisés et les traits limites), en tenant compte du genre. Des questionnaires ont été complétés par 110 adolescents âgés de 12 à 22 ans recrutés dans la population, plus précisément dans les écoles secondaires de la ville de Québec. Les résultats principaux de cette étude indiquent qu'après avoir contrôlé pour les autres formes de traumatismes, tels que l'abus physique, l'abus sexuel ainsi que la négligence et l'antipathie parentale, il n'y a pas de différence significative dans le développement de difficultés psychologiques entre les enfants de parents séparés et ceux de parents non séparés. Cependant, il est important de noter que les comportements externalisés sont plus fréquents chez les adolescents qui vivent avec une mère non séparée et qui font face à de l'antipathie et de la négligence de sa part. Cela suggère que l'antipathie et la négligence maternelle, plutôt que la simple séparation parentale, peuvent contribuer davantage aux comportements externalisés chez les enfants.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2011-2012 / "Ce mémoire présente une méthode flexible utilisant les splines cubiques d'estimer le coefficient d'aversion au risque absolue ou relative d'individus en contexte d'utilité espérée. Cette méthode est développée de manière à être utilisée conjointement avec la méthode expérimentale de l'arbitrage de Wakker et Deneffe (1996) permettant de trouver des points sur la courbe d'utilité d'une personne répondant à des questions au sujet de loteries. À l'aide de simulations de type Monte Carlo, nous montrons qu'il est possible d'utiliser ces points afin d'estimer les paramètres de segments cubiques de splines et ensuite d'utiliser ces paramètres pour estimer l'aversion au risque sans imposer d'hypothèse forte quant à la forme de la fonction d'utilité de l'individu. Cela a pour but d'éviter les biais dus aux erreurs de spécification et nous montrons que lorsque la fonction d'utilité réelle est inconnue, les splines s'avèrent un instrument utile générant des erreurs plus faibles qu'une approche paramétrique classique utilisant une forme fonctionnelle non flexible. Cette conclusion tient même lorsque nous introduisons des erreurs sous forme d'arrondissement des réponses obtenues lors de l'application de la méthode de l'arbitrage malgré le fait que les estimations tendent à être de moins en moins précises au fur et à mesure que le niveau d'arrondissement augmente".

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Inspiré de la théorie des perspectives de Kahneman et Tversky (1979), le modèle des préférences références-dépendantes postule que les travailleurs possèdent une cible de salaire quotidienne. Cette cible est au centre du choix des travailleurs pour leur niveau d' effort. Tant que leur cible n'est pas atteinte, ceux-ci sont prêts à fournir de l' effort. Leur motivation diminue une fois qu' ils ont obtenu le niveau de salaire de leur cible. Pour tester les implications de ce modèle, ce mémoire utilise des données sur des planteurs d'arbres de la ·Colombie-Britannique. Certains de ces planteurs ont participé à une expérience dans le but de tester leur aversion au risque. De cette participation, ils ont obtenu un montant d'argent avant de commencer leur journée de travail. Selon le modèle des préférences références-dépendantes, il devrait y avoir une relation négative entre le montant gagné grâce à l'expérience et le nombre d'arbres plantés par les participants le jour de l'expérience. Cette relation doit être négative, puisque plus le montant est élevé, plus rapidement la cible de salaire sera atteinte. Les résultats montrent plutôt l'absence de relation entre le montant gagné lors de l'expérience et le nombre d'arbres plantés. Je ne trouve pas par conséquent de support pour cette théorie.

Le CAPM est une représentation stylisée de la rentabilité attendue des titres sur les marchés boursiers, mais comme plusieurs des hypothèses centrales du modèle ne tiennent pas lors d’analyses empiriques, sa pertinence en ce qui a trait aux paramètres prisés sur les marchés est limitée. L’objectif de ce mémoire est d’analyser s’il y a présence d’une prime de risque idiosyncrasique, de mesurer celle-ci et de voir si elle a un pouvoir explicatif significatif. Nous trouvons que les titres ayant les plus hauts risques idiosyncrasiques obtiennent des rendements le mois suivant de 1,18 à 1,98 point de pourcentage inférieur aux titres les moins risqués. En contrôlant pour la capitalisation boursière, l’effet persiste et le risque idiosyncrasique semble être un meilleur prédicteur du rendement d’une firme que la taille de celle-ci.

Chapitre 1 - Prévoir les rendements internationaux à l'aide de mesures de risque implicites aux options Ce chapitre examine la prévisibilité des rendements d’indices internationaux à l'aide d'informations quotidiennes en utilisant des régressions prédictives et de la prévision hors échantillon. Nous documentons le pouvoir prédictif significatif de la prime de risque de variance (VRP), de la mesure de risque généralisé (GR) et des moments d'ordre supérieur pour des horizons allant de 1 à 250 jours. Ces quatre mesures de risque, qui saisissent les «craintes» cumulatives du marché, fonctionnent bien aux États-Unis et à l'étranger. VRP et GR sont des prédicteurs significatifs et complémentaires pour plusieurs horizons, y compris ceux inférieurs à un mois (VRP) ainsi que des horizons plus lointains (GR). L'asymétrie et la kurtose sont significatifs pour plusieurs pays à travers de multiples horizons. Les calculs des gains d'utilité confirment l'importance économique de ces variables à l'échelle internationale. Chapitre 2 - Prévision de la volatilité des indices boursiers à l'aide de distributions récupérées à l’aide du théorème de Ross Le théorème de récupération montre que les données d’options peuvent révéler les véritables attentes du marché. Nous adaptons cette approche aux données d'options sur indices internationaux (S&P500, FTSE, CAC, SMI et DAX) et séparons la volatilité implicite en volatilité attendue récupérée par Ross et un proxy relié aux préférences des investisseurs pour le risque. Nous étudions les performances de prévision de la volatilité de ces variables, construites au niveau national et international. Les résultats montrent que les prévisions sont significativement améliorées et celles-ci fournissent de nouvelles informations sur la dynamique internationale des attentes et des préférences en matière de risque. Pour tous les indices, les modèles utilisant des mesures globales de Ross sont les plus performantes. Les résultats suggèrent que le théorème de récupération est empiriquement utile. Chapitre 3 - Le facteur d’escompte stochastique contemporain Ce chapitre étudie le facteur d’escompte stochastique contemporain obtenu en appliquant le théorème de récupération aux options de l'indice S&P500. Comme pour la littérature existante sur le casse-tête du facteur d’escompte stochastique, je trouve que les facteurs récupérés sont en forme de U, mais seulement une partie du temps. Les différentes formes observées pour les facteurs d’escompte stochastique semblent être regroupées dans le temps, ce qui indique qu'elles sont une véritable caractéristique des préférences face au risque et non pas seulement un artefact créé par des estimations bruyantes. Bien que les facteurs contemporains récupérés ne puissent pas prédire de manière significative les rendements futurs réalisés sur l'ensemble de la distribution, c’est possible pour les 3 premiers quartiles. Un praticien ayant besoin d'une mesure instantanée du risque de perte pourrait donc utiliser le théorème de Ross. / Chapter 1 - The sum of all fears: forecasting international returns using option-implied risk measures This chapter investigates international index return predictability using daily-updated option-implied information in predictive regressions and out-of-sample forecasts. We document the significant predictive power of the variance risk premium (VRP), Generalized Riskiness (GR), and higher-order moments for horizons ranging from 1 to 250 days. These four risk metrics, which capture cumulative market “fears”, perform well in the US and internationally. VRP and GR are significant and complementary predictors for several horizons, including under one month (VRP) and longer horizons (GR). Risk-neutral skewness and kurtosis are significant for several countries across multiple horizons. Utility gain calculations confirm the economic significance of these riskneutral variables internationally. Chapter 2 - Forecasting market index volatility using Ross-recovered distributions The recovery theorem shows that option data can reveal the market’s true (physical) expectations. We adapt this approach to international index options data (S&P500, FTSE, CAC, SMI, and DAX) and separate implied volatility into Ross-recovered expected volatility and a risk preference proxy. We investigate the volatility forecasting performance of these variables, constructed domestically or globally. The results show evidence of significantly improved forecasts, and yield new insights on the international dynamics of risk expectations and preferences. Across indices, models using Ross-recovered, value-weighted global measures of risk preferences perform best. The findings suggest that the recovery theorem is empirically useful. Chapter 3 – The contemporaneous pricing kernel This chapter investigates the contemporaneous pricing kernel obtained by applying the recovery theorem to options on the S&P500 index. Similarly to the literature on the pricing kernel puzzle, I find evidence that the recovered pricing kernels are U-shape, but only some of the time. The different shapes observed for the recovered kernels appear to be clustered in time, indicating that they are a genuine feature of risk preferences and not just an artifact created by noisy pricing kernel estimates. Although the recovered contemporaneous kernels cannot significantly predict future realized returns over the whole distribution, they are successful for the first 3 quartiles. A practitioner needing an instantaneous measure of downside risk could therefore obtain such information by applying the recovery theorem to options data.

Il a été démontré en laboratoire que l’équilibre de Nash n’était pas toujours un bon indicateur du comportement humain. Différentes théories alternatives (aversion à l’inégalité, réciprocité et norme sociale) ont vu le jour pour combler les lacunes de la théorie classique, mais aucune d’elles ne permet d’expliquer la totalité des phénomènes observés en laboratoire. Après avoir identifié les lacunes de ces modèles, ce mémoire développe un modèle qui synthétise dans un tout cohérent les avancées de ceux-ci à l’aide de préférences hétérogènes. Afin d’augmenter la portée du modèle, une nouvelle notion d’équilibre, dite comportementale, est ajoutée au modèle. En appliquant le nouveau modèle à des jeux simples, nous pouvons voir comment il élargit le nombre de comportements pouvant être modélisé par la théorie des jeux. / It has been shown in laboratory experiments that the Nash equilibrium was not always a good indicator of human behavior. Various alternative theories (inequity aversion, reciprocity and social norms) have emerged to fill gaps in the classical theory, but none of them can explain all the phenomena observed in the laboratory. After identifying the shortcomings of these models, this thesis develops a model that summarizes advances made by those models into a coherent whole by using heterogeneous preferences. To increase the scope of the model, a new notion of equilibrium, a behavioral equilibrium, is added to the model. By applying the new model to simple games, we can see how it expands the number of behaviors that can be modeled by game theory.

De par leur nature scientifique, les sciences économiques visent, entre autre, à observer, qualifier, ainsi que quantifier des phénomènes économiques afin de pouvoir en dégager diverses prévisions. Ce mémoire se penche sur ces prévisions et, plus particulièrement, sur les facteurs pouvant biaiser les prévisionnistes au niveau comportemental en référant à l’effet d’ancrage, un biais propre à l’économie comportementale – une sous-discipline des sciences économiques. Il sera donc question de comprendre, par une analyse selon la discipline que représente l’économie comportementale, ce qui peut les affecter, avec un accent mis sur l’effet d’ancrage plus précisément. L’idée générale de ce dernier est qu’un agent peut être biaisé inconsciemment par la simple connaissance d’une valeur précédente lorsqu’il est demandé de faire une estimation ultérieure. De cette façon, une analyse des salaires des joueurs de la Ligne Nationale de Hockey (NHL) selon leurs performances passées et leurs caractéristiques personnelles, de 2007 à 2016, a été réalisée dans ce travail afin d’en dégager de possibles effets d’ancrage. Il est alors possible de constater que les directeurs généraux des équipes de la ligue agissent généralement de façon sensible et rationnelle lorsque vient le temps d’octroyer des contrats à des joueurs mais, néanmoins, une anomalie persiste lorsqu’on porte attention au rang auquel un joueur a été repêché. Dans un tel contexte, il semble pertinent de se référer à l’économie comportementale afin d’expliquer pourquoi le rang au repêchage reste une variable significative huit ans après l’entrée d’un joueur dans la NHL et qu’elle se comporte à l’inverse de ce que prévoit la théorie à ce sujet. / Economic analysis, by its nature, involves observing, qualifying and quantifying economic data with the ultimate goal of making forecasts. In this masters thesis, I am interested in factors that could bias a forecaster's behavior – with special focus on phenomena, like the anchoring effect, that have been proposed in behavioral economics. At a fundamental level, the anchoring effect states that an agent's ability to accurately forecast may be affected by placing unwarranted emphasis on certain economic variables. To study this effect, I analyze how the salaries of National Hockey League (NHL) players are determined by the players' characteristics and past performance. From the results, it would appear that NHL general managers are generally sensible and rational when it comes to using historical data to make decisions about player salaries. However, there is a persistent anomaly regarding the draft position of a player. Although one would not expect the draft position to be very important after eight years of experience in the NHL, the analysis shows that it is remains a significant determinant of player salary. Behavioral economics and more specifically, the anchoring effect, helps explain why this might be so.

Pour les entreprises concernées par le phénomène du vieillissement, le rapport entre la structure par âge de la main d’œuvre, les profils des salaires et de productivité est un élément clé abordé dans cette thèse. Le premier chapitre passe en revue divers concepts théoriques et décrit les résultats empiriques en ce qui concerne le profil des salaires et de productivité en fonction de l’âge. L’étude empirique présentée dans le chapitre deux évalue le profil de productivité marginale selon l'âge. Nous considérons la main d'œuvre à la fois par qualification (peu qualifiés, hautement qualifiés) et par âge (jeunes, âge moyen, âgés). Nous estimons, sur des données françaises d'entreprises, une fonction de production de type CES emboîtée qui autorise une substitution imparfaite entre les différentes catégories de travailleurs. Parmi les résultats principaux, nous avons trouvé que la productivité du travail par l’âge dépend étroitement de la catégorie de qualification et du secteur d’activité des travailleurs. Le chapitre trois analyse le comportement des juniors et des seniors, en particulier leurs attitudes face au risque, la confiance en soi et la propension à entrer en compétition. Pour cela, nous avons organisé une expérience avec des banquiers suisse. Nous trouvons que, bien que les deux générations ne présentent ni des différences considérables quant à leurs attitudes face au risque, ni face à l’ambiguïté, les seniors font preuve d’une propension plus élevée à entrer en compétition. Cette décision est clairement influencée par l’information sur l’âge des autres participants. De plus, les deux générations maximisent leurs profits dans les groupes équilibrés en termes d’âge. / The relationship between the age structure of workforce, earnings and productivity profiles is a key issue for the enterprises facing the phenomenon of ageing. The present thesis addresses these issues in the following order. The first chapter reviews different theoretical concepts and recent empirical findings concerning the profile of earnings and productivity by age. The empirical study presented in the chapter two aims at estimating the actual profile of labour productivity across different age groups. In this purpose, we differentiate the workforce simultaneously by skills (low-skilled, high-skilled) and by age (young, middle-aged, old). Using French firm-level data, we estimate a production function with a nested constant-elasticity-of-substitution (CES) specification in labour, which allows the imperfect substitution between different age and skill categories of workers. Among the main findings, labour productivity by age highly depends on skill category of workers and the sector of activity. The third chapter involves the behavioural analysis of the workforce composed of juniors and seniors. In particular, we study workers’ risk attitudes, self-confidence and propensity to enter the competition. In this purpose, we perform an artefactual field experiment with the employees of a Swiss bank. We find that, although there are no significant differences in attitudes towards risk and ambiguity between both generations, seniors have higher propensity to enter the competition. The information on age of others players clearly has an impact on this decision. Moreover, the profits of both generations are maximised, when a pool of competitors is balanced in terms of age.

Les périodes marquées par une aversion au risque intense sont souvent l’origine de distorsions notables dans les prix de marché, et de pertes substantielles pour les investisseurs. Chaque épisode de crise financière montre que les mouvements de ventes généralisées sur les marchés ont des conséquences très négatives sur l’économie réelle. Ainsi, explorer le phénomène d’aversion au risque et la dynamique de propagation du sentiment de panique sur les marchés financiers peut aider à appréhender ces périodes de forte volatilité.Dans ce rapport de thèse, nous explorons différentes dimensions du phénomène d’aversion au risque, dans le cadre de portefeuilles d’obligations souveraines Européennes. Le rendement des obligations d’Etat, quotté par les traders, est sensé refléter entre autre le risque que le Trésor fasse défaut sur sa dette, avant que l’obligation vienne à maturation. Il s’agit là du risque souverain. Les crises financières habituellement occasionnent un mouvement important des rendements vers des niveaux plus élevés. Ce type de correction reflète un accroissement du risque souverain, et implique nécessairement une hausse du coût de financement pour les Trésors nationaux. Un objectif de ce rapport est donc de fournir des détails inédits aux Trésors sur la manière dont les rendements obligataires sont sensés se détériorer en période d’aversion au risque.Chapitre I explore le risque souverain dans le cadre d’un modèle probabiliste impliquant des distributions à queues lourdes, ainsi que la méthode GAS qui permet de capturer la dynamique de la volatilité. L’ajustement obtenu avec les distributions Hyperboliques Généralisées est robuste, et les résultats laissent penser que notre approche est particulièrement efficace durant les périodes marquées par une volatilité erratique. Dans un but de simplification, nous décrivons la mise en place d’un estimateur de volatilité intemporel, sensé refléter la volatilité intrinsèque de chaque obligation. Cet estimateur suggère que la volatilité croit de manière quadratique lorsque celle-ci est exprimée en fonction de la fonction de répartition des variations de rendements. Dans un second temps nous explorons une version bivariée du modèle. La calibration, robuste, met en valeur les corrélations entre chaque obligation. En guise d’observation générale, notre analyse confirme que les distributions à queues épaisses sont tout à fait appropriées pour l’exploration des prix de marché en période de crise financière.Chapitre II explore différentes manières d’exploiter notre modèle probabiliste. Afin d’identifier la dynamique de la contagion entre les obligations souveraines, nous analysons la réaction attendue du marché à une série de chocs financiers. Nous considérons un niveau important de granularité pour ce qui est de la sévérité du choc sous-jacent, et ceci nous permet d’identifier des lois empiriques supposées généraliser le comportement de la réaction de marché lorsque l’aversion au risque s’intensifie. Puis, nous incorporons nos estimateurs de volatilité et de réaction de marché à certaines approches reconnues d’optimisation de portefeuille et nous notons une amélioration de la résistance des portefeuilles, dans cette nouvelle version. Finalement, nous développons une nouvelle méthodologie d’optimisation de portefeuille basée sur le principe de mean-reversion.Chapitre III est dédié au pricing de produits dérivés de taux. Nous considérons maintenant que l’aversion au risque cause l’émergence de discontinuités dans les prix de marché, que nous simulons par le biais de processus à sauts. Notre modèle se concentre sur les processus de Hawkes qui ont l’avantage de capturer la présence d’auto-excitation dans la volatilité. Nous développons une procédure de calibration qui se distingue des procédures habituelles. Les résultats de volatilité implicite sont cohérents avec la volatilité réalisée, et suggèrent que les coefficients de prime de risque ont été estimés avec succès. / Periods of deep risk aversion are usually marked by sizeable distortions in market prices, and substantial losses in portfolios. As observed during financial crises, a generalized debacle in financial markets is a very negative shock for the real economy. Against this backdrop, it looks relevant to explore how risk aversion tends to affect global market valuations, especially if this exercise helps make the promotion of more optimal portfolio rebalancing procedures.In this dissertation, we investigate different dimensions of risk aversion, with a focus on European Sovereign debt securities. For a given sovereign bond, the (quoted) yield to maturity has to reflect the underlying risk that the Treasury may default on its debt, before maturation of the bond. This is sovereign risk. Financial crises usually occasion an upward correction in bond yields. Since higher yields reflect larger sovereign risk and higher funding costs, national Treasuries are usually inclined to get a deeper understanding of how sovereign risk could evolve under the influence of fierce risk aversion. This is another objective of our research analysis.In Chapter I, we consider a probabilistic approach to sovereign risk exploration, with the main purpose of illustrating the non-linear reaction ensuing from a gradual deterioration in market sentiment. We consider heavy-tailed distributions, and we use the Generalised Autoregressive Score method as a means to capture the volatility momentum. The goodness of fit provided by Generalised Hyperbolic distributions is compelling, and results suggest that our approach is particularly relevant to fit periods or erratic volatility, typical of financial crises. As an attempt to simplify the model, we focus on an empirical formulation of the ‘untemporal’ volatility of each security. This estimator of the intrinsic volatility suggests that volatility tends to accelerate in a quadratic manner when it is expressed against the cumulative distribution function of the yield variations. In a second part, we extend this approach to a problem of larger dimension and we explore the dynamics of risk aversion from a bivariate point of view. Results look robust and illustrate multivariate correlations between sovereign securities. As a general conclusion, heavy-tailed distributions look remarkably efficient to replicate the distribution of times-series affected by distorted volatility and erratic price variations.Chapter II explores different ways to extract information from the model, about financial contagion and how it is supposed to propagate through sovereign securities. In particular, we explore the market reaction to a series of many shocks with gradual intensity. Results offer a high degree of granularity and we extrapolate empirical rules on the expected market dynamics, when risk aversion intensifies. Then we incorporate our estimators of volatility and market reaction (to shocks) into popular portfolio optimisation procedures and we see positive implications on the general resilience of these portfolios. Finally, we also design an in-house methodology for optimal portfolio rebalancing, based on mean reversion.In Chapter III, we explore how sovereign risk tends to affect the price of financial derivatives in a risk-off environment. We consider that risk aversion and the ensuing volatility now favour the emergence of sizeable discontinuities in market prices, that we model with stochastic jumps. The different approaches we investigate extensively rely on Hawkes processes. These stochastic processes seek to estimate the durable impact of risk aversion onto the dynamics of jumps, via the introduction of dedicated self-excited loops. We develop an original approach to the calibration, different from conventional procedures. In the end, the calculated implied volatility remains in the vicinity of the realised volatility and there is a visible capability to jump on any rise in risk aversion.