This report investigates the possibilities to model the causal effect of treatment within the insurance domain to increase return on investment of sales through telemarketing. In order to capture the causal effect, two or more subgroups are required where one group receives control treatment. Two different uplift models model the causal effect of treatment, Class Transformation Method, and Modeling Uplift Directly with Random Forests. Both methods are evaluated by the Qini curve and the Qini coefficient. To model the causal effect of treatment, the comparison with a control group is a necessity. The report attempts to find the optimal treatment group allocation in order to maximize the precision in the difference between the treatment group and the control group. Further, the report provides a rule of thumb that ensure that the control group is of sufficient size to be able to model the causal effect. If has provided the data material used to model uplift and it consists of approximately 630000 customer interactions and 60 features. The total uplift in the data set, the difference in purchase rate between the treatment group and control group, is approximately 3%. Uplift by random forest with a Euclidean distance splitting criterion that tries to maximize the distributional divergence between treatment group and control group performs best, which captures 15% of the theoretical best model. The same model manages to capture 77% of the total amount of purchases in the treatment group by only giving treatment to half of the treatment group. With the purchase rates in the data set, the optimal treatment group allocation is approximately 58%-70%, but the study could be performed with as much as approximately 97%treatment group allocation.

Submitted by Rafael Oliveira (rborges@fgvmail.br) on 2013-04-17T15:04:01Z No. of bitstreams: 1 Dissertacao_Mestrado_Rafael_Garcia_Borges_de_Oliveira.pdf: 330686 bytes, checksum: 5d389963ae1a2cbb4177b94764202bc0 (MD5) / Approved for entry into archive by Marcia Bacha (marcia.bacha@fgv.br) on 2013-04-26T18:53:09Z (GMT) No. of bitstreams: 1 Dissertacao_Mestrado_Rafael_Garcia_Borges_de_Oliveira.pdf: 330686 bytes, checksum: 5d389963ae1a2cbb4177b94764202bc0 (MD5) / Made available in DSpace on 2013-04-26T18:53:36Z (GMT). No. of bitstreams: 1 Dissertacao_Mestrado_Rafael_Garcia_Borges_de_Oliveira.pdf: 330686 bytes, checksum: 5d389963ae1a2cbb4177b94764202bc0 (MD5) Previous issue date: 2012-12-17 / Este estudo avalia o programa Cartão Família Carioca (CFC), do município do Rio de Janeiro. Através de dados administrativos, estimamos o impacto dos incentivos introduzidos pelo CFC sobre a frequência e desempenho dos alunos em testes padronizados. Encontramos efeitos positivos sobre ciências e negativos para português, além de impacto no sentido de reduzir as faltas dos alunos participantes.

Les analyses effectuées dans le cadre de ce mémoire ont été réalisées à l'aide du module MatchIt disponible sous l’environnent d'analyse statistique R. / Statistical analyzes of this thesis were performed using the MatchIt package available in the statistical analysis environment R. / L’estimation sans biais de l’effet causal d’une intervention nécessite la comparaison de deux groupes homogènes. Il est rare qu’une étude observationnelle dispose de groupes comparables et même une étude expérimentale peut se retrouver avec des groupes non comparables. Les chercheurs ont alors recours à des techniques de correction afin de rendre les deux groupes aussi semblables que possible. Le problème consiste alors à choisir la méthode de correction appropriée. En ce qui nous concerne, nous limiterons nos recherches à une famille de méthodes dites d’appariement. Il est reconnu que ce qui importe lors d’un appariement est l’équilibre des deux groupes sur les caractéristiques retenues. Autrement dit, il faut que les variables soient distribuées de façon similaire dans les deux groupes. Avant même de considérer la distribution des variables entre les deux groupes, il est nécessaire de savoir si les données en question permettent une inférence causale. Afin de présenter le problème de façon rigoureuse, le modèle causal contrefactuel sera exposé. Par la suite, les propriétés formelles de trois méthodes d’appariement seront présentées. Ces méthodes sont l’appariement par la distance de Mahalanobis, de l’appariement par le score de propension et de l’appariement génétique. Le choix de la technique d’appariement appropriée reposera sur quatre critères empiriques dont le plus important est la différence des moyennes standardisées. Les résultats obtenus à l’aide des données de l’Enquête longitudinale et expérimentale de Montréal (ÉLEM) indiquent que des trois techniques d’appariement, l’appariement génétique est celui qui équilibre mieux les variables entre les groupes sur tous les critères retenus. L’estimation de l’effet de l’intervention varie sensiblement d’une technique à l’autre, bien que dans tous les cas cet effet est non significatif. Ainsi, le choix d’une technique d’appariement influence l’estimation de l’effet d’une intervention. Il est donc impérieux de choisir la technique qui permet d’obtenir un équilibre optimal des variables selon les données à la disposition du chercheur. / The unbiased estimate of the causal effect of an intervention requires the comparison of two homogeneous groups. It is rare that an observational study has comparable groups and even an experiment may end up with non-comparable groups. The researchers then used correction techniques to make the two groups as similar as possible. The problem then is to choose the appropriate correction method. In our case, we will restrict our research to a family of so-called matching methods. It is recognized that what matters in a match is the balance between the two groups on selected characteristics. In other words, it is necessary that the variables are distributed similarly in both groups. Even before considering the distribution of variables between the two groups, it is necessary to know whether the data in question allow for causal inference. To present the problem rigorously, the counterfactual causal model will be exposed. Thereafter, the formal properties of three matching methods will be presented. Those methods are the Mahalanobis matching, the propensity score matching and genetic matching. The choice of the appropriate matching technique is based on four empirical criteria which the most important is the standardized mean difference. Results obtained using data from the Montréal Longitudinal and Experimental Study indicate that of the three matching techniques, genetic matching is the one that better balance the variables between groups on all criteria. The estimate of the effect of intervention varies substantially from one technique to another, although in all cases this effect is non significant. Thus, the selection of a matching technique influences the estimation of the effect of an intervention. Therefore, it is imperative to choose the technique that provides an optimal balance of the variables based on data available to the researcher.

Dans cette thèse, nous dépassons le cadre binaire de l’évaluation et nous nous plaçons dans celui de plusieurs traitements, à l’instar de Brodaty et al. [2001], Larson [2000], Imbens [1999]. Les estimations effectuées portent sur les politiques de l’emploi en vigueur en France pendant la période 1997-1999. Trois programmes sont étudies : CIE (Contrat Initiative Emploi) emploi subventionné dans le secteur marchand, CES (Contrat Emploi-Solidarité) création d’emploi dans le secteur non marchand et SIFE (Stage d’Insertion par la Formation et l’Emploi). L’efficacité de ces dispositifs est évaluée non seulement sur le taux de retour à l’emploi des bénéficiaires mais aussi sur divers autres critères qui répondent à différentes questions intéressantes économiquement et économétriquement : i) la politique active de l’emploi atteint-elle les demandeurs d’emploi les plus prioritaires parmi les prioritaires ? ii) Comment les entreprises utilisent-elles les programmes de la politique active (effet d’aubaine, de substitution,...) ? iii) Pouvons-nous mesurer la qualité d’un contrat aidé ? Comment évaluer l’efficacité relative d’un contrat aidé (plus spécifiquement) non marchand comparativement à celui du secteur marchand ?, impact marginal, effet propre, bien-être, , etc. / We evaluate the ALMP’s with a particular attention to the differentiation of impacts by categories of programmes and categories of beneficiaries. These two forms of heterogeneity can in fact lead to erroneous evaluations or too partial:i) The heterogeneity of programmes proposed, in particular their characteristics (type of contract, duration, remuneration, training, etc.) are an important source of complexity in behavior of self-selection of job seekers: behaviors can be multiples and strategic.ii) The heterogeneity of target-populations (low-skilled, youth, women, priority category, first-job seekers, etc.) is an important source of complexity in the behavior selection of employment advisor.There is finally no reason that different types of programmes have the same average effect on various public as well. We evaluate so ALMP’s on multiple criteria of effectiveness (heterogeneity of criteria).