Cette thèse s'inscrit dans les domaines de la statistique non-paramétrique et de la théorie statistique de l'apprentissage. Son objet est la compréhension fine de certaines méthodes de rééchantillonnage ou de sélection de modèles, du point de vue non-asymptotique. <br /><br />La majeure partie de ce travail de thèse consiste dans la calibration précise de méthodes de sélection de modèles optimales en pratique, pour le problème de la prédiction. Nous étudions la validation croisée V-fold (très couramment utilisée, mais mal comprise en théorie, notamment pour ce qui est de choisir V) et plusieurs méthodes de pénalisation. Nous proposons des méthodes de calibration précise de pénalités, aussi bien pour ce qui est de leur forme générale que des constantes multiplicatives. L'utilisation du rééchantillonnage permet de résoudre des problèmes difficiles, notamment celui de la régression avec un niveau de bruit variable. Nous validons théoriquement ces méthodes du point de vue non-asymptotique, en prouvant des inégalités oracle et des propriétés d'adaptation. Ces résultats reposent entre autres sur des inégalités de concentration.<br /><br />Un second problème que nous abordons est celui des régions de confiance et des tests multiples, lorsque l'on dispose d'observations de grande dimension, présentant des corrélations générales et inconnues. L'utilisation de méthodes de rééchantillonnage permet de s'affranchir du fléau de la dimension, et d'"apprendre" ces corrélations. Nous proposons principalement deux méthodes, et prouvons pour chacune un contrôle non-asymptotique de leur niveau.

Cette thèse étudie la méthode du gradient conjugué et la méthode de Lanczos pour la résolution de problèmes aux moindres carrés non-linéaires sous déterminés et régularisés par un terme de pénalisation quadratique. Ces problèmes résultent souvent d'une approche du maximum de vraisemblance, et impliquent un ensemble de m observations physiques et n inconnues estimées par régression non linéaire. Nous supposons ici que n est grand par rapport à m. Un tel cas se présente lorsque des champs tridimensionnels sont estimés à partir d'observations physiques, par exemple dans l'assimilation de données appliquée aux modèles du système terrestre. Un algorithme largement utilisé dans ce contexte est la méthode de Gauss- Newton (GN), connue dans la communauté d'assimilation de données sous le nom d'assimilation variationnelle des données quadridimensionnelles. Le procédé GN repose sur la résolution approchée d'une séquence de moindres carrés linéaires optimale dans laquelle la fonction coût non-linéaire des moindres carrés est approximée par une fonction quadratique dans le voisinage de l'itération non linéaire en cours. Cependant, il est bien connu que cette simple variante de l'algorithme de Gauss-Newton ne garantit pas une diminution monotone de la fonction coût et sa convergence n'est donc pas garantie. Cette difficulté est généralement surmontée en utilisant une recherche linéaire (Dennis and Schnabel, 1983) ou une méthode de région de confiance (Conn, Gould and Toint, 2000), qui assure la convergence globale des points critiques du premier ordre sous des hypothèses faibles. Nous considérons la seconde de ces approches dans cette thèse. En outre, compte tenu de la grande échelle de ce problème, nous proposons ici d'utiliser un algorithme de région de confiance particulier s'appuyant sur la méthode du gradient conjugué tronqué de Steihaug-Toint pour la résolution approchée du sous-problème (Conn, Gould and Toint, 2000, p. 133-139) La résolution de ce sous-problème dans un espace à n dimensions (par CG ou Lanczos) est considérée comme l'approche primale. Comme alternative, une réduction significative du coût de calcul est possible en réécrivant l'approximation quadratique dans l'espace à m dimensions associé aux observations. Ceci est important pour les applications à grande échelle telles que celles quotidiennement traitées dans les systèmes de prévisions météorologiques. Cette approche, qui effectue la minimisation de l'espace à m dimensions à l'aide CG ou de ces variantes, est considérée comme l'approche duale. La première approche proposée (Da Silva et al., 1995; Cohn et al., 1998; Courtier, 1997), connue sous le nom de Système d'analyse Statistique de l'espace Physique (PSAS) dans la communauté d'assimilation de données, commence par la minimisation de la fonction de coût duale dans l'espace de dimension m par un CG préconditionné (PCG), puis revient l'espace à n dimensions. Techniquement, l'algorithme se compose de formules de récurrence impliquant des vecteurs de taille m au lieu de vecteurs de taille n. Cependant, l'utilisation de PSAS peut être excessivement coûteuse car il a été remarqué que la fonction de coût linéaire des moindres carrés ne diminue pas monotonement au cours des itérations non-linéaires. Une autre approche duale, connue sous le nom de méthode du gradient conjugué préconditionné restreint (RPCG), a été proposée par Gratton and Tshimanga (2009). Celle-ci génère les mêmes itérations en arithmétique exacte que l'approche primale, à nouveau en utilisant la formule de récurrence impliquant des vecteurs taille m. L'intérêt principal de RPCG est qu'il en résulte une réduction significative de la mémoire utilisée et des coûts de calcul tout en conservant la propriété de convergence souhaitée, contrairement à l'algorithme PSAS. / This thesis investigates the conjugate-gradient method and the Lanczos method for the solution of under-determined nonlinear least-squares problems regularized by a quadratic penalty term. Such problems often result from a maximum likelihood approach, and involve a set of m physical observations and n unknowns that are estimated by nonlinear regression. We suppose here that n is large compared to m. These problems are encountered for instance when three-dimensional fields are estimated from physical observations, as is the case in data assimilation in Earth system models. A widely used algorithm in this context is the Gauss-Newton (GN) method, known in the data assimilation community under the name of incremental four dimensional variational data assimilation. The GN method relies on the approximate solution of a sequence of linear least-squares problems in which the nonlinear least-squares cost function is approximated by a quadratic function in the neighbourhood of the current nonlinear iterate. However, it is well known that this simple variant of the Gauss-Newton algorithm does not ensure a monotonic decrease of the cost function and that convergence is not guaranteed. Removing this difficulty is typically achieved by using a line-search (Dennis and Schnabel, 1983) or trust-region (Conn, Gould and Toint, 2000) strategy, which ensures global convergence to first order critical points under mild assumptions. We consider the second of these approaches in this thesis. Moreover, taking into consideration the large-scale nature of the problem, we propose here to use a particular trust-region algorithm relying on the Steihaug-Toint truncated conjugate-gradient method for the approximate solution of the subproblem (Conn, Gould and Toint, 2000, pp. 133-139). Solving this subproblem in the n-dimensional space (by CG or Lanczos) is referred to as the primal approach. Alternatively, a significant reduction in the computational cost is possible by rewriting the quadratic approximation in the m-dimensional space associated with the observations. This is important for large-scale applications such as those solved daily in weather prediction systems. This approach, which performs the minimization in the m-dimensional space using CG or variants thereof, is referred to as the dual approach. The first proposed dual approach (Courtier, 1997), known as the Physical-space Statistical Analysis System (PSAS) in the data assimilation community starts by solving the corresponding dual cost function in m-dimensional space by a standard preconditioned CG (PCG), and then recovers the step in n-dimensional space through multiplication by an n by m matrix. Technically, the algorithm consists of recurrence formulas involving m-vectors instead of n-vectors. However, the use of PSAS can be unduly costly as it was noticed that the linear least-squares cost function does not monotonically decrease along the nonlinear iterations when applying standard termination. Another dual approach has been proposed by Gratton and Tshimanga (2009) and is known as the Restricted Preconditioned Conjugate Gradient (RPCG) method. It generates the same iterates in exact arithmetic as those generated by the primal approach, again using recursion formula involving m-vectors. The main interest of RPCG is that it results in significant reduction of both memory and computational costs while maintaining the desired convergence property, in contrast with the PSAS algorithm. The relation between these two dual approaches and the question of deriving efficient preconditioners (Gratton, Sartenaer and Tshimanga, 2011), essential when large-scale problems are considered, was not addressed in Gratton and Tshimanga (2009).

Recent progress in the modelling of the dynamics of the Antarctic ice sheet has led to a paradigm shift in the perception of the Antarctic ice sheet in a changing climate. New understanding of the dynamics of the Antarctic ice sheet now suggests that the response of the Antarctic ice sheet to climate change will be driven by instability mechanisms in marine sectors. As concerns have grown about the response of the Antarctic ice sheet in a warming climate, interest has grown simultaneously in predicting with quantified uncertainty the evolution of the Antarctic ice sheet and in clarifying the role played by uncertainties in predicting the response of the Antarctic ice sheet to climate change. Essential ice-sheet models have recently emerged as computationally efficient ice-sheet models for large-scale and long-term simulations of the ice-sheet dynamics and integration into Earth system models. Essential ice-sheet models, such as the fast Elementary Thermomechanical Ice Sheet (f.ETISh) model developed at the Université Libre de Bruxelles, achieve computational tractability by representing essential mechanisms and feedbacks of ice-sheet thermodynamics through reduced-order models and appropriate parameterisations. Given their computational tractability, essential ice-sheet models combined with methods from the field of uncertainty quantification provide opportunities for more comprehensive analyses of the impact of uncertainty in ice-sheet models and for expanding the range of uncertainty quantification methods employed in ice-sheet modelling. The main contributions of this thesis are twofold. On the one hand, we contribute a new assessment and new understanding of the impact of uncertainties on the multicentennial response of the Antarctic ice sheet. On the other hand, we contribute new methods for uncertainty quantification of geometrical characteristics of the spatial response of physics-based computational models, with, as a motivation in glaciology, a focus on predicting with quantified uncertainty the retreat of the grounded region of the Antarctic ice sheet. For the first contribution, we carry out new probabilistic projections of the multicentennial response of the Antarctic ice sheet to climate change using the f.ETISh model. We apply methods from the field of uncertainty quantification to the f.ETISh model to investigate the influence of several sources of uncertainty, namely sources of uncertainty in atmospheric forcing, basal sliding, grounding-line flux parameterisation, calving, sub-shelf melting, ice-shelf rheology, and bedrock relation, on the continental response on the Antarctic ice sheet. We provide new probabilistic projections of the contribution of the Antarctic ice sheet to future sea-level rise; we carry out stochastic sensitivity analysis to determine the most influential sources of uncertainty; and we provide new probabilistic projections of the retreat of the grounded portion of the Antarctic ice sheet. For the second contribution, we propose to address uncertainty quantification of geometrical characteristics of the spatial response of physics-based computational models within the probabilistic context of the random set theory. We contribute to the development of the concept of confidence sets that either contain or are contained within an excursion set of the spatial response with a specified probability level. We propose a new multifidelity quantile-based method for the estimation of such confidence sets and we demonstrate the performance of the proposed method on an application concerned with predicting with quantified uncertainty the retreat of the Antarctic ice sheet. In addition to these two main contributions, we contribute to two additional pieces of research pertaining to the computation of Sobol indices in global sensitivity analysis in small-data settings using the recently introduced probabilistic learning on manifolds (PLoM) and to a multi-model comparison of the projections of the contribution of the Antarctic ice sheet to global mean sea-level rise. / Les progrès récents effectués dans la modélisation de la dynamique de la calotte polaire de l'Antarctique ont donné lieu à un changement de paradigme vis-à-vis de la perception de la calotte polaire de l'Antarctique face au changement climatique. Une meilleure compréhension de la dynamique de la calotte polaire de l'Antarctique suggère désormais que la réponse de la calotte polaire de l'Antarctique au changement climatique sera déterminée par des mécanismes d'instabilité dans les régions marines. Tandis qu'un nouvel engouement se porte sur une meilleure compréhension de la réponse de la calotte polaire de l'Antarctique au changement climatique, un intérêt particulier se porte simultanément vers le besoin de quantifier les incertitudes sur l'évolution de la calotte polaire de l'Antarctique ainsi que de clarifier le rôle joué par les incertitudes sur le comportement de la calotte polaire de l'Antarctique en réponse au changement climatique. D'un point de vue numérique, les modèles glaciologiques dits essentiels ont récemment été développés afin de fournir des modèles numériques efficaces en temps de calcul dans le but de réaliser des simulations à grande échelle et sur le long terme de la dynamique des calottes polaires ainsi que dans l'optique de coupler le comportement des calottes polaires avec des modèles globaux du sytème terrestre. L'efficacité en temps de calcul de ces modèles glaciologiques essentiels, tels que le modèle f.ETISh (fast Elementary Thermomechanical Ice Sheet) développé à l'Université Libre de Bruxelles, repose sur une modélisation des mécanismes et des rétroactions essentiels gouvernant la thermodynamique des calottes polaires au travers de modèles d'ordre réduit et de paramétrisations. Vu l'efficacité en temps de calcul des modèles glaciologiques essentiels, l'utilisation de ces modèles en complément des méthodes du domaine de la quantification des incertitudes offrent de nombreuses opportunités afin de mener des analyses plus complètes de l'impact des incertitudes dans les modèles glaciologiques ainsi que de développer de nouvelles méthodes du domaine de la quantification des incertitudes dans le cadre de la modélisation glaciologique. Les contributions de cette thèse sont doubles. D'une part, nous contribuons à une nouvelle estimation et une nouvelle compréhension de l'impact des incertitudes sur la réponse de la calotte polaire de l'Antarctique dans les prochains siècles. D'autre part, nous contribuons au développement de nouvelles méthodes pour la quantification des incertitudes sur les caractéristiques géométriques de la réponse spatiale de modèles physiques numériques avec, comme motivation en glaciologie, un intérêt particulier vers la prédiction sous incertitudes du retrait de la région de la calotte polaire de l'Antarctique en contact avec le lit rocheux. Dans le cadre de la première contribution, nous réalisons de nouvelles projections probabilistes de la réponse de la calotte polaire de l'Antarctique au changement climatique au cours des prochains siècles à l'aide du modèle numérique f.ETISh. Nous appliquons des méthodes du domaine de la quantification des incertitudes au modèle numérique f.ETISh afin d'étudier l'impact de différentes sources d'incertitude sur la réponse continentale de la calotte polaire de l'Antarctique. Les sources d'incertitude étudiées sont relatives au forçage atmosphérique, au glissement basal, à la paramétrisation du flux à la ligne d'ancrage, au vêlage, à la fonte sous les barrières de glace, à la rhéologie des barrières de glace et à la relaxation du lit rocheux. Nous réalisons de nouvelles projections probabilistes de la contribution de la calotte polaire de l'Antarctique à l'augmentation future du niveau des mers; nous réalisons une analyse de sensibilité afin de déterminer les sources d'incertitude les plus influentes; et nous réalisons de nouvelles projections probabilistes du retrait de la région de la calotte polaire de l'Antarctique en contact avec le lit rocheux.Dans le cadre de la seconde contribution, nous étudions la quantification des incertitudes sur les caractéristiques géométriques de la réponse spatiale de modèles physiques numériques dans le cadre de la théorie des ensembles aléatoires. Dans le cadre de la théorie des ensembles aléatoires, nous développons le concept de régions de confiance qui contiennent ou bien sont inclus dans un ensemble d'excursion de la réponse spatiale du modèle numérique avec un niveau donné de probabilité. Afin d'estimer ces régions de confiance, nous proposons de formuler l'estimation de ces régions de confiance dans une famille d'ensembles paramétrés comme un problème d'estimation de quantiles d'une variable aléatoire et nous proposons une nouvelle méthode de type multifidélité pour estimer ces quantiles. Finalement, nous démontrons l'efficacité de cette nouvelle méthode dans le cadre d'une application relative au retrait de la région de la calotte polaire de l'Antarctique en contact avec le lit rocheux. En plus de ces deux contributions principales, nous contribuons à deux travaux de recherche additionnels. D'une part, nous contribuons à un travail de recherche relatif au calcul des indices de Sobol en analyse de sensibilité dans le cadre de petits ensembles de données à l'aide d'une nouvelle méthode d'apprentissage probabiliste sur des variétés géométriques. D'autre part, nous fournissons une comparaison multimodèle de différentes projections de la contribution de la calotte polaire de l'Antarctique à l'augmentation du niveau des mers. / Doctorat en Sciences / info:eu-repo/semantics/nonPublished

La dernière décennie a connu un intérêt croissant pour les problèmes posés par les variables instrumentales faibles dans la littérature économétrique, c’est-à-dire les situations où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter. En effet, il est bien connu que lorsque les instruments sont faibles, les distributions des statistiques de Student, de Wald, du ratio de vraisemblance et du multiplicateur de Lagrange ne sont plus standard et dépendent souvent de paramètres de nuisance. Plusieurs études empiriques portant notamment sur les modèles de rendements à l’éducation [Angrist et Krueger (1991, 1995), Angrist et al. (1999), Bound et al. (1995), Dufour et Taamouti (2007)] et d’évaluation des actifs financiers (C-CAPM) [Hansen et Singleton (1982,1983), Stock et Wright (2000)], où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter, ont montré que l’utilisation de ces statistiques conduit souvent à des résultats peu fiables. Un remède à ce problème est l’utilisation de tests robustes à l’identification [Anderson et Rubin (1949), Moreira (2002), Kleibergen (2003), Dufour et Taamouti (2007)]. Cependant, il n’existe aucune littérature économétrique sur la qualité des procédures robustes à l’identification lorsque les instruments disponibles sont endogènes ou à la fois endogènes et faibles. Cela soulève la question de savoir ce qui arrive aux procédures d’inférence robustes à l’identification lorsque certaines variables instrumentales supposées exogènes ne le sont pas effectivement. Plus précisément, qu’arrive-t-il si une variable instrumentale invalide est ajoutée à un ensemble d’instruments valides? Ces procédures se comportent-elles différemment? Et si l’endogénéité des variables instrumentales pose des difficultés majeures à l’inférence statistique, peut-on proposer des procédures de tests qui sélectionnent les instruments lorsqu’ils sont à la fois forts et valides? Est-il possible de proposer les proédures de sélection d’instruments qui demeurent valides même en présence d’identification faible? Cette thèse se focalise sur les modèles structurels (modèles à équations simultanées) et apporte des réponses à ces questions à travers quatre essais. Le premier essai est publié dans Journal of Statistical Planning and Inference 138 (2008) 2649 – 2661. Dans cet essai, nous analysons les effets de l’endogénéité des instruments sur deux statistiques de test robustes à l’identification: la statistique d’Anderson et Rubin (AR, 1949) et la statistique de Kleibergen (K, 2003), avec ou sans instruments faibles. D’abord, lorsque le paramètre qui contrôle l’endogénéité des instruments est fixe (ne dépend pas de la taille de l’échantillon), nous montrons que toutes ces procédures sont en général convergentes contre la présence d’instruments invalides (c’est-à-dire détectent la présence d’instruments invalides) indépendamment de leur qualité (forts ou faibles). Nous décrivons aussi des cas où cette convergence peut ne pas tenir, mais la distribution asymptotique est modifiée d’une manière qui pourrait conduire à des distorsions de niveau même pour de grands échantillons. Ceci inclut, en particulier, les cas où l’estimateur des double moindres carrés demeure convergent, mais les tests sont asymptotiquement invalides. Ensuite, lorsque les instruments sont localement exogènes (c’est-à-dire le paramètre d’endogénéité converge vers zéro lorsque la taille de l’échantillon augmente), nous montrons que ces tests convergent vers des distributions chi-carré non centrées, que les instruments soient forts ou faibles. Nous caractérisons aussi les situations où le paramètre de non centralité est nul et la distribution asymptotique des statistiques demeure la même que dans le cas des instruments valides (malgré la présence des instruments invalides). Le deuxième essai étudie l’impact des instruments faibles sur les tests de spécification du type Durbin-Wu-Hausman (DWH) ainsi que le test de Revankar et Hartley (1973). Nous proposons une analyse en petit et grand échantillon de la distribution de ces tests sous l’hypothèse nulle (niveau) et l’alternative (puissance), incluant les cas où l’identification est déficiente ou faible (instruments faibles). Notre analyse en petit échantillon founit plusieurs perspectives ainsi que des extensions des précédentes procédures. En effet, la caractérisation de la distribution de ces statistiques en petit échantillon permet la construction des tests de Monte Carlo exacts pour l’exogénéité même avec les erreurs non Gaussiens. Nous montrons que ces tests sont typiquement robustes aux intruments faibles (le niveau est contrôlé). De plus, nous fournissons une caractérisation de la puissance des tests, qui exhibe clairement les facteurs qui déterminent la puissance. Nous montrons que les tests n’ont pas de puissance lorsque tous les instruments sont faibles [similaire à Guggenberger(2008)]. Cependant, la puissance existe tant qu’au moins un seul instruments est fort. La conclusion de Guggenberger (2008) concerne le cas où tous les instruments sont faibles (un cas d’intérêt mineur en pratique). Notre théorie asymptotique sous les hypothèses affaiblies confirme la théorie en échantillon fini. Par ailleurs, nous présentons une analyse de Monte Carlo indiquant que: (1) l’estimateur des moindres carrés ordinaires est plus efficace que celui des doubles moindres carrés lorsque les instruments sont faibles et l’endogenéité modérée [conclusion similaire à celle de Kiviet and Niemczyk (2007)]; (2) les estimateurs pré-test basés sur les tests d’exogenété ont une excellente performance par rapport aux doubles moindres carrés. Ceci suggère que la méthode des variables instrumentales ne devrait être appliquée que si l’on a la certitude d’avoir des instruments forts. Donc, les conclusions de Guggenberger (2008) sont mitigées et pourraient être trompeuses. Nous illustrons nos résultats théoriques à travers des expériences de simulation et deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le problème bien connu du rendement à l’éducation. Le troisième essai étend le test d’exogénéité du type Wald proposé par Dufour (1987) aux cas où les erreurs de la régression ont une distribution non-normale. Nous proposons une nouvelle version du précédent test qui est valide même en présence d’erreurs non-Gaussiens. Contrairement aux procédures de test d’exogénéité usuelles (tests de Durbin-Wu-Hausman et de Rvankar- Hartley), le test de Wald permet de résoudre un problème courant dans les travaux empiriques qui consiste à tester l’exogénéité partielle d’un sous ensemble de variables. Nous proposons deux nouveaux estimateurs pré-test basés sur le test de Wald qui performent mieux (en terme d’erreur quadratique moyenne) que l’estimateur IV usuel lorsque les variables instrumentales sont faibles et l’endogénéité modérée. Nous montrons également que ce test peut servir de procédure de sélection de variables instrumentales. Nous illustrons les résultats théoriques par deux applications empiriques: le modèle bien connu d’équation du salaire [Angist et Krueger (1991, 1999)] et les rendements d’échelle [Nerlove (1963)]. Nos résultats suggèrent que l’éducation de la mère expliquerait le décrochage de son fils, que l’output est une variable endogène dans l’estimation du coût de la firme et que le prix du fuel en est un instrument valide pour l’output. Le quatrième essai résout deux problèmes très importants dans la littérature économétrique. D’abord, bien que le test de Wald initial ou étendu permette de construire les régions de confiance et de tester les restrictions linéaires sur les covariances, il suppose que les paramètres du modèle sont identifiés. Lorsque l’identification est faible (instruments faiblement corrélés avec la variable à instrumenter), ce test n’est en général plus valide. Cet essai développe une procédure d’inférence robuste à l’identification (instruments faibles) qui permet de construire des régions de confiance pour la matrices de covariances entre les erreurs de la régression et les variables explicatives (possiblement endogènes). Nous fournissons les expressions analytiques des régions de confiance et caractérisons les conditions nécessaires et suffisantes sous lesquelles ils sont bornés. La procédure proposée demeure valide même pour de petits échantillons et elle est aussi asymptotiquement robuste à l’hétéroscédasticité et l’autocorrélation des erreurs. Ensuite, les résultats sont utilisés pour développer les tests d’exogénéité partielle robustes à l’identification. Les simulations Monte Carlo indiquent que ces tests contrôlent le niveau et ont de la puissance même si les instruments sont faibles. Ceci nous permet de proposer une procédure valide de sélection de variables instrumentales même s’il y a un problème d’identification. La procédure de sélection des instruments est basée sur deux nouveaux estimateurs pré-test qui combinent l’estimateur IV usuel et les estimateurs IV partiels. Nos simulations montrent que: (1) tout comme l’estimateur des moindres carrés ordinaires, les estimateurs IV partiels sont plus efficaces que l’estimateur IV usuel lorsque les instruments sont faibles et l’endogénéité modérée; (2) les estimateurs pré-test ont globalement une excellente performance comparés à l’estimateur IV usuel. Nous illustrons nos résultats théoriques par deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le modèle de rendements à l’éducation. Dans la première application, les études antérieures ont conclu que les instruments n’étaient pas trop faibles [Dufour et Taamouti (2007)] alors qu’ils le sont fortement dans la seconde [Bound (1995), Doko et Dufour (2009)]. Conformément à nos résultats théoriques, nous trouvons les régions de confiance non bornées pour la covariance dans le cas où les instruments sont assez faibles. / The last decade shows growing interest for the so-called weak instruments problems in the econometric literature, i.e. situations where instruments are poorly correlated with endogenous explanatory variables. More generally, these can be viewed as situations where model parameters are not identified or nearly so (see Dufour and Hsiao, 2008). It is well known that when instruments are weak, the limiting distributions of standard test statistics - like Student, Wald, likelihood ratio and Lagrange multiplier criteria in structural models - have non-standard distributions and often depend heavily on nuisance parameters. Several empirical studies including the estimation of returns to education [Angrist and Krueger (1991, 1995), Angrist et al. (1999), Bound et al. (1995), Dufour and Taamouti (2007)] and asset pricing model (C-CAPM) [Hansen and Singleton (1982, 1983), Stock and Wright (2000)], have showed that the above procedures are unreliable in presence of weak identification. As a result, identification-robust tests [Anderson and Rubin (1949), Moreira (2003), Kleibergen (2002), Dufour and Taamouti (2007)] are often used to make reliable inference. However, little is known about the quality of these procedures when the instruments are invalid or both weak and invalid. This raises the following question: what happens to inference procedures when some instruments are endogenous or both weak and endogenous? In particular, what happens if an invalid instrument is added to a set of valid instruments? How robust are these inference procedures to instrument endogeneity? Do alternative inference procedures behave differently? If instrument endogeneity makes statistical inference unreliable, can we propose the procedures for selecting "good instruments" (i.e. strong and valid instruments)? Can we propose instrument selection procedure which will be valid even in presence of weak identification? This thesis focuses on structural models and answers these questions through four chapiters. The first chapter is published in Journal of Statistical Planning and Inference 138 (2008) 2649 – 2661. In this chapter, we analyze the effects of instrument endogeneity on two identificationrobust procedures: Anderson and Rubin (1949, AR) and Kleibergen (2002, K) test statistics, with or without weak instruments. First, when the level of instrument endogeneity is fixed (does not depend on the sample size), we show that all these procedures are in general consistent against the presence of invalid instruments (hence asymptotically invalid for the hypothesis of interest), whether the instruments are "strong" or "weak". We also describe situations where this consistency may not hold, but the asymptotic distribution is modified in a way that would lead to size distortions in large samples. These include, in particular, cases where 2SLS estimator remains consistent, but the tests are asymptotically invalid. Second, when the instruments are locally exogenous (the level of instrument endogeneity approaches zero as the sample size increases), we find asymptotic noncentral chi-square distributions with or without weak instruments, and describe situations where the non-centrality parameter is zero and the asymptotic distribution remains the same as in the case of valid instruments (despite the presence of invalid instruments). The second chapter analyzes the effects of weak identification on Durbin-Wu-Hausman (DWH) specification tests an Revankar-Harttley exogeneity test. We propose a finite-and large-sample analysis of the distribution of DWH tests under the null hypothesis (level) and the alternative hypothesis (power), including when identification is deficient or weak (weak instruments). Our finite-sample analysis provides several new insights and extensions of earlier procedures. The characterization of the finite-sample distribution of the test-statistics allows the construction of exact identificationrobust exogeneity tests even with non-Gaussian errors (Monte Carlos tests) and shows that such tests are typically robust to weak instruments (level is controlled). Furthermore, we provide a characterization of the power of the tests, which clearly exhibits factors which determine power. We show that DWH-tests have no power when all instruments are weak [similar to Guggenberger(2008)]. However, power does exist as soon as we have one strong instruments. The conclusions of Guggenberger (2008) focus on the case where all instruments are weak (a case of little practical interest). Our asymptotic distributional theory under weaker assumptions confirms the finite-sample theory. Moreover, we present simulation evidence indicating: (1) over a wide range cases, including weak IV and moderate endogeneity, OLS performs better than 2SLS [finding similar to Kiviet and Niemczyk (2007)]; (2) pretest-estimators based on exogeneity tests have an excellent overall performance compared with usual IV estimator. We illustrate our theoretical results through simulation experiment and two empirical applications: the relation between trade and economic growth and the widely studied problem of returns to education. In the third chapter, we extend the generalized Wald partial exogeneity test [Dufour (1987)] to non-gaussian errors. Testing whether a subset of explanatory variables is exogenous is an important challenge in econometrics. This problem occurs in many applied works. For example, in the well know wage model, one should like to assess if mother’s education is exogenous without imposing additional assumptions on ability and schooling. In the growth model, the exogeneity of the constructed instrument on the basis of geographical characteristics for the trade share is often questioned and needs to be tested without constraining trade share and the other variables. Standard exogeneity tests of the type proposed by Durbin-Wu-Hausman and Revankar-Hartley cannot solve such problems. A potential cure for dealing with partial exogeneity is the use of the generalized linear Wald (GW) method (Dufour, 1987). The GW-procedure however assumes the normality of model errors and it is not clear how robust is this test to non-gaussian errors. We develop in this chapter, a modified version of earlier procedure which is valid even when model errors are not normally distributed. We present simulation evidence indicating that when identification is strong, the standard GW-test is size distorted in presence of non-gaussian errors. Furthermore, our analysis of the performance of different pretest-estimators based on GW-tests allow us to propose two new pretest-estimators of the structural parameter. The Monte Carlo simulations indicate that these pretest-estimators have a better performance over a wide range cases compared with 2SLS. Therefore, this can be viewed as a procedure for selecting variable where a GW-test is used in the first stage to decide which variables should be instruments and which ones are valid instruments. We illustrate our theoretical results through two empirical applications: the well known wage equation and the returns to scale in electricity supply. The results show that the GW-tests cannot reject the exogeneity of mother’s education, i.e. mother’s education may constitute a valid IV for schooling. However, the output in cost equation is endogenous and the price of fuel is a valid IV for estimating the returns to scale. The fourth chapter develops identification-robust inference for the covariances between errors and regressors of an IV regression. The results are then applied to develop partial exogeneity tests and partial IV pretest-estimators which are more efficient than usual IV estimator. When more than one stochastic explanatory variables are involved in the model, it is often necessary to determine which ones are independent of the disturbances. This problem arises in many empirical applications. For example, in the New Keynesian Phillips Curve, one should like to assess whether the interest rate is exogenous without imposing additional assumptions on inflation rate and the other variables. Standard Wu-Durbin-Hausman (DWH) tests which are commonly used in applied work are inappropriate to deal with such a problem. The generalized Wald (GW) procedure (Dufour, 1987) which typically allows the construction of confidence sets as well as testing linear restrictions on covariances assumes that the available instruments are strong. When the instruments are weak, the GW-test is in general size distorted. As a result, its application in models where instruments are possibly weak–returns to education, trade and economic growth, life cycle labor supply, New Keynesian Phillips Curve, pregnancy and the demand for cigarettes–may be misleading. To answer this problem, we develop a finite-and large-sample valid procedure for building confidence sets for covariances allowing for the presence of weak instruments. We provide analytic forms of the confidence sets and characterize necessary and sufficient conditions under which they are bounded. Moreover, we propose two new pretest-estimators of structural parameters based on our above procedure. Both estimators combine 2SLS and partial IV-estimators. The Monte Carlo experiment shows that: (1) partial IV-estimators outperform 2SLS when the instruments are weak; (2) pretestestimators have an excellent overall performance–bias and MSE– compared with 2SLS. Therefore, this can be viewed as a variable selection method where the projection-based techniques is used to decide which variables should be instrumented and which ones are valid instruments. We illustrate our results through two empirical applications: the relation between trade and economic growth and the widely studied problem of returns to education. The results show unbounded confidence sets, suggesting that the IV are relatively poor in these models, as questioned in the literature [Bound (1995)].

Cette thèse a pour objet l'étude des<br />propriétés statistiques d'algorithmes d'apprentissage dans le cas de<br />l'estimation de la régression et de la densité. Elle est divisée en<br />trois parties.<br /><br />La première partie consiste en une généralisation des théorèmes<br />PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte<br />générale.<br /><br />Dans la seconde partie, on étudie plus particulièrement le cas de la<br />régression aux moindres carrés et on propose un nouvel algorithme de<br />sélection de variables. Cette méthode peut être appliquée notamment<br />au cas d'une base de fonctions orthonormales, et conduit alors à des<br />vitesses de convergence optimales, mais aussi au cas de fonctions de<br />type noyau, elle conduit alors à une variante des méthodes dites<br />"machines à vecteurs supports" (SVM).<br /><br />La troisième partie étend les résultats de la seconde au cas de<br />l'estimation de densité avec perte quadratique.

La dernière décennie a connu un intérêt croissant pour les problèmes posés par les variables instrumentales faibles dans la littérature économétrique, c’est-à-dire les situations où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter. En effet, il est bien connu que lorsque les instruments sont faibles, les distributions des statistiques de Student, de Wald, du ratio de vraisemblance et du multiplicateur de Lagrange ne sont plus standard et dépendent souvent de paramètres de nuisance. Plusieurs études empiriques portant notamment sur les modèles de rendements à l’éducation [Angrist et Krueger (1991, 1995), Angrist et al. (1999), Bound et al. (1995), Dufour et Taamouti (2007)] et d’évaluation des actifs financiers (C-CAPM) [Hansen et Singleton (1982,1983), Stock et Wright (2000)], où les variables instrumentales sont faiblement corrélées avec la variable à instrumenter, ont montré que l’utilisation de ces statistiques conduit souvent à des résultats peu fiables. Un remède à ce problème est l’utilisation de tests robustes à l’identification [Anderson et Rubin (1949), Moreira (2002), Kleibergen (2003), Dufour et Taamouti (2007)]. Cependant, il n’existe aucune littérature économétrique sur la qualité des procédures robustes à l’identification lorsque les instruments disponibles sont endogènes ou à la fois endogènes et faibles. Cela soulève la question de savoir ce qui arrive aux procédures d’inférence robustes à l’identification lorsque certaines variables instrumentales supposées exogènes ne le sont pas effectivement. Plus précisément, qu’arrive-t-il si une variable instrumentale invalide est ajoutée à un ensemble d’instruments valides? Ces procédures se comportent-elles différemment? Et si l’endogénéité des variables instrumentales pose des difficultés majeures à l’inférence statistique, peut-on proposer des procédures de tests qui sélectionnent les instruments lorsqu’ils sont à la fois forts et valides? Est-il possible de proposer les proédures de sélection d’instruments qui demeurent valides même en présence d’identification faible? Cette thèse se focalise sur les modèles structurels (modèles à équations simultanées) et apporte des réponses à ces questions à travers quatre essais. Le premier essai est publié dans Journal of Statistical Planning and Inference 138 (2008) 2649 – 2661. Dans cet essai, nous analysons les effets de l’endogénéité des instruments sur deux statistiques de test robustes à l’identification: la statistique d’Anderson et Rubin (AR, 1949) et la statistique de Kleibergen (K, 2003), avec ou sans instruments faibles. D’abord, lorsque le paramètre qui contrôle l’endogénéité des instruments est fixe (ne dépend pas de la taille de l’échantillon), nous montrons que toutes ces procédures sont en général convergentes contre la présence d’instruments invalides (c’est-à-dire détectent la présence d’instruments invalides) indépendamment de leur qualité (forts ou faibles). Nous décrivons aussi des cas où cette convergence peut ne pas tenir, mais la distribution asymptotique est modifiée d’une manière qui pourrait conduire à des distorsions de niveau même pour de grands échantillons. Ceci inclut, en particulier, les cas où l’estimateur des double moindres carrés demeure convergent, mais les tests sont asymptotiquement invalides. Ensuite, lorsque les instruments sont localement exogènes (c’est-à-dire le paramètre d’endogénéité converge vers zéro lorsque la taille de l’échantillon augmente), nous montrons que ces tests convergent vers des distributions chi-carré non centrées, que les instruments soient forts ou faibles. Nous caractérisons aussi les situations où le paramètre de non centralité est nul et la distribution asymptotique des statistiques demeure la même que dans le cas des instruments valides (malgré la présence des instruments invalides). Le deuxième essai étudie l’impact des instruments faibles sur les tests de spécification du type Durbin-Wu-Hausman (DWH) ainsi que le test de Revankar et Hartley (1973). Nous proposons une analyse en petit et grand échantillon de la distribution de ces tests sous l’hypothèse nulle (niveau) et l’alternative (puissance), incluant les cas où l’identification est déficiente ou faible (instruments faibles). Notre analyse en petit échantillon founit plusieurs perspectives ainsi que des extensions des précédentes procédures. En effet, la caractérisation de la distribution de ces statistiques en petit échantillon permet la construction des tests de Monte Carlo exacts pour l’exogénéité même avec les erreurs non Gaussiens. Nous montrons que ces tests sont typiquement robustes aux intruments faibles (le niveau est contrôlé). De plus, nous fournissons une caractérisation de la puissance des tests, qui exhibe clairement les facteurs qui déterminent la puissance. Nous montrons que les tests n’ont pas de puissance lorsque tous les instruments sont faibles [similaire à Guggenberger(2008)]. Cependant, la puissance existe tant qu’au moins un seul instruments est fort. La conclusion de Guggenberger (2008) concerne le cas où tous les instruments sont faibles (un cas d’intérêt mineur en pratique). Notre théorie asymptotique sous les hypothèses affaiblies confirme la théorie en échantillon fini. Par ailleurs, nous présentons une analyse de Monte Carlo indiquant que: (1) l’estimateur des moindres carrés ordinaires est plus efficace que celui des doubles moindres carrés lorsque les instruments sont faibles et l’endogenéité modérée [conclusion similaire à celle de Kiviet and Niemczyk (2007)]; (2) les estimateurs pré-test basés sur les tests d’exogenété ont une excellente performance par rapport aux doubles moindres carrés. Ceci suggère que la méthode des variables instrumentales ne devrait être appliquée que si l’on a la certitude d’avoir des instruments forts. Donc, les conclusions de Guggenberger (2008) sont mitigées et pourraient être trompeuses. Nous illustrons nos résultats théoriques à travers des expériences de simulation et deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le problème bien connu du rendement à l’éducation. Le troisième essai étend le test d’exogénéité du type Wald proposé par Dufour (1987) aux cas où les erreurs de la régression ont une distribution non-normale. Nous proposons une nouvelle version du précédent test qui est valide même en présence d’erreurs non-Gaussiens. Contrairement aux procédures de test d’exogénéité usuelles (tests de Durbin-Wu-Hausman et de Rvankar- Hartley), le test de Wald permet de résoudre un problème courant dans les travaux empiriques qui consiste à tester l’exogénéité partielle d’un sous ensemble de variables. Nous proposons deux nouveaux estimateurs pré-test basés sur le test de Wald qui performent mieux (en terme d’erreur quadratique moyenne) que l’estimateur IV usuel lorsque les variables instrumentales sont faibles et l’endogénéité modérée. Nous montrons également que ce test peut servir de procédure de sélection de variables instrumentales. Nous illustrons les résultats théoriques par deux applications empiriques: le modèle bien connu d’équation du salaire [Angist et Krueger (1991, 1999)] et les rendements d’échelle [Nerlove (1963)]. Nos résultats suggèrent que l’éducation de la mère expliquerait le décrochage de son fils, que l’output est une variable endogène dans l’estimation du coût de la firme et que le prix du fuel en est un instrument valide pour l’output. Le quatrième essai résout deux problèmes très importants dans la littérature économétrique. D’abord, bien que le test de Wald initial ou étendu permette de construire les régions de confiance et de tester les restrictions linéaires sur les covariances, il suppose que les paramètres du modèle sont identifiés. Lorsque l’identification est faible (instruments faiblement corrélés avec la variable à instrumenter), ce test n’est en général plus valide. Cet essai développe une procédure d’inférence robuste à l’identification (instruments faibles) qui permet de construire des régions de confiance pour la matrices de covariances entre les erreurs de la régression et les variables explicatives (possiblement endogènes). Nous fournissons les expressions analytiques des régions de confiance et caractérisons les conditions nécessaires et suffisantes sous lesquelles ils sont bornés. La procédure proposée demeure valide même pour de petits échantillons et elle est aussi asymptotiquement robuste à l’hétéroscédasticité et l’autocorrélation des erreurs. Ensuite, les résultats sont utilisés pour développer les tests d’exogénéité partielle robustes à l’identification. Les simulations Monte Carlo indiquent que ces tests contrôlent le niveau et ont de la puissance même si les instruments sont faibles. Ceci nous permet de proposer une procédure valide de sélection de variables instrumentales même s’il y a un problème d’identification. La procédure de sélection des instruments est basée sur deux nouveaux estimateurs pré-test qui combinent l’estimateur IV usuel et les estimateurs IV partiels. Nos simulations montrent que: (1) tout comme l’estimateur des moindres carrés ordinaires, les estimateurs IV partiels sont plus efficaces que l’estimateur IV usuel lorsque les instruments sont faibles et l’endogénéité modérée; (2) les estimateurs pré-test ont globalement une excellente performance comparés à l’estimateur IV usuel. Nous illustrons nos résultats théoriques par deux applications empiriques: la relation entre le taux d’ouverture et la croissance économique et le modèle de rendements à l’éducation. Dans la première application, les études antérieures ont conclu que les instruments n’étaient pas trop faibles [Dufour et Taamouti (2007)] alors qu’ils le sont fortement dans la seconde [Bound (1995), Doko et Dufour (2009)]. Conformément à nos résultats théoriques, nous trouvons les régions de confiance non bornées pour la covariance dans le cas où les instruments sont assez faibles. / The last decade shows growing interest for the so-called weak instruments problems in the econometric literature, i.e. situations where instruments are poorly correlated with endogenous explanatory variables. More generally, these can be viewed as situations where model parameters are not identified or nearly so (see Dufour and Hsiao, 2008). It is well known that when instruments are weak, the limiting distributions of standard test statistics - like Student, Wald, likelihood ratio and Lagrange multiplier criteria in structural models - have non-standard distributions and often depend heavily on nuisance parameters. Several empirical studies including the estimation of returns to education [Angrist and Krueger (1991, 1995), Angrist et al. (1999), Bound et al. (1995), Dufour and Taamouti (2007)] and asset pricing model (C-CAPM) [Hansen and Singleton (1982, 1983), Stock and Wright (2000)], have showed that the above procedures are unreliable in presence of weak identification. As a result, identification-robust tests [Anderson and Rubin (1949), Moreira (2003), Kleibergen (2002), Dufour and Taamouti (2007)] are often used to make reliable inference. However, little is known about the quality of these procedures when the instruments are invalid or both weak and invalid. This raises the following question: what happens to inference procedures when some instruments are endogenous or both weak and endogenous? In particular, what happens if an invalid instrument is added to a set of valid instruments? How robust are these inference procedures to instrument endogeneity? Do alternative inference procedures behave differently? If instrument endogeneity makes statistical inference unreliable, can we propose the procedures for selecting "good instruments" (i.e. strong and valid instruments)? Can we propose instrument selection procedure which will be valid even in presence of weak identification? This thesis focuses on structural models and answers these questions through four chapiters. The first chapter is published in Journal of Statistical Planning and Inference 138 (2008) 2649 – 2661. In this chapter, we analyze the effects of instrument endogeneity on two identificationrobust procedures: Anderson and Rubin (1949, AR) and Kleibergen (2002, K) test statistics, with or without weak instruments. First, when the level of instrument endogeneity is fixed (does not depend on the sample size), we show that all these procedures are in general consistent against the presence of invalid instruments (hence asymptotically invalid for the hypothesis of interest), whether the instruments are "strong" or "weak". We also describe situations where this consistency may not hold, but the asymptotic distribution is modified in a way that would lead to size distortions in large samples. These include, in particular, cases where 2SLS estimator remains consistent, but the tests are asymptotically invalid. Second, when the instruments are locally exogenous (the level of instrument endogeneity approaches zero as the sample size increases), we find asymptotic noncentral chi-square distributions with or without weak instruments, and describe situations where the non-centrality parameter is zero and the asymptotic distribution remains the same as in the case of valid instruments (despite the presence of invalid instruments). The second chapter analyzes the effects of weak identification on Durbin-Wu-Hausman (DWH) specification tests an Revankar-Harttley exogeneity test. We propose a finite-and large-sample analysis of the distribution of DWH tests under the null hypothesis (level) and the alternative hypothesis (power), including when identification is deficient or weak (weak instruments). Our finite-sample analysis provides several new insights and extensions of earlier procedures. The characterization of the finite-sample distribution of the test-statistics allows the construction of exact identificationrobust exogeneity tests even with non-Gaussian errors (Monte Carlos tests) and shows that such tests are typically robust to weak instruments (level is controlled). Furthermore, we provide a characterization of the power of the tests, which clearly exhibits factors which determine power. We show that DWH-tests have no power when all instruments are weak [similar to Guggenberger(2008)]. However, power does exist as soon as we have one strong instruments. The conclusions of Guggenberger (2008) focus on the case where all instruments are weak (a case of little practical interest). Our asymptotic distributional theory under weaker assumptions confirms the finite-sample theory. Moreover, we present simulation evidence indicating: (1) over a wide range cases, including weak IV and moderate endogeneity, OLS performs better than 2SLS [finding similar to Kiviet and Niemczyk (2007)]; (2) pretest-estimators based on exogeneity tests have an excellent overall performance compared with usual IV estimator. We illustrate our theoretical results through simulation experiment and two empirical applications: the relation between trade and economic growth and the widely studied problem of returns to education. In the third chapter, we extend the generalized Wald partial exogeneity test [Dufour (1987)] to non-gaussian errors. Testing whether a subset of explanatory variables is exogenous is an important challenge in econometrics. This problem occurs in many applied works. For example, in the well know wage model, one should like to assess if mother’s education is exogenous without imposing additional assumptions on ability and schooling. In the growth model, the exogeneity of the constructed instrument on the basis of geographical characteristics for the trade share is often questioned and needs to be tested without constraining trade share and the other variables. Standard exogeneity tests of the type proposed by Durbin-Wu-Hausman and Revankar-Hartley cannot solve such problems. A potential cure for dealing with partial exogeneity is the use of the generalized linear Wald (GW) method (Dufour, 1987). The GW-procedure however assumes the normality of model errors and it is not clear how robust is this test to non-gaussian errors. We develop in this chapter, a modified version of earlier procedure which is valid even when model errors are not normally distributed. We present simulation evidence indicating that when identification is strong, the standard GW-test is size distorted in presence of non-gaussian errors. Furthermore, our analysis of the performance of different pretest-estimators based on GW-tests allow us to propose two new pretest-estimators of the structural parameter. The Monte Carlo simulations indicate that these pretest-estimators have a better performance over a wide range cases compared with 2SLS. Therefore, this can be viewed as a procedure for selecting variable where a GW-test is used in the first stage to decide which variables should be instruments and which ones are valid instruments. We illustrate our theoretical results through two empirical applications: the well known wage equation and the returns to scale in electricity supply. The results show that the GW-tests cannot reject the exogeneity of mother’s education, i.e. mother’s education may constitute a valid IV for schooling. However, the output in cost equation is endogenous and the price of fuel is a valid IV for estimating the returns to scale. The fourth chapter develops identification-robust inference for the covariances between errors and regressors of an IV regression. The results are then applied to develop partial exogeneity tests and partial IV pretest-estimators which are more efficient than usual IV estimator. When more than one stochastic explanatory variables are involved in the model, it is often necessary to determine which ones are independent of the disturbances. This problem arises in many empirical applications. For example, in the New Keynesian Phillips Curve, one should like to assess whether the interest rate is exogenous without imposing additional assumptions on inflation rate and the other variables. Standard Wu-Durbin-Hausman (DWH) tests which are commonly used in applied work are inappropriate to deal with such a problem. The generalized Wald (GW) procedure (Dufour, 1987) which typically allows the construction of confidence sets as well as testing linear restrictions on covariances assumes that the available instruments are strong. When the instruments are weak, the GW-test is in general size distorted. As a result, its application in models where instruments are possibly weak–returns to education, trade and economic growth, life cycle labor supply, New Keynesian Phillips Curve, pregnancy and the demand for cigarettes–may be misleading. To answer this problem, we develop a finite-and large-sample valid procedure for building confidence sets for covariances allowing for the presence of weak instruments. We provide analytic forms of the confidence sets and characterize necessary and sufficient conditions under which they are bounded. Moreover, we propose two new pretest-estimators of structural parameters based on our above procedure. Both estimators combine 2SLS and partial IV-estimators. The Monte Carlo experiment shows that: (1) partial IV-estimators outperform 2SLS when the instruments are weak; (2) pretestestimators have an excellent overall performance–bias and MSE– compared with 2SLS. Therefore, this can be viewed as a variable selection method where the projection-based techniques is used to decide which variables should be instrumented and which ones are valid instruments. We illustrate our results through two empirical applications: the relation between trade and economic growth and the widely studied problem of returns to education. The results show unbounded confidence sets, suggesting that the IV are relatively poor in these models, as questioned in the literature [Bound (1995)].