Dans cette thèse de doctorat, nous présentons les travaux que nous avons effectués dans trois directions reliées : la compression de données en alphabet infini, les statistiques bayésiennes en dimension infinie, et les mélanges de distributions discrètes multivariées. Dans le cadre de la compression de données sans perte, nous nous sommes intéressé à des classes de sources stationnaires sans mémoire sur un alphabet infini, définies par une condition d'enveloppe à décroissance exponentielle sur les distributions marginales. Un équivalent de la redondance minimax de ces classes a été obtenue. Un algorithme approximativement minimax ainsi que des a-priori approximativement les moins favorables, basés sur l'a-priori de Jeffreys en alphabet fini, ont en outre été proposés. Le deuxième type de travaux porte sur la normalité asymptotique des distributions a-posteriori (théorèmes de Bernstein-von Mises) dans différents cadres non-paramétriques et semi-paramétriques. Tout d'abord, dans un cadre de régression gaussienne lorsque le nombre de régresseurs augmente avec la taille de l'échantillon. Les théorèmes non-paramétriques portent sur les coefficients de régression, tandis que les théorèmes semi-paramétriques portent sur des fonctionnelles de la fonction de régression. Dans nos applications au modèle de suites gaussiennes et à la régression de fonctions appartenant à des classe de Sobolev ou de régularité hölderiennes, nous obtenons simultanément le théorème de Bernstein-von Mises et la vitesse d'estimation fréquentiste minimax. L'adaptativité est atteinte pour l'estimation de fonctionnelles dans ces applications. Par ailleurs nous présentons également un théorème de Bernstein-von Mises non-paramétrique pour des modèles exponentiels de dimension croissante. Enfin, le dernier volet de ce travail porte sur l'estimation du nombre de composantes et des variables pertinentes dans des modèles de mélange de lois multinomiales multivariées, dans une optique de classification non supervisée. Ce type de modèles est utilisé par exemple pour traiter des données génotypiques. Un critère du maximum de vraisemblance pénalisé est proposé, et une inégalité oracle non-asymptotique est obtenue. Le critère retenu en pratique comporte une calibration grâce à l'heuristique de pente. Ses performances sont meilleurs que celles des critères classiques BIC et AIC sur des données simulées. L'ensemble des procédures est implémenté dans un logiciel librement accessible.

Dans le cadre d'une analyse par ondelettes, nous nous intéressons à l'étude statistique d'une classe particulière d'espaces de Lorentz : les espaces de Besov faibles qui apparaissent naturellement dans le contexte de la théorie maxiset. Avec des hypothèses de type "bruit blanc gaussien", nous montrons, grâce à des techniques bayésiennes, que les vitesses minimax des espaces de Besov forts ou faibles sont les mêmes. Les distributions les plus défavorables que nous exhibons pour chaque espace de Besov faible sont construites à partir des lois de Pareto et diffèrent en cela de celles des espaces de Besov forts. Grâce aux simulations de ces distributions, nous construisons des représentations visuelles des "ennemis typiques". Enfin, nous exploitons ces distributions pour bâtir une procédure d'estimation minimax, de type "seuillage" appelée ParetoThresh, que nous étudions d'un point de vue pratique. Dans un deuxième temps, nous nous plaçons sous le modèle hétéroscédastique de bruit blanc gaussien et sous l'approche maxiset, nous établissons la sous-optimalité des estimateurs linéaires par rapport aux procédures adaptatives de type "seuillage". Puis, nous nous interrogeons sur la meilleure façon de modéliser le caractère "sparse" d'une suite à travers une approche bayésienne. À cet effet, nous étudions les maxisets des estimateurs bayésiens classiques - médiane, moyenne - associés à une modélisation construite sur des densités à queues lourdes. Les espaces maximaux pour ces estimateurs sont des espaces de Lorentz, et coïncident avec ceux associés aux estimateurs de type "seuillage". Nous prolongeons de manière naturelle ce résultat en obtenant une condition nécessaire et suffisante sur les paramètres du modèle pour que la loi a priori se concentre presque sûrement sur un espace de Lorentz précis.

Submitted by Lucas Pimentel Vilela (lucaspimentelvilela@gmail.com) on 2017-05-04T01:19:37Z No. of bitstreams: 1 Hypothesis Testing in Econometric Models - Vilela 2017.pdf: 2079231 bytes, checksum: d0387462f36ab4ab7e5d33163bb68416 (MD5) / Approved for entry into archive by Maria Almeida (maria.socorro@fgv.br) on 2017-05-15T19:31:43Z (GMT) No. of bitstreams: 1 Hypothesis Testing in Econometric Models - Vilela 2017.pdf: 2079231 bytes, checksum: d0387462f36ab4ab7e5d33163bb68416 (MD5) / Made available in DSpace on 2017-05-15T19:32:18Z (GMT). No. of bitstreams: 1 Hypothesis Testing in Econometric Models - Vilela 2017.pdf: 2079231 bytes, checksum: d0387462f36ab4ab7e5d33163bb68416 (MD5) Previous issue date: 2015-12-11 / This thesis contains three chapters. The first chapter considers tests of the parameter of an endogenous variable in an instrumental variables regression model. The focus is on one-sided conditional t-tests. Theoretical and numerical work shows that the conditional 2SLS and Fuller t-tests perform well even when instruments are weakly correlated with the endogenous variable. When the population F-statistic is as small as two, the power is reasonably close to the power envelopes for similar and non-similar tests which are invariant to rotation transformations of the instruments. This finding is surprising considering the poor performance of two-sided conditional t-tests found in Andrews, Moreira, and Stock (2007). These tests have bad power because the conditional null distributions of t-statistics are asymmetric when instruments are weak. Taking this asymmetry into account, we propose two-sided tests based on t-statistics. These novel tests are approximately unbiased and can perform as well as the conditional likelihood ratio (CLR) test. The second and third chapters are interested in maxmin and minimax regret tests for broader hypothesis testing problems. In the second chapter, we present maxmin and minimax regret tests satisfying more general restrictions than the alpha-level and the power control over all alternative hypothesis constraints. More general restrictions enable us to eliminate trivial known tests and obtain tests with desirable properties, such as unbiasedness, local unbiasedness and similarity. In sequence, we prove that both tests always exist and under suficient assumptions, they are Bayes tests with priors that are solutions of an optimization problem, the dual problem. In the last part of the second chapter, we consider testing problems that are invariant to some group of transformations. Under the invariance of the hypothesis testing, the Hunt-Stein Theorem proves that the search for maxmin and minimax regret tests can be restricted to invariant tests. We prove that the Hunt-Stein Theorem still holds under the general constraints proposed. In the last chapter we develop a numerical method to implement maxmin and minimax regret tests proposed in the second chapter. The parametric space is discretized in order to obtain testing problems with a finite number of restrictions. We prove that, as the discretization turns finer, the maxmin and the minimax regret tests satisfying the finite number of restrictions have the same alternative power of the maxmin and minimax regret tests satisfying the general constraints. Hence, we can numerically implement tests for a finite number of restrictions as an approximation for the tests satisfying the general constraints. The results in the second and third chapters extend and complement the maxmin and minimax regret literature interested in characterizing and implementing both tests. / Esta tese contém três capítulos. O primeiro capítulo considera testes de hipóteses para o coeficiente de regressão da variável endógena em um modelo de variáveis instrumentais. O foco é em testes-t condicionais para hipóteses unilaterais. Trabalhos teóricos e numéricos mostram que os testes-t condicionais centrados nos estimadores de 2SLS e Fuller performam bem mesmo quando os instrumentos são fracamente correlacionados com a variável endógena. Quando a estatística F populacional é menor que dois, o poder é razoavelmente próximo do poder envoltório para testes que são invariantes a transformações que rotacionam os instrumentos (similares ou não similares). Este resultado é surpreendente considerando a baixa performance dos testes-t condicionais para hipóteses bilaterais apresentado em Andrews, Moreira, and Stock (2007). Estes testes possuem baixo poder porque as distribuições das estatísticas-t na hipótese nula são assimétricas quando os instrumentos são fracos. Explorando tal assimetria, nós propomos testes para hipóteses bilaterais baseados em estatísticas-t. Estes testes são aproximadamente não viesados e podem performar tão bem quanto o teste de razão de máxima verossimilhança condicional. No segundo e no terceiro capítulos, nosso interesse é em testes do tipo maxmin e minimax regret para testes de hipóteses mais gerais. No segundo capítulo, nós apresentamos testes maxmin e minimax regret que satisfazem restrições mais gerais que as restrições de tamanho e de controle sobre todo o poder na hipótese alternativa. Restrições mais gerais nos possibilitam eliminar testes triviais e obter testes com propriedades desejáveis, como por exemplo não viés, não viés local e similaridade. Na sequência, nós provamos que ambos os testes existem e, sob condições suficientes, eles são testes Bayesianos com priors que são solução de um problema de otimização, o problema dual. Na última parte do segundo capítulo, nós consideramos testes de hipóteses que são invariantes à algum grupo de transformações. Sob invariância, o Teorema de Hunt-Stein implica que a busca por testes maxmin e minimax regret pode ser restrita a testes invariantes. Nós provamos que o Teorema de Hunt-Stein continua válido sob as restrições gerais propostas. No último capítulo, nós desenvolvemos um procedimento numérico para implementar os testes maxmin e minimax regret propostos no segundo capítulo. O espaço paramétrico é discretizado com o objetivo de obter testes de hipóteses com um número finito de pontos. Nós provamos que, ao considerarmos partições mais finas, os testes maxmin e minimax regret que satisfazem um número finito de pontos possuem o mesmo poder na hipótese alternativa que os testes maxmin e minimax regret que satisfazem as restrições gerais. Portanto, nós podemos implementar numericamente os testes que satisfazem um número finito de pontos como aproximação aos testes que satisfazem as restrições gerais.

[EN] In this thesis, invariant-set theory is used to study the stability and feasibility of constrained scenario-based predictive controllers for Markov-jump linear systems. In the underlying optimisation problem of the predictive controllers technique, considers all possible future realisations of certain variables (uncertainty, disturbances, operating mode) or just a subset of those. Two different scenarios denoted as not risky and risky are studied. In the former, the trajectories of the system with initial states belonging to certain invariant sets, converge (in mean square sense) to the origin or an invariant neighbourhood of it with 100% probability. In such cases, the conditions that scenario trees must meet in order to guarantee stability and feasibility of the optimisation problem are analysed. Afterwards, the scenario-based predictive controller for Markov-jump linear systems under hard constraints and no disturbances is formulated. A study is presented for risky scenarios to determine sequence-dependent controllable sets, for which there exists a control law such that the system can be driven to the origin only for a particular realisation of uncertainty, disturbances, etc. A control law (optimal for disturbances-free systems and suboptimal for disturbed systems) able to steer the system to the origin with a probability less than 100% (denoted as reliability bound), is proposed for states belonging to those regions. Note that closed-loop unstable systems have zero reliability bound. Hence, an algorithm to determine the mean-time to failure is developed. In this context, failure means a violation in the constraints of the process' states and/or inputs in a future time. / [ES] La presente tesis emplea la teoría de conjuntos invariantes para el estudio de estabilidad y factibilidad de controladores predictivos basados en escenarios para sistemas lineales con saltos markovianos sujetos a restricciones. En el problema de optimización subyacente a la técnica de controladores predictivos, se consideran bien sea todas las posibles realizaciones futuras de una variable (incertidumbres, perturbaciones, modo de funcionamiento) o solo un subconjunto de estas. Se estudian dos escenarios diferentes, denotados como: a) escenarios no arriesgados y b) escenarios arriesgados, entendiéndose como no arriesgados, aquellos en donde las trayectorias del sistema con estados iniciales pertenecientes a ciertos conjuntos invariantes, convergen --en media-- al origen o a una vecindad invariante de este con un 100% de probabilidad. Para estos casos, se presenta un análisis de las condiciones que deben cumplir los árboles de escenarios para garantizar estabilidad --en media-- y factibilidad del problema de optimización. Luego se formula el control predictivo basado en escenarios para sistema lineales con saltos markovianos sujeto a restricciones y en ausencia de perturbaciones. En presencia de escenarios arriesgados, se propone el cálculo de conjuntos controlables dependientes de secuencias para los cuales existen una ley de control tal que el sistema puede ser conducido al origen, solo para una realización en particular de la incertidumbre, perturbaciones, etc. Para estados pertenecientes a estos conjuntos, se propone una ley de control (óptima para el caso de sistemas libres de perturbaciones y, subóptima para sistemas perturbados) capaz de dirigir el sistema al origen con una probabilidad menor al 100%, dicha probabilidad es denotada como cota de confiabilidad. Sistemas inestables en lazo cerrado tienen cota de confiabilidad igual a cero, por consiguiente se diseña un algoritmo que determina el tiempo medio para fallar. En este contexto, un fallo se entiende como la violación de las restricciones en los estados y/o entradas del proceso en algún instante de tiempo futuro. / [CAT] La present tesi empra la teoria de conjunts invariants per a l'estudi d'estabili-tat i factibilidad de controladors predictius basats en escenaris per a sistemes lineals amb salts markovians subjectes a restriccions. En el problema d'optimit-zació subjacent a la tècnica de controladors predictius, es consideren bé siga totes les possibles realitzacions futures d'una variable (incerteses, pertorbacions, modes de funcionament) o només un subconjunt d'aquestes. S'estudien dos escenaris diferents, denotats com a escenaris no arriscats i arriscats, entenent-se com no arriscats, aquells on les trajectòries del sistema amb estats inicials pertanyents a certs conjunts invariants, convergeixen --en mitjana-- a l'origen o a un veïnatge invariant d'est amb un 100% de probabilitat. Per a aquests casos, es presenta una anàlisi de les condicions que han de complir els arbres d'escenaris per a garantir estabilitat --en mitjana-- i factibilidad del problema d'optimització. Després es formula el control predictiu basat en escenaris per a sistema lineals amb salts markovians subjecte a restriccions i en absència de pertorbacions. En presència d'escenaris arriscats, es proposa el càlcul de conjunts controlables dependents de seqüències per als quals existeix una llei de control tal que el sistema pot ser conduït a l'origen, solament per a una realització en particular de l'incertesa, pertorbacions, etc. Per a estats pertanyents a aquests conjunts, es proposa una llei de control (òptima per al cas de sistemes lliures de pertorbacions i, subóptima per a sistemes pertorbats) capaç de dirigir el sistema cap a l'origen amb una probabilitat menor del 100%, aquesta probabilitat és denotada com a cota de confiabilitat. Sistemes inestables en llaç tancat tenen cota de confiabilitat igual a zero, per tant es dissenya un algoritme que determina el temps mitjà per a fallar. En aquest context, una fallada s'entén com la violació de les restriccions en els estats i/o entrades del procés en algun instant de temps futur. / Hernández Mejías, MA. (2016). CONTROL PREDICTIVO BASADO EN ESCENARIOS PARA SISTEMAS LINEALES CON SALTOS MARKOVIANOS [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/68512 / TESIS

Parmi tous les jeux de société joués par les humains au cours de l’histoire, le jeu de go était considéré comme l’un des plus difficiles à maîtriser par un programme informatique [Van Den Herik et al., 2002]; Jusqu’à ce que ce ne soit plus le cas [Silveret al., 2016]. Cette percée révolutionnaire [Müller, 2002, Van Den Herik et al., 2002] fût le fruit d’une combinaison sophistiquée de Recherche arborescente Monte-Carlo et de techniques d’apprentissage automatique pour évaluer les positions du jeu, mettant en lumière le grand potentiel de l’apprentissage automatique pour résoudre des jeux. L’apprentissage antagoniste, un cas particulier de l’optimisation multiobjective, est un outil de plus en plus utile dans l’apprentissage automatique. Par exemple, les jeux à deux joueurs et à somme nulle sont importants dans le domain des réseaux génératifs antagonistes [Goodfellow et al., 2014] ainsi que pour maîtriser des jeux comme le Go ou le Poker en s’entraînant contre lui-même [Silver et al., 2017, Brown andSandholm, 2017]. Un résultat classique de la théorie des jeux indique que les jeux convexes-concaves ont toujours un équilibre [Neumann, 1928]. Étonnamment, les praticiens en apprentissage automatique entrainent avec succès une seule paire de réseaux de neurones dont l’objectif est un problème de minimax non-convexe et non-concave alors que pour une telle fonction de gain, l’existence d’un équilibre de Nash n’est pas garantie en général. Ce travail est une tentative d'établir une solide base théorique pour l’apprentissage dans les jeux. La première contribution explore le théorème minimax pour une classe particulière de jeux non-convexes et non-concaves qui englobe les réseaux génératifs antagonistes. Cette classe correspond à un ensemble de jeux à deux joueurs et a somme nulle joués avec des réseaux de neurones. Les deuxième et troisième contributions étudient l’optimisation des problèmes minimax, et plus généralement, les inégalités variationnelles dans le cadre de l’apprentissage automatique. Bien que la méthode standard de descente de gradient ne parvienne pas à converger vers l’équilibre de Nash de jeux convexes-concaves simples, il existe des moyens d’utiliser des gradients pour obtenir des méthodes qui convergent. Nous étudierons plusieurs techniques telles que l’extrapolation, la moyenne et la quantité de mouvement à paramètre négatif. La quatrième contribution fournit une étude empirique du comportement pratique des réseaux génératifs antagonistes. Dans les deuxième et troisième contributions, nous diagnostiquons que la méthode du gradient échoue lorsque le champ de vecteur du jeu est fortement rotatif. Cependant, une telle situation peut décrire un pire des cas qui ne se produit pas dans la pratique. Nous fournissons de nouveaux outils de visualisation afin d’évaluer si nous pouvons détecter des rotations dans comportement pratique des réseaux génératifs antagonistes. / Among all the historical board games played by humans, the game of go was considered one of the most difficult to master by a computer program [Van Den Heriket al., 2002]; Until it was not [Silver et al., 2016]. This odds-breaking break-through [Müller, 2002, Van Den Herik et al., 2002] came from a sophisticated combination of Monte Carlo tree search and machine learning techniques to evaluate positions, shedding light upon the high potential of machine learning to solve games. Adversarial training, a special case of multiobjective optimization, is an increasingly useful tool in machine learning. For example, two-player zero-sum games are important for generative modeling (GANs) [Goodfellow et al., 2014] and mastering games like Go or Poker via self-play [Silver et al., 2017, Brown and Sandholm,2017]. A classic result in Game Theory states that convex-concave games always have an equilibrium [Neumann, 1928]. Surprisingly, machine learning practitioners successfully train a single pair of neural networks whose objective is a nonconvex-nonconcave minimax problem while for such a payoff function, the existence of a Nash equilibrium is not guaranteed in general. This work is an attempt to put learning in games on a firm theoretical foundation. The first contribution explores minimax theorems for a particular class of nonconvex-nonconcave games that encompasses generative adversarial networks. The proposed result is an approximate minimax theorem for two-player zero-sum games played with neural networks, including WGAN, StarCrat II, and Blotto game. Our findings rely on the fact that despite being nonconcave-nonconvex with respect to the neural networks parameters, the payoff of these games are concave-convex with respect to the actual functions (or distributions) parametrized by these neural networks. The second and third contributions study the optimization of minimax problems, and more generally, variational inequalities in the context of machine learning. While the standard gradient descent-ascent method fails to converge to the Nash equilibrium of simple convex-concave games, there exist ways to use gradients to obtain methods that converge. We investigate several techniques such as extrapolation, averaging and negative momentum. We explore these techniques experimentally by proposing a state-of-the-art (at the time of publication) optimizer for GANs called ExtraAdam. We also prove new convergence results for Extrapolation from the past, originally proposed by Popov [1980], as well as for gradient method with negative momentum. The fourth contribution provides an empirical study of the practical landscape of GANs. In the second and third contributions, we diagnose that the gradient method breaks when the game’s vector field is highly rotational. However, such a situation may describe a worst-case that does not occur in practice. We provide new visualization tools in order to exhibit rotations in practical GAN landscapes. In this contribution, we show empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), and we provide empirical evidence that GAN training converges to a stable stationary point, which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance.

No description available.