Analisar fenômenos aeroelásticos não-lineares através de dados experimentais é uma poderosa ferramenta para a identificação e controle de comportamentos aeroelásticos adversos. A modelagem matemática de sistemas aeroelásticos não-lineares não é trivial, fato que muitas vezes leva a admissão de simplificações, afastando o modelo da realidade. Desta forma, a análise de sistemas dinâmicos sem a necessidade de um modelo, feita através da análise de séries temporais obtidas de experimentos, pode fornecer melhores resultados. Alguns métodos de análise de séries temporais, como o método da defasagem, para reconstrução do espaço de estados, são sensíveis ao ruído, inevitavelmente presente em qualquer série temporal experimental. Este trabalho apresenta a técnica da decomposição em valores singulares (SVD), que reconstrói o espaço de estados eliminando o ruído presente na série temporal em um único processo. O método SVD é aplicado em séries temporais aeroelásticas, obtidas experimentalmente de um modelo de asa ensaiado em túnel de vento. Com os espaços de estados reconstruídos, é feita uma análise qualitativa do sistema aeroelástico, a evolução dos atratores obtidos com a variação de alguns parâmetros é apresentada. Comparações com o método da defasagem são realizadas com a aplicação dos métodos a uma série temporal aeroelástica do experimento. Os resultados mostram que a técnica (SVD) é mais confiável que o método da defasagem, os atratores obtidos revelam a ocorrência de bifurcações e comportamentos complexos, possivelmente caóticos. / Nonlinear aeroelastic phenomena analysis by using experimental data is a powerful tool for identification and control of adverse aeroelastic behaviors. Mathematical models for nonlinear aeroelastic systems are not trivial, by this, simplifications are assumed, thereby deviating from reality. Then, the analysis of dynamic systems without the need of a mathematical model, done by the analysis of experimental time series, may provide better results. However, methods of time series analysis, like the method of delays, for state space reconstruction are sensitive to noise, unavoidably present in experimental data. This work presents the application of singular value decomposition (SVD) that reconstructs the state space, eliminating noise present in the time series. The SVD method is applied in experimental aeroelastic time series, obtained from a wind tunnel wing model. With the reconstructed state spaces, qualitative analyses are done and the evolutions of the obtained attractors with parametric variation are presented. Comparisons with the method of delays are realized by applying MOD and SVD in a same experimental aeroelastic time series. The results show that the SVD method is more reliable than MOD and the obtained attractors reveal the occurrence of bifurcations and complex behavior, possibly chaotic.

Analisar fenômenos aeroelásticos não-lineares através de dados experimentais é uma poderosa ferramenta para a identificação e controle de comportamentos aeroelásticos adversos. A modelagem matemática de sistemas aeroelásticos não-lineares não é trivial, fato que muitas vezes leva a admissão de simplificações, afastando o modelo da realidade. Desta forma, a análise de sistemas dinâmicos sem a necessidade de um modelo, feita através da análise de séries temporais obtidas de experimentos, pode fornecer melhores resultados. Alguns métodos de análise de séries temporais, como o método da defasagem, para reconstrução do espaço de estados, são sensíveis ao ruído, inevitavelmente presente em qualquer série temporal experimental. Este trabalho apresenta a técnica da decomposição em valores singulares (SVD), que reconstrói o espaço de estados eliminando o ruído presente na série temporal em um único processo. O método SVD é aplicado em séries temporais aeroelásticas, obtidas experimentalmente de um modelo de asa ensaiado em túnel de vento. Com os espaços de estados reconstruídos, é feita uma análise qualitativa do sistema aeroelástico, a evolução dos atratores obtidos com a variação de alguns parâmetros é apresentada. Comparações com o método da defasagem são realizadas com a aplicação dos métodos a uma série temporal aeroelástica do experimento. Os resultados mostram que a técnica (SVD) é mais confiável que o método da defasagem, os atratores obtidos revelam a ocorrência de bifurcações e comportamentos complexos, possivelmente caóticos. / Nonlinear aeroelastic phenomena analysis by using experimental data is a powerful tool for identification and control of adverse aeroelastic behaviors. Mathematical models for nonlinear aeroelastic systems are not trivial, by this, simplifications are assumed, thereby deviating from reality. Then, the analysis of dynamic systems without the need of a mathematical model, done by the analysis of experimental time series, may provide better results. However, methods of time series analysis, like the method of delays, for state space reconstruction are sensitive to noise, unavoidably present in experimental data. This work presents the application of singular value decomposition (SVD) that reconstructs the state space, eliminating noise present in the time series. The SVD method is applied in experimental aeroelastic time series, obtained from a wind tunnel wing model. With the reconstructed state spaces, qualitative analyses are done and the evolutions of the obtained attractors with parametric variation are presented. Comparisons with the method of delays are realized by applying MOD and SVD in a same experimental aeroelastic time series. The results show that the SVD method is more reliable than MOD and the obtained attractors reveal the occurrence of bifurcations and complex behavior, possibly chaotic.

Controlling a high-dimensional dynamical system with continuous state and action spaces in a partially unknown environment like a gas turbine is a challenging problem. So far often hard coded rules based on experts´ knowledge and experience are used. Machine learning techniques, which comprise the field of reinforcement learning, are generally only applied to sub-problems. A reason for this is that most standard RL approaches still fail to produce satisfactory results in those complex environments. Besides, they are rarely data-efficient, a fact which is crucial for most real-world applications, where the available amount of data is limited. In this thesis recurrent neural reinforcement learning approaches to identify and control dynamical systems in discrete time are presented. They form a novel connection between recurrent neural networks (RNN) and reinforcement learning (RL) techniques. RNN are used as they allow for the identification of dynamical systems in form of high-dimensional, non-linear state space models. Also, they have shown to be very data-efficient. In addition, a proof is given for their universal approximation capability of open dynamical systems. Moreover, it is pointed out that they are, in contrast to an often cited statement, well able to capture long-term dependencies. As a first step towards reinforcement learning, it is shown that RNN can well map and reconstruct (partially observable) MDP. In the so-called hybrid RNN approach, the resulting inner state of the network is then used as a basis for standard RL algorithms. The further developed recurrent control neural network combines system identification and determination of an optimal policy in one network. In contrast to most RL methods, it determines the optimal policy directly without making use of a value function. The methods are tested on several standard benchmark problems. In addition, they are applied to different kinds of gas turbine simulations of industrial scale.