Th. 3e cycle--Math. pures--Toulouse 3, 1984. N°: 3048.

Historically, artificial neural networks have been loosely defined as biologically inspired computational models. When deciding what sort of network to use for a given task there are two things that need to be considered. The first is the representational power of the given network, that is what class of problems can be solved by this network? Given a set of problems to be solved by neural networks, a network that can solve any of these problems is called a universal approximator. The second problem is the ability to find a desired network given an initial network via a learning rule. Here we are interested in the question of universal approximation. A general definition of artificial neural networks is provided along with definitions for different kinds of universal approximation. We then prove that the recurrent temporal restricted Boltzmann machine (RTRBM) satisfies a general type of universal approximation for stochastic processes, an extention of previous results for the simple RBM. We conclude by examining the potential use of such temporal artificial neural networks in the biological process of perception. / Graduate

Much of weighted polynomial approximation originated with the famous Bernstein qualitative approximation problem of 1910/11. The classical Bernstein approximation problem seeks conditions on the weight functions \V such that the set of functions {W(x)Xn};;"=l is fundamental in the class of suitably weighted continuous functions on R, vanishing at infinity. Many people worked on the problem for at least 40 years. Here we present a short survey of techniques and methods used to prove Markov and Bernstein inequalities as they underlie much of weighted polynomial approximation. Thereafter, we survey classical techniques used to prove Jackson theorems in the unweighted setting. But first we start, by reviewing some elementary facts about orthogonal polynomials and the corresponding weight function on the real line. Finally we look at one of the processes (If approximation, the Lagrange interpolation and present the most recent results concerning mean convergence of Lagrange interpolation for Freud and Erdos weights. / Andrew Chakane 2018

No description available.

In this dissertation, we develop and analyze novel optimizing feedback laws for control-affine systems with real-valued state-dependent output (or objective) functions. Given a control-affine system, our goal is to derive an output-feedback law that asymptotically stabilizes the closed-loop system around states at which the output function attains a minimum value. The control strategy has to be designed in such a way that an implementation only requires real-time measurements of the output value. Additional information, like the current system state or the gradient vector of the output function, is not assumed to be known. A method that meets all these criteria is called an extremum seeking control law. We follow a recently established approach to extremum seeking control, which is based on approximations of Lie brackets. For this purpose, the measured output is modulated by suitable highly oscillatory signals and is then fed back into the system. Averaging techniques for control-affine systems with highly oscillatory inputs reveal that the closed-loop system is driven, at least approximately, into the directions of certain Lie brackets. A suitable design of the control law ensures that these Lie brackets point into descent directions of the output function. Under suitable assumptions, this method leads to the effect that minima of the output function are practically uniformly asymptotically stable for the closed-loop system. The present document extends and improves this approach in various ways. One of the novelties is a control strategy that does not only lead to practical asymptotic stability, but in fact to asymptotic and even exponential stability. In this context, we focus on the application of distance-based formation control in autonomous multi-agent system in which only distance measurements are available. This means that the target formations as well as the sensed variables are determined by distances. We propose a fully distributed control law, which only involves distance measurements for each individual agent to stabilize a desired formation shape, while a storage of measured data is not required. The approach is applicable to point agents in the Euclidean space of arbitrary (but finite) dimension. Under the assumption of infinitesimal rigidity of the target formations, we show that the proposed control law induces local uniform asymptotic (and even exponential) stability. A similar statement is also derived for nonholonomic unicycle agents with all-to-all communication. We also show how the findings can be used to solve extremum seeking control problems. Another contribution is an extremum seeking control law with an adaptive dither signal. We present an output-feedback law that steers a fully actuated control-affine system with general drift vector field to a minimum of the output function. A key novelty of the approach is an adaptive choice of the frequency parameter. In this way, the task of determining a sufficiently large frequency parameter becomes obsolete. The adaptive choice of the frequency parameter also prevents finite escape times in the presence of a drift. The proposed control law does not only lead to convergence into a neighborhood of a minimum, but leads to exact convergence. For the case of an output function with a global minimum and no other critical point, we prove global convergence. Finally, we present an extremum seeking control law for a class of nonholonomic systems. A detailed averaging analysis reveals that the closed-loop system is driven approximately into descent directions of the output function along Lie brackets of the control vector fields. Those descent directions also originate from an approximation of suitably chosen Lie brackets. This requires a two-fold approximation of Lie brackets on different time scales. The proposed method can lead to practical asymptotic stability even if the control vector fields do not span the entire tangent space. It suffices instead that the tangent space is spanned by the elements in the Lie algebra generated by the control vector fields. This novel feature extends extremum seeking by Lie bracket approximations from the class of fully actuated systems to a larger class of nonholonomic systems. / In dieser Dissertation werden neuartige optimierende Rückkopplungsgesetze für kontroll-affine Systeme mit reell-wertigen zustandsabhängigen Ausgangs- (bzw. Kosten-) funktionen entwickelt und analysiert. Das Ziel ist es zu einem gegebenen kontroll-affinen System ein Ausgangsrückkopplungsgesetz zu erlangen, welches das System im geschlossenen Regelkreis asymptotisch um Zustände stabilisiert bei denen die Ausgangsfunktion einen Minimalwert annimmt. Die Kontrollstrategie soll dabei derart konstruiert sein, dass eine Implementierung nur Echtzeitmessungen des Ausgangswerts erfordert. Zusätzliche Informationen, wie z.B. der aktuelle Systemzustand oder der Gradientenvektor der Ausgangsfunktion, werden nicht als bekannt angenommen. Eine Methode, die alle diese Kritierien erfüllt, bezeichnet man als Extremwertregelungsgesetz. Es wird hierzu ein vor kurzer Zeit etablierter Ansatz in der Extremwertregelung verfolgt, welcher auf der Approximation von Lie-Klammern basiert. Für diesen Zweck wird das gemessene Ausgangssignal mit geeigneten hoch-oszillierenden Signalen moduliert und danach zurück in das System eingespeist. Mittelungstechniken für kontroll-affine Systeme mit hoch-oszillierenden Eingängen enthüllen, dass das System im geschlossenen Regelkreis zumindest näherungsweise in die Richtung von gewissen Lie-Klammern getrieben wird. Eine geeignete Konstruktion des Kontrollgesetzes sichert, dass diese Lie-Klammern in Abstiegsrichtungen der Ausgangsfunktion zeigen. Unter geeigneten Annahmen führt diese Methode zu dem Effekt, dass Minima der Ausgangsfunktion praktisch gleichmäßig asymptotisch stabil für das System im geschlossenen Regelkreis sind. Das vorliegende Dokument erweitert und verbessert diesen Ansatz auf Verschiedene Arten und Weisen. Eine der Neuerungen ist eine Kontrollstrategie, die nicht nur zu praktischer asymptotischer Stabilität, sondern mehr noch zu asymptotischer Stabilität und sogar exponentieller Stabilität führt. In diesem Zusammenhang wird der Schwerpunkt auf die Anwendung zur abstandsbasierten Formationssteuerung in autonomen Multiagentensystemen gelegt, bei der nur Abstandsmessungen verfügbar sind. Dies bedeutet, dass sowohl die Zielformationen als auch die Messgrößen durch Abstände bestimmt sind. Es wird ein vollständig verteiltes Kontrollgesetz vorgeschlagen, welches lediglich Abstandsmessungen von jedem einzelnen Agenten beinhaltet um eine Formation zu stabilisieren, wobei eine Speicherung von Messdaten nicht erforderlich ist. Der Ansatz ist anwendbar auf Punktagenten im euklidischen Raum von beliebiger (aber endlicher) Dimension. Unter der Annahme von infinitesimaler Starrheit der Zielformationen wird nachgewiesen, dass das vorgeschlagene Steuerungsgesetz lokale gleichmäßige asymptotische (und sogar exponentielle) Stabilität induziert. Eine ähnliche Aussage wird auch für nicht-holonome Einradagenten mit alle-zu-allen-Kommunikation erlangt. Es wird außerdem gezeigt wie diese Erkenntnisse genutzt werden können um Extremwertregelungsprobleme zu lösen. Ein weiterer Beitrag ist ein Extremwertregelungsgesetz mit einem adaptiven Zittersignal. Es wird ein Ausgangsrückkopplungsgesetz präsentiert, welches ein voll-aktuiertes kontroll-affines System mit allgemeinem Driftvektorfeld zu einem Minimum der Ausgangsfunktion steuert. Eine entscheidende Neuheit des Ansatzes ist eine adaptive Wahl des Frequenzparameters. Auf diesem Weg wird die Aufgabe eine hinreicheind großen Frequenzparamter zu bestimmen hinfällig. Die adaptive Wahl des Frequenzparameters verhindert auch endliche Entweichzeiten in der Gegenwart eines Drifts. Das vorgeschlagene Kontrollgesetz führ nicht nur zu Konvergenz in eine Umgebung eines Minimums, sondern führt zu exakter Konvergenz. Für den Fall einer Ausgangsfunktion mit globalem Minimum und keinem anderen kritischen Punkt wird globale Konvergenz bewiesen. Schließlich wird ein Extremwertregelungsgesetz für eine Klasse von nicht-holonomen Systemen präsentiert. Eine detaillierte Mittelungsanalyse enthüllt, dass das System im geschlossenen Regelkreis näherungsweise in Abstiegsrichtungen der Ausgangsfunktion entlang von Lie-Klammern der Kontrollvektorfelder getrieben wird. Jene Abstiegsrichtungen stammen ebenso von einer Approximation von geeignet gewählten Lie-Klammern. Dies erfordert eine zweifache Approximation von Lie-Klammern auf verschiedenen Zeitskalen. Die vorgeschlagene Methode kann zu praktischer asymptotischer Stabilität führen selbst wenn die Kontrollvektorfelder nicht den gesamten Tangentialraum aufspannen. Es reicht stattdessen, dass der Tangentialraum durch die Elemente in der Lie-Algebra, welche durch die Kontrollvektorfelder generiert wird, aufgespannt wird. Diese neuartige Eigenschaft erweitert Extremwertregelung durch Lie-Klammer-Approximationen von der Klasse der voll-aktuierten Systeme zu einer größeren Klasse von nicht-holonomen Systemen.

<p> In this thesis a non-parametric normalized stochastic approximation algorithm has been developed for the identification of multivariable systems from noisy data without prior knowledge of the statistics of measurement noise.</p> <p> The system model is first transformed into a special canonical form, then it is formulated in a non-parametric form. The parameters of this model are estimated through a normalized stochastic approximation algorithm. Finally, the system parameters are recovered from these estimates by another transformation.</p> <p> The proposed algorithm is applied to the identification of two simulated systems.</p> <p> Conclusions of this work and suggestions for future work are given.</p> / Thesis / Master of Engineering (MEngr)

<p> A review of Stochastic Approximation and the major contributions to the area is made. A proof of convergence for the algorithm is developed. An optimization is attempted on the rate of convergence problem and the uniqueness problem is faced. An alternative proof of convergence is given as an independent check on the first one. Simulation results are present in light of the theory developed, and conclusions, limitations and recommendations are presented. </p> / Thesis / Master of Engineering (MEngr)

<p> An expression for the semiclassical density of states for a particle in a smooth potential well is obtained from the Kirkwood expansion of the partition function. This expression for the semiclassical density of states is then shown to be essentially equivalent to the expression obtained from the Green's function method of Balian and Bloch.</p> <p> The Strutinsky shell correction to the nuclear binding energy is then analytically shown to be equivalent to the shell correction obtained from a consideration of the semiclassical partition function if certain restrictions on the Strutinsky smoothing parameter can be met.</p> / Thesis / Master of Science (MSc)

No description available.

Random variables defined on the natural numbers may often be approximated by Poisson variables. Just as normal approximations may be improved by saddlepoint methods, Poisson approximations may be substantially improved by tilting, expansion, and other related methods. This work will develop and examine the use of these methods, as well as present examples where such methods may be needed. / Ph. D.