[pt] Nesta tese, propomos novas arquiteturas para redes neurais profundas utlizando métodos de atenção e álgebra multilinear para aumentar seu desempenho. Também exploramos convoluções em grafos e suas particularidades. Nos concentramos aqui em problemas relacionados à estimativa de pose em tempo real. A estimativa de pose é um problema desafiador em visão computacional com muitas aplicações reais em áreas como realidade aumentada, realidade virtual, animação por computador e reconstrução de cenas 3D. Normalmente, o problema a ser abordado envolve estimar a pose humana 2D ou 3D, ou seja, as partes do corpo de pessoas em imagens ou vídeos, bem como seu posicionamento e estrutura. Diveros trabalhos buscam atingir alta precisão usando arquiteturas baseadas em redes neurais de convolução convencionais; no entanto, erros causados por oclusão e motion blur não são incomuns, e ainda esses modelos são computacionalmente pesados para aplicações em tempo real. Exploramos diferentes arquiteturas para melhorar o tempo de processamento destas redes e, como resultado, propomos dois novos modelos de rede neural para estimativa de pose 2D e 3D. Também apresentamos uma nova arquitetura para redes de atenção em grafos chamada de atenção em grafos semânticos. / [en] This thesis proposes new architectures for deep neural networks with attention enhancement and multilinear algebra methods to increase their performance. We also explore graph convolutions and their particularities. We focus here on the problems related to real-time pose estimation. Pose estimation is a challenging problem in computer vision with many real applications in areas including augmented reality, virtual reality, computer animation, and 3D scene reconstruction. Usually, the problem to be addressed involves estimating the 2D and 3D human pose, i.e., the anatomical keypoints or body parts of persons in images or videos. Several papers propose approaches to achieve high accuracy using architectures based on conventional convolution neural networks; however, mistakes caused by occlusion and motion blur are not uncommon, and those models are computationally very intensive for real-time applications. We explore different architectures to improve processing time, and, as a result, we propose two novel neural network models for 2D and 3D pose estimation. We also introduce a new architecture for Graph attention networks called Semantic Graph Attention.

No description available.

In this thesis the application of novel tensor decomposition and tensor representation techniques in highly accurate post Hartree-Fock methods is evaluated. These representation techniques can help to overcome the steep scaling behaviour of high level ab-initio calculations with increasing system size and therefore break the "curse of dimensionality". After a comparison of various tensor formats the application of the "canonical polyadic" format (CP) is described in detail. There, especially the casting of a normal, index based tensor into the CP format (tensor decomposition) and a method for a low rank approximation (rank reduction) of the two-electron integrals in the AO basis are investigated. The decisive quantity for the applicability of the CP format is the scaling of the rank with increasing system and basis set size. The memory requirements and the computational effort for tensor manipulations in the CP format are only linear in the number of dimensions but still depend on the expansion length (rank) of the approximation. Furthermore, the AO-MO transformation and a MP2 algorithm with decomposed tensors in the CP format is evaluated and the scaling with increasing system and basis set size is investigated. Finally, a Coupled-Cluster algorithm based only on low-rank CP representation of the MO integrals is developed. There, especially the successive tensor contraction during the iterative solution of the amplitude equations and the error propagation upon multiple application of the reduction procedure are discussed. In conclusion the overall complexity of a Coupled-Cluster procedure with tensors in CP format is evaluated and some possibilities for improvements of the rank reduction procedure tailored to the needs in electronic structure calculations are shown. / Die vorliegende Arbeit beschäftigt sich mit der Anwendung neuartiger Tensorzerlegungs- und Tensorrepesentationstechniken in hochgenauen post Hartree-Fock Methoden um das hohe Skalierungsverhalten dieser Verfahren mit steigender Systemgröße zu verringern und somit den "Fluch der Dimensionen" zu brechen. Nach einer vergleichenden Betrachtung verschiedener Representationsformate wird auf die Anwendung des "canonical polyadic" Formates (CP) detailliert eingegangen. Dabei stehen zunächst die Umwandlung eines normalen, indexbasierten Tensors in das CP Format (Tensorzerlegung) und eine Methode der Niedrigrang Approximation (Rangreduktion) für Zweielektronenintegrale in der AO Basis im Vordergrund. Die entscheidende Größe für die Anwendbarkeit ist dabei das Skalierungsverhalten das Ranges mit steigender System- und Basissatzgröße, da der Speicheraufwand und die Berechnungskosten für Tensormanipulationen im CP Format zwar nur noch linear von der Anzahl der Dimensionen des Tensors abhängen, allerdings auch mit der Expansionslänge (Rang) skalieren. Im Anschluss wird die AO-MO Transformation und der MP2 Algorithmus mit zerlegten Tensoren im CP Format diskutiert und erneut das Skalierungsverhalten mit steigender System- und Basissatzgröße untersucht. Abschließend wird ein Coupled-Cluster Algorithmus vorgestellt, welcher ausschließlich mit Tensoren in einer Niedrigrang CP Darstellung arbeitet. Dabei wird vor allem auf die sukzessive Tensorkontraktion während der iterativen Bestimmung der Amplituden eingegangen und die Fehlerfortpanzung durch Anwendung des Rangreduktions-Algorithmus analysiert. Abschließend wird die Komplexität des gesamten Verfahrens bewertet und Verbesserungsmöglichkeiten der Reduktionsprozedur aufgezeigt.

In dieser Arbeit werden verschiedene Ansätze untersucht, um Tensorzerlegungsmethoden auf die Full-Configuration-Interaction-Methode (FCI) anzuwenden. Das Ziel dieser Ansätze ist es, zuverlässig konvergierende Algorithmen zu erstellen, welche es erlauben, die Wellenfunktion effizient im Canonical-Product-Tensorformat (CP) zu approximieren. Hierzu werden drei Ansätze vorgestellt, um die FCI-Wellenfunktion zu repräsentieren und darauf basierend die benötigten Koeffizienten zu bestimmen. Der erste Ansatz beruht auf einer Entwicklung der Wellenfunktion als Linearkombination von Slaterdeterminanten, bei welcher in einer Hierarchie ausgehend von der Hartree-Fock-Slaterdeterminante sukzessive besetzte Orbitale durch virtuelle Orbitale ersetzt werden. Unter Nutzung von Tensorrepräsentationen im CP wird ein lineares Gleichungssystem gelöst, um die FCI-Koeffizienten zu bestimmen. Im darauf folgenden Ansatz, welcher an Direct-CI angelehnt ist, werden Tensorrepräsentationen der Hamiltonmatrix und des Koeffizientenvektors aufgestellt, welche zur Lösung des FCI-Eigenwertproblems erforderlich sind. Hier wird ein Algorithmus vorgestellt, mit welchem das Eigenwertproblem im CP gelöst wird. In einem weiteren Ansatz wird die Repräsentation der Hamiltonmatrix und des Koeffizientenvektors im Fockraum formuliert. Dieser Ansatz erlaubt die Lösung des FCI-Eigenwertproblems mit Hilfe verschiedener Algorithmen. Diese orientieren sich an den Rayleighquotienteniterationen oder dem Davidsonalgorithmus, wobei für den ersten Algorithmus eine zweite Version entwickelt wurde, wo die Rangreduktion teilweise durch Projektionen ersetzt wurde. Für den Davidsonalgorithmus ist ein breiteres Spektrum von Molekülen behandelbar und somit können erste Untersuchungen zur Skalierung und zu den zu erwartenden Fehlern vorgestellt werden. Schließlich wird ein Ausblick auf mögliche Weiterentwicklungen gegeben, welche eine effizientere Berechnung ermöglichen und somit FCI im CP auch für größere Moleküle zugänglich macht. / In this thesis, various approaches are investigated to apply tensor decomposition methods to the Full Configuration Interaction method (FCI). The aim of these approaches is the development of algorithms, which converge reliably and which permit to approximate the wave function efficiently in the Canonical Product format (CP). Three approaches are introduced to represent the FCI wave function and to obtain the corresponding coefficients. The first approach ist based on an expansion of the wave function as a linear combination of slater determinants. In this hierarchical expansion, starting from the Hartree Fock slater determinant, the occupied orbitals are substituted by virtual orbitals. Using tensor representations in the CP, a linear system of equations is solved to obtain the FCI coefficients. In a further approach, tensor representations of the Hamiltonian matrix and the coefficient vectors are set up, which are required to solve the FCI eigenvalue problem. The tensor contractions and an algorithm to solve the eigenvalue problem in the CP are explained her in detail. In the next approach, tensor representations of the Hamiltonian matrix and the coefficient vector are constructed in the Fock space. This approach allows the application of various algorithms. They are based on the Rayleight Quotient Algorithm and the Davidson algorithm and for the first one, there exists a second version, where the rank reduction algorithm is replaced by projections. The Davidson algorithm allows to treat a broader spectrum of molecules. First investigations regarding the scaling behaviour and the expectable errors can be shown for this approach. Finally, an outlook on the further development is given, that allows for more efficient calculations and makes FCI in the CP accessible for larger molecules.

Tesis por compendio / [ES] La idea de seguir una secuencia de pasos para lograr un resultado deseado es inherente a la naturaleza humana: desde que empezamos a andar, siguiendo una receta de cocina o aprendiendo un nuevo juego de cartas. Desde la antigüedad se ha seguido este esquema para organizar leyes, corregir escritos, e incluso asignar diagnósticos. En matemáticas a esta forma de pensar se la denomina 'algoritmo'. Formalmente, un algoritmo es un conjunto de instrucciones definidas y no-ambiguas, ordenadas y finitas, que permite solucionar un problema. Desde pequeños nos enfrentamos a ellos cuando aprendemos a multiplicar o dividir, y a medida que crecemos, estas estructuras nos permiten resolver diferentes problemas cada vez más complejos: sistemas lineales, ecuaciones diferenciales, problemas de optimización, etcétera. Hay multitud de algoritmos que nos permiten hacer frente a este tipo de problemas, como métodos iterativos, donde encontramos el famoso Método de Newton para buscar raíces; algoritmos de búsqueda para localizar un elemento con ciertas propiedades en un conjunto mayor; o descomposiciones matriciales, como la descomposición LU para resolver sistemas lineales. Sin embargo, estos enfoques clásicos presentan limitaciones cuando se enfrentan a problemas de grandes dimensiones, problema que se conoce como `la maldición de la dimensionalidad'. El avance de la tecnología, el uso de redes sociales y, en general, los nuevos problemas que han aparecido con el desarrollo de la Inteligencia Artificial, ha puesto de manifiesto la necesidad de manejar grandes cantidades de datos, lo que requiere el diseño de nuevos mecanismos que permitan su manipulación. En la comunidad científica, este hecho ha despertado el interés por las estructuras tensoriales, ya que éstas permiten trabajar eficazmente con problemas de grandes dimensiones. Sin embargo, la mayoría de métodos clásicos no están pensados para ser empleados junto a estas operaciones, por lo que se requieren herramientas específicas que permitan su tratamiento, lo que motiva un proyecto como este. El presente trabajo se divide de la siguiente manera: tras revisar algunas definiciones necesarias para su comprensión, en el Capítulo 3, se desarrolla la teoría de una nueva descomposición tensorial para matrices cuadradas. A continuación, en el Capítulo 4, se muestra una aplicación de dicha descomposición a grafos regulares y redes de mundo pequeño. En el Capítulo 5, se plantea una implementación eficiente del algoritmo que proporciona la nueva descomposición matricial, y se estudian como aplicación algunas EDP de orden dos. Por último, en los Capítulos 6 y 7 se exponen unas breves conclusiones y se enumeran algunas de las referencias consultadas, respectivamente. / [CA] La idea de seguir una seqüència de passos per a aconseguir un resultat desitjat és inherent a la naturalesa humana: des que comencem a caminar, seguint una recepta de cuina o aprenent un nou joc de cartes. Des de l'antiguitat s'ha seguit aquest esquema per a organitzar lleis, corregir escrits, i fins i tot assignar diagnòstics. En matemàtiques a aquesta manera de pensar se la denomina algorisme. Formalment, un algorisme és un conjunt d'instruccions definides i no-ambigües, ordenades i finites, que permet solucionar un problema. Des de xicotets ens enfrontem a ells quan aprenem a multiplicar o dividir, i a mesura que creixem, aquestes estructures ens permeten resoldre diferents problemes cada vegada més complexos: sistemes lineals, equacions diferencials, problemes d'optimització, etcètera. Hi ha multitud d'algorismes que ens permeten fer front a aquesta mena de problemes, com a mètodes iteratius, on trobem el famós Mètode de Newton per a buscar arrels; algorismes de cerca per a localitzar un element amb unes certes propietats en un conjunt major; o descomposicions matricials, com la descomposició DL. per a resoldre sistemes lineals. No obstant això, aquests enfocaments clàssics presenten limitacions quan s'enfronten a problemes de grans dimensions, problema que es coneix com `la maledicció de la dimensionalitat'. L'avanç de la tecnologia, l'ús de xarxes socials i, en general, els nous problemes que han aparegut amb el desenvolupament de la Intel·ligència Artificial, ha posat de manifest la necessitat de manejar grans quantitats de dades, la qual cosa requereix el disseny de nous mecanismes que permeten la seua manipulació. En la comunitat científica, aquest fet ha despertat l'interés per les estructures tensorials, ja que aquestes permeten treballar eficaçment amb problemes de grans dimensions. No obstant això, la majoria de mètodes clàssics no estan pensats per a ser emprats al costat d'aquestes operacions, per la qual cosa es requereixen eines específiques que permeten el seu tractament, la qual cosa motiva un projecte com aquest. El present treball es divideix de la següent manera: després de revisar algunes definicions necessàries per a la seua comprensió, en el Capítol 3, es desenvolupa la teoria d'una nova descomposició tensorial per a matrius quadrades. A continuació, en el Capítol 4, es mostra una aplicació d'aquesta descomposició a grafs regulars i xarxes de món xicotet. En el Capítol 5, es planteja una implementació eficient de l'algorisme que proporciona la nova descomposició matricial, i s'estudien com a aplicació algunes EDP d'ordre dos. Finalment, en els Capítols 6 i 7 s'exposen unes breus conclusions i s'enumeren algunes de les referències consultades, respectivament. / [EN] The idea of following a sequence of steps to achieve a desired result is inherent in human nature: from the moment we start walking, following a cooking recipe or learning a new card game. Since ancient times, this scheme has been followed to organize laws, correct writings, and even assign diagnoses. In mathematics, this way of thinking is called an algorithm. Formally, an algorithm is a set of defined and unambiguous instructions, ordered and finite, that allows for solving a problem. From childhood, we face them when we learn to multiply or divide, and as we grow, these structures will enable us to solve different increasingly complex problems: linear systems, differential equations, optimization problems, etc. There is a multitude of algorithms that allow us to deal with this type of problem, such as iterative methods, where we find the famous Newton Method to find roots; search algorithms to locate an element with specific properties in a more extensive set; or matrix decompositions, such as the LU decomposition to solve some linear systems. However, these classical approaches have limitations when faced with large-dimensional problems, a problem known as the `curse of dimensionality'. The advancement of technology, the use of social networks and, in general, the new problems that have appeared with the development of Artificial Intelligence, have revealed the need to handle large amounts of data, which requires the design of new mechanisms that allow its manipulation. This fact has aroused interest in the scientific community in tensor structures since they allow us to work efficiently with large-dimensional problems. However, most of the classic methods are not designed to be used together with these operations, so specific tools are required to allow their treatment, which motivates work like this. This work is divided as follows: after reviewing some definitions necessary for its understanding, in Chapter 3, the theory of a new tensor decomposition for square matrices is developed. Next, Chapter 4 shows an application of said decomposition to regular graphs and small-world networks. In Chapter 5, an efficient implementation of the algorithm provided by the new matrix decomposition is proposed, and some order two PDEs are studied as an application. Finally, Chapters 6 and 7 present some brief conclusions and list some of the references consulted. / María Mora Jiménez acknowledges funding from grant (ACIF/2020/269) funded by the Generalitat Valenciana and the European Social Found / Mora Jiménez, M. (2023). Numerical approximations with tensor-based techniques for high-dimensional problems [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/202604 / Compendio