Cette thèse est divisée en cinq parties portant sur les thèmes suivants: l’interprétation physique et algébrique de familles de fonctions orthogonales multivariées et leurs applications, les systèmes quantiques superintégrables en deux et trois dimensions faisant intervenir des opérateurs de réflexion, la caractérisation de familles de polynômes orthogonaux appartenant au tableau de Bannai-Ito et l’examen des structures algébriques qui leurs sont associées, l’étude de la relation entre le recouplage de représentations irréductibles d’algèbres et de superalgèbres et les systèmes superintégrables, ainsi que l’interprétation algébrique de familles de polynômes multi-orthogonaux matriciels. Dans la première partie, on développe l’interprétation physico-algébrique des familles de polynômes orthogonaux multivariés de Krawtchouk, de Meixner et de Charlier en tant qu’éléments de matrice des représentations unitaires des groupes SO(d+1), SO(d,1) et E(d) sur les états d’oscillateurs. On détermine les amplitudes de transition entre les états de l’oscillateur singulier associés aux bases cartésienne et polysphérique en termes des polynômes multivariés de Hahn. On examine les coefficients 9j de su(1,1) par le biais du système superintégrable générique sur la 3-sphère. On caractérise les polynômes de q-Krawtchouk comme éléments de matrices des «q-rotations» de U_q(sl_2). On conçoit un réseau de spin bidimensionnel qui permet le transfert parfait d’états quantiques à l’aide des polynômes de Krawtchouk à deux variables et on construit un modèle discret de l’oscillateur quantique dans le plan à l’aide des polynômes de Meixner bivariés. Dans la seconde partie, on étudie les systèmes superintégrables de type Dunkl, qui font intervenir des opérateurs de réflexion. On examine l’oscillateur de Dunkl en deux et trois dimensions, l’oscillateur singulier de Dunkl dans le plan et le système générique sur la 2-sphère avec réflexions. On démontre la superintégrabilité de chacun de ces systèmes. On obtient leurs constantes du mouvement, on détermine leurs algèbres de symétrie et leurs représentations, on donne leurs solutions exactes et on détaille leurs liens avec les polynômes orthogonaux du tableau de Bannai-Ito. Dans la troisième partie, on caractérise deux familles de polynômes du tableau de Bannai-Ito: les polynômes de Bannai-Ito complémentaires et les polynômes de Chihara. On montre également que les polynômes de Bannai-Ito sont les coefficients de Racah de la superalgèbre osp(1,2). On détermine l’algèbre de symétrie des polynômes duaux -1 de Hahn dans le cadre du problème de Clebsch-Gordan de osp(1,2). On propose une q - généralisation des polynômes de Bannai-Ito en examinant le problème de Racah pour la superalgèbre quantique osp_q(1,2). Finalement, on montre que la q -algèbre de Bannai-Ito sert d’algèbre de covariance à osp_q(1,2). Dans la quatrième partie, on détermine le lien entre le recouplage de représentations des algèbres su(1,1) et osp(1,2) et les systèmes superintégrables du deuxième ordre avec ou sans réflexions. On étudie également les représentations des algèbres de Racah-Wilson et de Bannai-Ito. On montre aussi que l’algèbre de Racah-Wilson sert d’algèbre de covariance quadratique à l’algèbre de Lie sl(2). Dans la cinquième partie, on construit deux familles explicites de polynômes d-orthogonaux basées sur su(2). On étudie les états cohérents et comprimés de l’oscillateur fini et on caractérise une famille de polynômes multi-orthogonaux matriciels. / This thesis is divided into five parts concerned with the following topics: the physical and algebraic interpretation of families of multivariate orthogonal functions and their applications, the study of superintegrable quantum systems in two and three dimensions involving reflection operators, the characterization of families of orthogonal polynomials of the Bannai-Ito scheme and the study of the algebraic structures associated to them, the investigation of the relationship between the recoupling of irreducible representations of algebras and superalgebras and superintegrable systems, as well as the algebraic interpretation of families of matrix multi-orthogonal polynomials. In the first part, we develop the physical and algebraic interpretation of the Krawtchouk, Meixner and Charlier families of multivariate orthogonal polynomials as matrix elements of unitary representations of the SO(d + 1), SO(d, 1) and E(d) groups on oscillator states. We determine the transition amplitudes between the states of the singular oscillator associated to the Cartesian and polyspherical bases in terms of the multivariate Hahn polynomials. We examine the 9j coefficients of su(1,1) through the generic superintegrable system on the 3-sphere. We characterize the q-Krawtchouk polynomials as matrix elements of "q-rotations" of U_q(sl_2). We show how to design a two-dimensional spin network that allows perfect state transfer using the two-variable Krawtchouk polynomials and we construct a discrete model of the two-dimensional quantum oscillator using the two-variable Meixner polynomials. In the second part, we study superintegrable systems of Dunkl type, which involve reflections. We examine the Dunkl oscillator in two and three dimensions, the singular Dunkl oscillator in the plane and the generic system on the 2-sphere with reflections. We show that each of these systems is superintegrable. We obtain their constants of motion, we find their symmetry algebras as well as their representations, we give their exact solutions and we exhibit their relationship with the orthogonal polynomials of the Bannai-Ito scheme. In the third part, we characterize two families of polynomials belonging to the Bannai-Ito scheme: the complementary Bannai-Ito polynomials and the Chihara polynomials. We also show that the Bannai–Ito polynomials arise as Racah coefficients for the osp(1,2) superalgebra. We determine the symmetry algebra associated with the dual − 1 Hahn polynomials in the context of the Clebsch-Gordan problem for osp(1,2). We introduce a q -generalization of the Bannai-Ito polynomials by examining the Racah problem for the quantum superalgebra osp_q(1,2). Finally, we show that the q-deformed Bannai-Ito algebra serves as a covariance algebra for osp_q(1,2). In the fourth part, we determine the relationship between the recoupling of representations of the su(1,1) and osp(1,2) algebras and second-order superintegrable systems with or without reflections. We also study representations of Racah–Wilson and Bannai-Ito algebras. Moreover, we show that the Racah Wilson algebra serves as a quadratic covariance algebra for sl(2). In the fifth part, we explicitly construct two families of d-orthogonal polynomials based on su(2). We investigate the squeezed/coherent states of the finite oscillator and we characterize a family of matrix multi-orthogonal polynomials.

Hamilton-Jacobi theory provides a powerful method for extracting the equations of motion out of some given systems in classical mechanics. On occasion it allows some systems to be solved by the method of separation of variables. If a system with n degrees of freedom has 2n - 1 constants of the motion that are polynomial in the momenta, then that system is called superintegrable. Such a system can usually be solved in multiple coordinate systems if the constants of the motion are quadratic in the momenta. All superintegrable two dimensional Hamiltonians of the form H = (p_x)sup2 + (p_y)sup2 + V(x,y), with constants that are quadratic in the momenta were classified by Kalnins et al [5], and the coordinate systems in which they separate were found. We discuss Hamilton-Jacobi theory and its development from a classical viewpoint, as well as superintegrability. We then proceed to use the theory to find equations of motion for some of the superintegrable Hamiltonians from Kalnins et al [5]. We also discuss some of the properties of the Poisson algebra of those systems, and examine the orbits.