Au cours de la dernière décennie, la complexité des applications a considérablement évolué afin de répondre aux besoins métiers émergeants. Leur conception implique une composition distribuée de composants logiciels. Ces applications fournissent des services à travers les interactions métiers maintenues par leurs composants. De telles applications sont intrinsèquement en évolution dynamique en raison de la dynamicité de leurs contextes. En effet, elles évoluent dans des environnements qui changent tout en présentant des conditions très dynamiques durant leur cycle de vie d’exécution. De tels contextes représentent une lourde charge pour les développeurs aussi bien pour leurs tâches de conception que de gestion. Cela a motivé́ le besoin de renforcer l’autonomie de gestion des applications pour les rendre moins dépendantes de l’intervention humaine en utilisant les principes de l’Informatique Autonomique. Les Systèmes Informatiques Autonomes (SIA) impliquent l’utilisation des boucles autonomiques, dédiées aux systèmes afin de les aider à accomplir leurs tâches de gestion. Ces boucles ont pour objectif d’adapter leurs systèmes à la dynamicité de leurs contextes, en se basant sur une logique d’adaptation intégrée. Cette logique est souvent donnée par des règles statiques codées manuellement. La construction de ces règles demande beaucoup de temps tout en exigeant une bonne expertise. En fait, elles nécessitent une compréhension approfondie de la dynamicité du système afin de prédire les adaptations précises à apporter à celui-ci. Par ailleurs, une telle logique ne peut envisager tous les scénarios d’adaptation possibles, donc, ne sera pas en mesure de prendre en compte des adaptations pour des situations précédemment inconnues. Les SIA devraient donc être assez sophistiqués afin de pouvoir faire face à la nature dynamique de leurs contextes et de pouvoir apprendre par eux-mêmes afin d’agir correctement dans des situations inconnues. Les SIA devraient également être capables d’apprendre de leur propre expérience passée afin de modifier leur logique d’adaptation en fonction de la dynamicité de leurs contextes. Dans ce manuscrit, nous abordons les lacunes décrites en utilisant les techniques d’Apprentissage par Renforcement (AR) afin de construire notre logique d’adaptation. Cependant, les approches fondées sur l’AR sont connues pour leur mauvaise performance lors des premières phases d’apprentissage. Cette mauvaise performance entrave leur utilisation dans le monde réel des systèmes déployés. Par conséquent, nous avons amélioré cette logique d’adaptation avec des capacités d’apprentissage plus performantes avec une approche AR en multi-pas. Notre objectif est d’optimiser la performance de l’apprentissage et de le rendre plus efficace et plus rapide, en particulier durant les premières phases d’apprentissage. Nous avons aussi proposé́ un cadriciel générique visant à aider les développeurs dans la construction d’applications auto-adaptatives. Nous avons donc proposé de transformer des applications existantes en ajoutant des capacités d’autonomie et d’apprentissage à leurs composants. La transformation consiste en l’encapsulation des composants dans des conteneurs autonomiques pour les doter du comportement auto-adaptatif nécessaire. Notre objectif est d’alléger la charge des tâches de gestion des développeurs et de leur permettre de se concentrer plus sur la logique métier de leurs applications. Les solutions proposées sont destinées à être génériques, granulaires et basées sur un standard connu, à savoir l’Architecture de Composant de Service. Enfin, nos propositions ont été évaluées et validées avec des résultats expérimentaux. Ils ont démontré leur efficacité en montrant un ajustement dynamique des applications transformées face aux dynamicités de leurs contextes en un temps beaucoup plus court comparé aux approches existantes / During the past decade, the complexity of applications has significantly scaled to satisfy the emerging business needs. Their design entails a composition of distributed and interacting software components. They provide services by means of the business interactions maintained by their components. Such applications are inherently in a dynamic evolution due to their context dynamics. Indeed, they evolve in changing environments while exhibiting highly dynamic conditions during their execution life-cycle (e.g., their load, availability, performance, etc.). Such contexts have burdened the applications developers with their design and management tasks. Subsequently, motivated the need to enforce the autonomy of their management to be less dependent on human interventions with the Autonomic Computing principles. Autonomic Computing Systems (ACS) implies the usage of autonomic loops, dedicated to help the system to achieve its management tasks. These loops main role is to adapt their associated systems to the dynamic of their contexts by acting upon an embedded adaptation logic. Most of time, this logic is given by static hand-coded rules, often concern-specific and potentially error-prone. It is undoubtedly time and effort-consuming while demanding a costly expertise. Actually, it requires a thorough understanding of the system design and dynamics to predict the accurate adaptations to bring to the system. Furthermore, such logic cannot envisage all the possible adaptation scenarios, hence, not able to take appropriate adaptations for previously unknown situations. ACS should be sophisticated enough to cope with the dynamic nature of their contexts and be able to learn on their own to properly act in unknown situations. They should also be able to learn from their past experiences and modify their adaptation logic according to their context dynamics. In this thesis manuscript, we address the described shortcomings by using Reinforcement Learning (RL) techniques to build our adaptation logic. Nevertheless, RL-based approaches are known for their poor performance during the early stages of learning. This poor performance hinders their usage in real-world deployed systems. Accordingly, we enhanced the adaptation logic with sophisticated and better-performing learning abilities with a multi-step RL approach. Our main objective is to optimize the learning performance and render it timely-efficient which considerably improves the ACS performance even during the beginning of learning phase. Thereafter, we pushed further our work by proposing a generic framework aimed to support the application developers in building self-adaptive applications. We proposed to transform existing applications by dynamically adding autonomic and learning abilities to their components. The transformation entails the encapsulation of components into autonomic containers to provide them with the needed self-adaptive behavior. The objective is to alleviate the burden of management tasks on the developers and let them focus on the business logic of their applications. The proposed solutions are intended to be generic, granular and based on a well known standard (i.e., Service Component Architecture). Finally, our proposals were evaluated and validated with experimental results. They demonstrated their effectiveness by showing a dynamic adjustment to the transformed application to its context changes in a shorter time as compared to existing approaches

Le transport maritime par conteneurs est devenu universel compte tenu de son caractère multimodal. Le succès de ce mode de transport est aussi lié à l’implication de plusieurs professionnels tant du monde privé que du monde public. Cependant, le transport de conteneurs constitue un univers de contentieux parfois inconnus. L’usage de ces boîtes fait l’objet de contentieux de nature privé, mais également des contentieux de nature administrative. Bien que des Conventions internationales règlementent le transport maritime en général, l’inadaptation de certaines de ces normes ne facilite pas la résolution de ces contentieux. Et, comme l’administration des douanes est en amont et en aval dans l’exécution du contrat de transport, son intervention ne reste pas sans soulever des contentieux dont la résolution implique deux ordres de juridictions. / The container shipping has become universal because of its multimodal nature. The success of this mean of transport is also linked to the involvement of many professionals from both private and public sectors. However, the container shipping constitutes a field of litigation sometime ignored. The use of these boxes involves not only litigations of private nature but also of administrative nature. Although some international conventions regulate shipping in general, the unsuitability of some of these norms does not help the settlement of these litigations. And, as the customs administration is upstream and downstream involved in the execution of the contract of carriage, its involvement is a source of disputes whose settlement implies two different kinds of courts.

Cette thèse présente une méthodologie d’ordonnancement cyclique robuste appliquée à la gestion des conteneurs dans les ports maritimes de taille moyenne. Ces derniers sont sujet constamment à des variations des conditions des terminaux, la visibilité réduite sur des évènements futurs ne permet pas de proposer une planification précise des tâches à accomplir. L’ordonnancement cyclique robuste peut jouer un rôle primordial. Il permettra non seulement de proposer un ordonnancement prédictif pour le transport des conteneurs, mais aussi, il proposera également une planification robuste permettant d’éliminer les perturbations éventuelles en temps réel. Dans ce travail nous utilisons les Véhicules Intelligents Automatisés (AIV) pour transporter les conteneurs et nous modélisons les procédures de transit de ces derniers par des graphes d’évènements P-temporels fortement connexes (PTSCEG). Avant l’arrivée d’un porte conteneur au port, un plan (planning) de transport des conteneurs est proposé en un temps court par la programmation linéaire mixte (MIP). Des algorithmes polynomiaux de calcul de robustesse permettent de calculer sur les différents nœuds du système les marges de robustesse. Une fois le navire à quai, l’ordonnancement cyclique robuste est appliqué. Lorsqu’une perturbation est observée (localisée) dans le système, une comparaison avec la marge de robustesse connue est effectuée. Si cette perturbation est incluse dans la marge de robustesse, l’algorithme robuste est utilisé pour éliminer ces perturbations en quelques cycles. Dans le cas où la perturbation est trop importante, la méthode MIP est utilisée pour calculer un nouvel ordonnancement cyclique en un temps réduit / This PhD thesis is dedicated to propose a robust cyclic scheduling methodology applied to container management of medium sized seaport which faces ever changing terminal conditions and the limited predictability of future events and their timing. The robust cyclic scheduling can be seen not just a predictable scheduling to compute a container transportation schedule, but also a reactive scheduling to eliminate the disturbances in real time. In this work, the automated intelligent vehicles (AIV) are used to transport the containers, and the P-time strongly connected event graph (PTSCEG) is used as a graphical tool to model the container transit procedures. Before the arrival of the container vessel, a cyclic container transit schedule can be given by the mixed integer programming (MIP) method in short time. The robustness margins on the nodes of the system can be computed by robustness algorithms in polynomial computing time. After the stevedoring begins, this robust cyclic schedule is used. When a disturbance is observed in system, it should be compared with the known robustness margin. If the disturbance belongs to the robustness margin, the robustness algorithm is used to eliminate the disturbance in a few cycle times. If not, the MIP method is used to compute a new cyclic schedule in short time

The work in this thesis is separated into two parts. The first part deals with the load planning and sequencing problem for double-stack intermodal railcars, an operational problem found at many rail container terminals. In this problem, containers must be assigned to a platform on which the container will be loaded, and the loading order must be determined. These decisions are made with the objective of minimizing the costs associated with handling the containers, as well as minimizing the cost of containers left behind. The deterministic version of the problem can be cast as a shortest path problem on an ordered graph. This problem is challenging to solve because of the large size of the graph. We propose a two-stage heuristic based on the Iterative Deepening A* algorithm to compute solutions to the load planning and sequencing problem within a five-minute time budget. Next, we also illustrate how a Deep Q-learning algorithm can be used to heuristically solve the same problem.The second part of this thesis considers sequential models in deep learning. A recent strategy to circumvent the exploding and vanishing gradient problem in recurrent neural networks (RNNs) is to enforce recurrent weight matrices to be orthogonal or unitary. While this ensures stable dynamics during training, it comes at the cost of reduced expressivity due to the limited variety of orthogonal transformations. We propose a parameterization of RNNs, based on the Schur decomposition, that mitigates the exploding and vanishing gradient problem, while allowing for non-orthogonal recurrent weight matrices in the model. / Le travail de cette thèse est divisé en deux parties. La première partie traite du problème de planification et de séquencement des chargements de conteneurs sur des wagons, un problème opérationnel rencontré dans de nombreux terminaux ferroviaires intermodaux. Dans ce problème, les conteneurs doivent être affectés à une plate-forme sur laquelle un ou deux conteneurs seront chargés et l'ordre de chargement doit être déterminé. Ces décisions sont prises dans le but de minimiser les coûts associés à la manutention des conteneurs, ainsi que de minimiser le coût des conteneurs non chargés. La version déterministe du problème peut être formulé comme un problème de plus court chemin sur un graphe ordonné. Ce problème est difficile à résoudre en raison de la grande taille du graphe. Nous proposons une heuristique en deux étapes basée sur l'algorithme Iterative Deepening A* pour calculer des solutions au problème de planification et de séquencement de la charge dans un budget de cinq minutes. Ensuite, nous illustrons également comment un algorithme d'apprentissage Deep Q peut être utilisé pour résoudre heuristiquement le même problème. La deuxième partie de cette thèse examine les modèles séquentiels en apprentissage profond. Une stratégie récente pour contourner le problème de gradient qui explose et disparaît dans les réseaux de neurones récurrents (RNN) consiste à imposer des matrices de poids récurrentes orthogonales ou unitaires. Bien que cela assure une dynamique stable pendant l'entraînement, cela se fait au prix d'une expressivité réduite en raison de la variété limitée des transformations orthogonales. Nous proposons une paramétrisation des RNN, basée sur la décomposition de Schur, qui atténue les problèmes de gradient, tout en permettant des matrices de poids récurrentes non orthogonales dans le modèle.