Ordonnancement d’E/S Transversal pour les Systèmes de Fichiers Parallèles : desApplications aux DispositifsCette thèse porte sur l’utilisation de l’ordonnancement d’Entrées/Sorties (E/S) pour atténuer leseffets d’interférence et améliorer la performance d’E/S des systèmes de fichiers parallèles. Ilest commun pour les plates-formes de calcul haute performance (HPC) de fournir une infrastructurede stockage partagée pour les applications qui y sont hébergées. Dans cette situation,où plusieurs applications accèdent simultanément au système de fichiers parallèle partagé, leursaccès vont souffrir de l’interférence, ce qui compromet l’efficacité des stratégies d’optimisationd’E/S.Nous avons évalué la performance de cinq algorithmes d’ordonnancement dans les serveurs dedonnées d’un système de fichiers parallèle. Ces tests ont été exécutés sur différentes platesformeset sous différents modèles d’accès. Les résultats indiquent que la performance des ordonnanceursest affectée par les modèles d’accès des applications, car il est important pouraméliorer la performance obtenue grâce à un algorithme d’ordonnancement de surpasser sessurcoûts. En même temps, les résultats des ordonnanceurs sont affectés par les caractéristiquesdu système d’E/S sous-jacent - en particulier par des dispositifs de stockage. Différents dispositifsprésentent des niveaux de sensibilité à la séquentialité et la taille des accès distincts, ce quipeut influencer sur le niveau d’amélioration de obtenue grâce à l’ordonnancement d’E/S.Pour ces raisons, l’objectif principal de cette thèse est de proposer un modèle d’ordonnancementd’E/S avec une double adaptabilité : aux applications et aux dispositifs. Nous avons extraitdes informations sur les modèles d’accès des applications en utilisant des fichiers de trace,obtenus à partir de leurs exécutions précédentes. Ensuite, nous avons utilisé de l’apprentissageautomatique pour construire un classificateur capable d’identifier la spatialité et la taille desaccès à partir du flux de demandes antérieures. En outre, nous avons proposé une approche pourobtenir efficacement le ratio de débit séquentiel et aléatoire pour les dispositifs de stockage enexécutant des benchmarks pour un sous-ensemble des paramètres et en estimant les restantsavec des régressions linéaires.Nous avons utilisé les informations sur les caractéristiques des applications et des dispositifsde stockage pour décider automatiquement l’algorithme d’ordonnancement le plus appropriéen utilisant des arbres de décision. Notre approche améliore les performances jusqu’à 75% parrapport à une approche qui utilise le même algorithme d’ordonnancement dans toutes les situations,sans capacité d’adaptation. De plus, notre approche améliore la performance dans 64%de scénarios en plus, et diminue les performances dans 89% moins de situations. Nos résultatsmontrent que les deux aspects - des applications et des dispositifs - sont essentiels pour faire desbons choix d’ordonnancement. En outre, malgré le fait qu’il n’y a pas d’algorithme d’ordonnancementqui fournit des gains de performance pour toutes les situations, nous montrons queavec la double adaptabilité il est possible d’appliquer des techniques d’ordonnancement d’E/Spour améliorer la performance, tout en évitant les situations où cela conduirait à une diminutionde performance. / This thesis focuses on I/O scheduling as a tool to improve I/O performance on parallel file systemsby alleviating interference effects. It is usual for High Performance Computing (HPC)systems to provide a shared storage infrastructure for applications. In this situation, when multipleapplications are concurrently accessing the shared parallel file system, their accesses willaffect each other, compromising I/O optimization techniques’ efficacy.We have conducted an extensive performance evaluation of five scheduling algorithms at aparallel file system’s data servers. Experiments were executed on different platforms and underdifferent access patterns. Results indicate that schedulers’ results are affected by applications’access patterns, since it is important for the performance improvement obtained througha scheduling algorithm to surpass its overhead. At the same time, schedulers’ results are affectedby the underlying I/O system characteristics - especially by storage devices. Differentdevices present different levels of sensitivity to accesses’ sequentiality and size, impacting onhow much performance is improved through I/O scheduling.For these reasons, this thesis main objective is to provide I/O scheduling with double adaptivity:to applications and devices. We obtain information about applications’ access patternsthrough trace files, obtained from previous executions. We have applied machine learning tobuild a classifier capable of identifying access patterns’ spatiality and requests size aspects fromstreams of previous requests. Furthermore, we proposed an approach to efficiently obtain thesequential to random throughput ratio metric for storage devices by running benchmarks for asubset of the parameters and estimating the remaining through linear regressions.We use this information on applications’ and storage devices’ characteristics to decide the bestfit in scheduling algorithm though a decision tree. Our approach improves performance byup to 75% over an approach that uses the same scheduling algorithm to all situations, withoutadaptability. Moreover, our approach improves performance for up to 64% more situations, anddecreases performance for up to 89% less situations. Our results evidence that both aspects- applications and storage devices - are essential for making good scheduling choices. Moreover,despite the fact that there is no scheduling algorithm able to provide performance gainsfor all situations, we show that through double adaptivity it is possible to apply I/O schedulingtechniques to improve performance, avoiding situations where it would lead to performanceimpairment. / Esta tese se concentra no escalonamento de operações de entrada e saída (E/S) como uma soluçãopara melhorar o desempenho de sistemas de arquivos paralelos, aleviando os efeitos dainterferência. É usual que sistemas de computação de alto desempenho (HPC) ofereçam umainfraestrutura compartilhada de armazenamento para as aplicações. Nessa situação, em quemúltiplas aplicações acessam o sistema de arquivos compartilhado de forma concorrente, osacessos das aplicações causarão interferência uns nos outros, comprometendo a eficácia de técnicaspara otimização de E/S.Uma avaliação extensiva de desempenho foi conduzida, abordando cinco algoritmos de escalonamentotrabalhando nos servidores de dados de um sistema de arquivos paralelo. Foramexecutados experimentos em diferentes plataformas e sob diferentes padrões de acesso. Osresultados indicam que os resultados obtidos pelos escalonadores são afetados pelo padrão deacesso das aplicações, já que é importante que o ganho de desempenho provido por um algoritmode escalonamento ultrapasse o seu sobrecusto. Ao mesmo tempo, os resultados doescalonamento são afetados pelas características do subsistema local de E/S - especialmentepelos dispositivos de armazenamento. Dispositivos diferentes apresentam variados níveis desensibilidade à sequencialidade dos acessos e ao seu tamanho, afetando o quanto técnicas deescalonamento de E/S são capazes de aumentar o desempenho.Por esses motivos, o principal objetivo desta tese é prover escalonamento de E/S com duplaadaptabilidade: às aplicações e aos dispositivos. Informações sobre o padrão de acesso dasaplicações são obtidas através de arquivos de rastro, vindos de execuções anteriores. Aprendizadode máquina foi aplicado para construir um classificador capaz de identificar os aspectosespacialidade e tamanho de requisição dos padrões de acesso através de fluxos de requisiçõesanteriores. Além disso, foi proposta uma técnica para obter eficientemente a razão entre acessossequenciais e aleatórios para dispositivos de armazenamento, executando testes para apenas umsubconjunto dos parâmetros e estimando os demais através de regressões lineares.Essas informações sobre características de aplicações e dispositivos de armazenamento são usadaspara decidir a melhor escolha em algoritmo de escalonamento através de uma árvore dedecisão. A abordagem proposta aumenta o desempenho em até 75% sobre uma abordagem queusa o mesmo algoritmo para todas as situações, sem adaptabilidade. Além disso, essa técnicamelhora o desempenho para até 64% mais situações, e causa perdas de desempenho em até 89%menos situações. Os resultados obtidos evidenciam que ambos aspectos - aplicações e dispositivosde armazenamento - são essenciais para boas decisões de escalonamento. Adicionalmente,apesar do fato de não haver algoritmo de escalonamento capaz de prover ganhos de desempenhopara todas as situações, esse trabalho mostra que através da dupla adaptabilidade é possívelaplicar técnicas de escalonamento de E/S para melhorar o desempenho, evitando situações emque essas técnicas prejudicariam o desempenho.

Nous nous sommes intéressés dans cette thèse au problème d'ordonnancement temps réel dur multiprocesseur tolérant aux fautes pour des tâches non préemptives périodiques strictes pouvant être combinées avec des tâches préemptives. Nous avons proposé des solutions à ce problème et les avons implantées dans le logiciel SynDEx puis nous les avons testées sur une application de suivi de véhicules électriques CyCabs. Nous avons d'abord présenté un état de l'art sur les systèmes temps réel embarqués et plus précisément sur l'ordonnancement classique monoprocesseur et multiprocesseur de tâches préemptives périodiques. Comme nous nous intéressons aux applications de contrôle/commande temps réel critiques, les traitements de capteurs/actionneurs et les traitements de commande de procédés ne doivent pas avoir de gigue. Pour ces raisons nous avons aussi présenté un état de l'art sur l'ordonnancement des tâches non-préemptives périodiques strictes. Par ailleurs nous avons présenté un état de l'art sur la tolérance aux fautes. Comme nous nous sommes intéressés aux fautes matérielles, nous avons présenté les deux types de redondances : logicielle et matérielle. Les analyses d'ordonnançabilité existantes de tâches non préemptives périodiques strictes dans le cas monoprocesseur ayant de faibles taux de succès d'ordonnancement, nous avons proposé une nouvelle analyse d'ordonnançabilité. Nous avons présenté une stratégie d'ordonnancement qui consiste à ordonnancer une tâche candidate avec un ensemble de tâches déjà ordonnancée. Nous avons utilisé cette stratégie pour ordonnancer des tâches harmoniques et non harmoniques, et nous avons proposé des nouvelles conditions d'ordonnançabilité. Afin d'améliorer le taux de succès d'ordonnancement de tâches non préemptives périodiques strictes, nous avons proposé de garder certaines tâches non préemptives périodiques strictes et d'y ajouter des tâches préemptives périodiques non strictes ne traitant ni les entrées/sorties ni le contrôle/commande. Nous avons ensuite étudié le problème d'ordonnancement multiprocesseur selon une approche partitionnée. Ce problème est résolu en utilisant trois algorithmes. Le premier algorithme effectue une analyse d'ordonnançabilité monoprocesseur et assigne chaque tâche sur éventuellement plusieurs processeurs. Le deuxième algorithme transforme le graphe de tâches dépendantes en un graphe déroulé où chaque tâche est répétée un nombre de fois égal au rapport entre le PPCM des autres périodes et sa période. Le troisième algorithme exploite les résultats des deux algorithmes précédents pour choisir sur quel processeur ordonnancer une tâche et calculer sa date de début d'exécution. Nous avons ensuite proposé d'étendre l'étude d'ordonnançabilité temps réel multiprocesseur précédente pour qu'elle soit tolérante aux fautes de processeurs et de bus de communication. Nous avons proposé un algorithme qui permet de transformer le graphe de tâches dépendantes en y ajoutant des tâches et des dépendances de données répliques et des tâches de sélection permettant de choisir la réplique de tâches allouée à un processeur non fautif. Nous avons étudié séparément les problèmes de tolérance aux fautes pour des processeurs, des bus de communication, et enfin des processeur et des bus de communication. Finalement nous avons étendu les trois algorithmes vus précédemment d'analyse d'ordonnançabilité, de déroulement et d'ordonnancement afin qu'ils soient tolérants aux fautes. Nous avons ensuite présenté les améliorations apportées au logiciel SynDEx tant sur le plan de l'analyse d'ordonnançabilité et l'algorithme d'ordonnancement, que sur le plan de la tolérance aux fautes. Finalement nous avons présenté les travaux expérimentaux concernant l'application de suivi de CyCabs. Nous avons modifié l'architecture des CyCabs en y intégrant des microcontrôleurs dsPICs et nous avons testé la tolérance aux fautes de dsPICs et du bus CAN sur une application de suivi de CyCab.

De nos jours, pour maîtriser la complexité structurelle et fonctionnelle associées à la conception et au développement d'un système complexe tel qu'un avion, les entreprises mettent en place des organisations elles aussi complexes, à la fois hiérarchisées et distribuées. Ainsi le développement du système est confié à différentes équipes provenant d'entreprises aux métiers différents mais complémentaires. Ces équipes fonctionnent en ingénierie concourante et doivent se coordonner lors de la conception (échanges de résultats intermédiaires concernant des sous-systèmes à différents niveaux de maturité) et lors de l'intégration (travail en " plateaux "). Ce travail se focalise plus particulièrement sur le pilotage des activités d'ingénierie au sein d'une équipe, compte tenu de contraintes globales sur les ressources (nombres de personnes allouées) et sur les délais (fenêtres temporelles des activités), mais aussi compte tenu des contraintes de synchronisation que traduisent l'interdépendance des équipes. L'originalité de ce travail est de proposer une caractérisation énergétique des activités et des contraintes qui les lient et de valider la cohérence des décisions de pilotage (avance ou retard des activités, allocation de ressources supplémentaires) par l'utilisation d'un outil rigoureux basé sur la programmation par contraintes. Les mécanismes de propagation de contraintes peuvent être utilisés pour valider différentes simulations afin de servir de références pour la renégociation de contraintes lorsque celle-ci devient obligatoire. Une première spécification des modes d'utilisation d'un outil d'aide à la décision est également proposée. Nous concluons sur les extensions du modèle et sur les travaux d'expérimentation et de validation qui doivent prolonger ce travail afin de parvenir à un outil opérationnel diffusable à l'ensemble des équipes partenaires d'un projet de développement d'un système complexe.

Dans le cadre de cette thèse, nous nous intéressons au problème du transport à la demande. Nous proposons des heuristiques pour résoudre ce problème de manière rapide et efficace. Dans cette thèse, nous traitons trois problèmes : le premier est le Dial-a-ride (DARP standard). Pour ce problème, nous proposons des heuristiques basées sur la technique d'insertion et une technique de propagation de contrainte. Nous proposons aussi la procédure SPLIT et des opérateurs classiques de recherche locale pour résoudre ce problème. Le second est le DARP multicritères pour laquelle nous proposons un schéma de type ELS. Le troisième est un problème de transport à la demande avec contraintes financières (DARPF), qui est une extension de DARP. Nous résolvons ce problème grâce à une heuristique d'insertion et une technique de propagation de contraintes. La fonction objectif détermine les caractéristiques des tournées. Des résultats expérimentaux montrent que nos (méta-) heuristiques donnent des résultats plus favorables aux clients (meilleure qualité de service)

Ces travaux présentent une classe d'approches par contraintes pour aborder les problèmes d'ordonnancement de tâches et d'affectation de ressources. Ils présentent notamment les recherches menées sur la conception de mécanismes généraux de propagation de contraintes. Des rapprochements sont faits avec des techniques issues des problèmes de satisfaction de contraintes. Le cas des problèmes d'ordonnancement purement temporels est rapidement abordé, puis la présentation se consacre à des problèmes dans lesquels les tâches doivent respecter à la fois des contraintes temporelles et des contraintes de partage et d'affectation de ressources. On présente notamment une synthèse des travaux ayant pour but l'élaboration de règles de propagation faisant interagir des contraintes temporelles simples et des contraintes de ressources. Trois types de raisonnement sont étudiés et dans certains cas étendus par rapport à leur formulation originale. Le premier, les opérations locales, nécessite une analyse préalable des conflits entre tâches et infère des conditions de séquencement locales à une ressource. Le deuxième, les opérations globales, agit suivant le principe d'une contrainte posée sur l'ensemble du problème. Le troisième, le raisonnement énergétique, intègre simultanément les contraintes de temps et de ressources et permet de limiter l'intervalle de temps sur lequel peut être réalisée une tâche. L'utilisation et le contrôle des mécanismes de propagation de contraintes sont discutés. Ils peuvent servir à découvrir rapidement une inconsistance globale dans la formulation du problème, ou à simplifier sa résolution. Nous fournissons ainsi des éléments sur la décomposition et la stratégie de résolution des problèmes.

Les variabilités du processus de fabrication des technologies avancées (typ. < 32nm) sont de plus en plus difficile à maîtriser. Elles impactent plus sévèrement la fréquence de fonctionnement et la consommation d'énergie, et induisent de plus en plus de défaillances dans le circuit. Ceci est particulièrement vrai pour les MPSoCs, où le nombre de coeurs de calculs est très important. Les besoins (performances, fonctionnalités, faible consommation, tolérance aux fautes) ne cessent de croître et les caractéristiques hétérogènes (fréquence, énergie, défaillances) rendent difficile la mise en oeuvre de systèmes répondant à ces exigences. Ces travaux s'inscrivent dans l'optique de traiter ces problèmes pour des systèmes MPSoCs massivement parallèles, basés sur une topologie en maille 2D. Cette thèse propose une méthodologie automatisée qui permet le placement et l'ordonnancement d'applications dans les systèmes ciblés. Les aspects variabilité, consommation et performance sont pris en compte. D'autre part, cette thèse propose une technique de placement adaptatif tolérant aux fautes basée sur une stratégie de recouvrement des erreurs. Cette stratégie permet de garantir la terminaison de l'application en présence de défaillances, sans avoir recours à la prise de " check-points ". Cette technique est complété par des algorithmes adaptatifs distribués, prenant en compte la variabilité et la consommation d'énergie.

Les travaux présentés dans cette thèse portent sur l'étude de la complexité et de l'approximation des problèmes d'ordonnancement en présence de tâches-couplées sur un mono-processeur. Ces problèmes sont motivés par la modélisation d'un problème de robotique portant sur une torpille sous-marine d'exploration. Cette torpille a pour objectif d'exécuter deux types de tâches : celles d'acquisition et celles de traitement. Les tâches d'acquisition sont semblables à des tâches-couplées, et les tâches de traitement sont des tâches classiques. La torpille utilise différents capteurs pour réaliser les acquisitions, certains capteurs ne peuvent pas être utilisés en même temps pour cause d'interférences. Nous introduisons donc un graphe de compatibilité permettant de représenter les tâches d'acquisition pouvant avoir leurs exécutions qui se chevauchent. La torpille possède un monoprocesseur embarqué permettant d'exécuter toutes la tâches. La première partie de nos travaux s'intéresse à la modélisation du problème, aux différentes tâches utilisées et aux contraintes qui leur sont appliquées. Nous mettons en avant l'impact de la contrainte de compatibilité, nous forçant à utiliser la théorie des graphes pour analyser nos problèmes. Enfin, nous finissons cette partie avec un état de l'art sur les différents résultats portant sur l'ordonnancement de tâches-couplées sur mono-processeur, et sur des problèmes de recouvrement de sommets dans des graphes. Dans une seconde partie, nous donnons la classification des problèmes possibles en faisant varier les paramètres des tâches-couplées. Nous donnons des preuves de complexité pour certains problèmes se trouvant à la limite entre la polynomialité et la NP-complétude selon les valeurs des paramètres. Pour chaque problème NP-complet, nous proposons des algorithmes d'approximation en temps polynomial et analysons les bornes obtenues selon les paramètres ou les topologies du graphe de compatibilité. L'ensemble des résultats est décomposé en trois chapitres prenant chacun en compte l'introduction d'une contrainte (d'incompatibilité et/ou de précédence). Tout au long de cette partie nous cherchons à montrer l'impact de l'introduction de la contrainte d'incompatibilité sur la complexité des problèmes d'ordonnancement avec tâches-couplées, à travers les preuves de NP-complétude et les techniques employées pour résoudre ou approximer un problème.

Au cours de ces dernières années, les problèmes d'ordonnancement flexible ont largement attiré l'attention des chercheurs dans le domaine de la recherche opérationnelle. Ces problèmes présentent une difficulté supplémentaire du fait qu'une opération peut être exécutée par une ou plusieurs ressources devant être choisie(s) parmi d'autres candidates. L'objectif étant alors d'affecter et de séquencer les opérations sur les ressources en minimisant la durée d'exécution totale ou makespan. Dans cette étude, nous proposons de résoudre trois types de problèmes d'ordonnancement flexible : le flow shop hybride à plusieurs étages, à deux étages et le job shop flexible, en utilisant les méthodes arborescentes à base de divergences. Une étude expérimentale exhaustive a prouvé l'efficacité des différentes approches proposées pour les différents types de problèmes.

Dans ce travail de thèse, nous avons étudié deux types de problèmes d'ordonnancement. La majeure partie concerne le problème d'ordonnancement de projet à moyens limités (RCPSP). Le problème d'ordonnancement des opérations de manutention dans un entrepôt de transbordement ("crossdocking") est également traité avec une moindre importance. Dans une première partie (la plus étendue), nous abordons le RCPSP. À partir de modélisations utilisant la programmation linéaire en nombres entiers, nous avons proposé deux nouvelles formulations de ce problème, utilisant des variables indicées par des événements. Dans l'une d'entre elles, on utilise une variable binaire pour marquer le début de l'exécution de chaque activité et une autre variable pour marquer sa fin. Dans la seconde proposition, une seule variable est utilisée. Elle identifie les événements après lesquels l'activité reste en cours ou débute son exécution. De façon générale, comparées à d'autres modèles de la littérature sur divers types d'instances, nos propositions affichent des résultats plus intéressants sur les instances contenant des activités aux durées disparates et associées à de longs horizons d'ordonnancement. En particulier, sur ces mêmes types d'instances mais hautement cumulatives (caractéristiques de base du RCPSP), elles sont également les plus performantes. Nous avons également abordé la résolution d'une extension du RCPSP consistant à prendre en compte des ressources particulières, qui peuvent être consommées en début d'exécution de chaque activité, mais aussi produites à leur fin : il s'agit du RCPSP avec consommation et production de ressources. Afin d'effectuer une comparaison expérimentale entre différents modèles, nous avons proposé une adaptation de nos formulations basées événements, des formulations à temps discret de Pritsker et de Christofides, et de la formulation à temps continu basée sur les flots (proposé par Artigues sur la base des travaux de Balas). Globalement, les résultats mon trent que nos formulations basées événements obtiennent les meilleurs résultats sur bon nombre de types d'instances. Dans la seconde partie (plus réduite), nous avons également proposé un branch-and-bound utilisant des coupes basées sur la frontière de Pareto, pour la résolution du problème d'ordonnancement des opérations de manutention au sein d'un entrepôt de transbordement ("crossdocking"). Les excellents résultats obtenus ont renforcé nos interrogations sur la complexité non-prouvée de ce problème, et ont permis d'établir par la suite que le problème est de complexité polynomiale.

Les réseaux maillés sans fil sont une solution efficace, de plus en plus mise en œuvre en tant qu'infrastructure, pour interconnecter les stations d'accès des réseaux radio. Ces réseaux doivent absorber une croissance très forte du trafic généré par les terminaux de nouvelle génération. Cependant, l'augmentation du prix de l'énergie, ainsi que les préoccupations écologiques et sanitaires, poussent à s'intéresser à la minimisation de la consommation énergétique de ces réseaux. Ces travaux de thèse s'inscrivent dans les problématiques d'optimisation de la capacité et de la minimisation de la consommation énergétique globale des réseaux radio maillés. Nous définissons la capacité d'un réseau comme la quantité de trafic que le réseau peut supporter par unité de temps. Ces travaux s'articulent autour de quatre axes. Tout d'abord, nous abordons le problème d'amélioration de la capacité des réseaux radio maillés de type WIFI où l'accès au médium radio se base sur le protocole d'accès CSMA/CA. Nous mettons en lumière, les facteurs déterminants qui impactent la capacité du réseau, et l'existence d'un goulot d'étranglement qui limite cette capacité du réseau. Ensuite, nous proposons une architecture de communication basée sur l'utilisation conjointe de CSMA/CA et de TDMA afin de résoudre ce problème de goulot d'étranglement. Dans la deuxième partie de cette thèse, nous nous intéressons aux réseaux maillés sans fil basés sur un partage des ressources temps-fréquence. Afin de calculer des bornes théoriques sur les performances du réseau, nous développons des modèles d'optimisation basés sur la programmation linéaire et la technique de génération de colonnes. Ces modèles d'optimisation intègrent un modèle d'interférence SINR avec contrôle de puissance continue et variation de taux de transmission. Ils permettent, en particulier, de calculer une configuration optimale du réseau qui maximise la capacité ou minimise la consommation d'énergie. Ensuite, dans le troisième axe de recherche, nous étudions en détail le compromis entre la capacité du réseau et la consommation énergétique. Nous mettons en évidence plusieurs résultats d'ingénierie nécessaires pour un fonctionnement optimal d'un réseau maillé sans fil. Enfin, nous nous focalisons sur les réseaux cellulaires hétérogènes. Nous proposons des outils d'optimisation calculant une configuration optimale des stations de base qui maximise la capacité du réseau avec une consommation efficace d'énergie. Ensuite, afin d'économiser l'énergie, nous proposons une heuristique calculant un ordonnancement des stations et leur mise en mode d'endormissement partiel selon deux stratégies différentes, nommées LAFS et MAFS.