Reproduction de : Mémoire d'ingénieur : informatique : Grenoble, CNAM : 1985. / Titre provenant de l'écran-titre.

Nous avons participé à la conception et réalisé en partie une gestion de fichiers pour le système CP+/CMS+ CHI) basée sur un emploi systématique des mécanismes de pagination.<br /><br />Cette gestion de fichiers est construite sous forme de niveaux indépendants qui, partant de l'espace physique disponible le structure en espaces logiques multiples. On a fait disparaître dès les premiers niveaux les caractéristiques des unités physiques. La structure d'un fichier se présente sous la forme d'une vaste mémoire virtuelle pouvant en général résider sur des unités physiques multiples et de types différents. Comme la capacité d'adressage de la machine. employée (24 bits sur le 360/67) est insuffisante pour pouvoir ranger un fichier dans une mémoire virtuelle gérée par hardware, nous avons introduit un mécanisme de fenêtre pour accéder â un sous ensemble d'un fichier.

De nombreuses applications scientifiques utilisent et génèrent d'énormes quantités de données. Ces applications qui exploitent des modèles d'accès parallèles spécifiques (principalement des accès disjoints) sont souvent pénalisées par des systèmes de stockage inadaptés. Pour éviter les dégradations de performances, les bibliothèques d'Entrées/Sorties parallèles telles que ROMIO sont généralement utilisées pour agréger les petites requêtes séparées en de plus grosses contiguës habituellement plus performantes. Toutefois, les optimisations apportées pour un programme ne tiennent pas compte de l'ensemble des interactions avec d'autres applications s'exécutant en concurrence sur la grappe. La conséquence est que ces routines spécifiques visant à optimiser les accès d'une application vont s'avérer inutiles, car leur effet va être perturbé par les autres applications !<br /><br />Ce document décrit une nouvelle approche, appelée aIOLi, permettant le<br />contrôle, le réordonnancement et la régulation de l'ensemble des interactions générées par les différentes applications s'exécutant simultanément sur une grappe et ce, en s'appuyant uniquement sur l'interface POSIX.<br /><br />Dans un tel contexte, la performance, l'interactivité et l'équité sont des critères pour lesquels il est important de trouver un bon compromis. Pour y parvenir, une stratégie d'ordonnancement globale prenant en compte également les problématiques d'Entrées/Sorties parallèles locales aux applications a été définie. Le service aIOLi consiste en un support d'ordonnancement générique pouvant être rattaché à différentes parties d'un système de fichiers. L'exécution concurrente de jeux de tests IOR sur un serveur NFS traditionnel ont montré des améliorations particulièrement significatives pour les accès en lecture en comparaison aux performances pouvant être atteintes avec les routines POSIX ou MPI I/O.

Cette thèse est consacrée au traitement des données manquantes. Des méthodes descriptives (analyse en composantes principales, analyse des correspondances dont analyse homogène et la classification automatique) sont étudiées dans le cadre des données incomplètes. La seconde partie est consacrée à des problèmes de fusion de fichiers et analyses homogène y est introduite.

Avec l'avènement du cloud computing, la virtualisation est devenue aujourd'hui incontournable. Elle offre isolation et flexibilité, en revanche elle implique une fragmentation des ressources, et notamment de la mémoire. Les performances des applications qui effectuent beaucoup d'entrées/sorties (E/S) en sont particulièrement impactées. En effet, celles-ci reposent en grande partie sur la présence de mémoire libre, utilisée par le système pour faire du cache et ainsi accélérer les E/S. Ajuster dynamiquement les ressources d'une machine virtuelle devient donc un enjeu majeur. Dans cette thèse nous nous intéressons à ce problème, et nous proposons Puma, un cache réparti permettant de mutualiser la mémoire inutilisée des machines virtuelles pour améliorer les performances des applications qui effectuent beaucoup d'E/S. Contrairement aux solutions existantes, notre approche noyau permet à Puma de fonctionner avec les applications sans adaptation ni système de fichiers spécifique. Nous proposons plusieurs métriques, reposant sur des mécanismes existants du noyau Linux, qui permettent de définir le niveau d'activité « cache » du système. Ces métriques sont utilisées par Puma pour automatiser le niveau de contribution d'un noeud au cache réparti. Nos évaluations de Puma montrent qu'il est capable d'améliorer significativement les performances d'applications qui effectuent beaucoup d'E/S et de s'adapter dynamiquement afin de ne pas dégrader leurs performances. / With the advent of cloud architectures, virtualization has become a key mechanism for ensuring isolation and flexibility. However, a drawback of using virtual machines (VMs) is the fragmentation of physical resources. As operating systems leverage free memory for I/O caching, memory fragmentation is particularly problematic for I/O-intensive applications, which suffer a significant performance drop. In this context, providing the ability to dynamically adjust the resources allocated among the VMs is a primary concern.To address this issue, this thesis proposes a distributed cache mechanism called Puma. Puma pools together the free memory left unused by VMs: it enables a VM to entrust clean page-cache pages to other VMs. Puma extends the Linux kernel page cache, and thus remains transparent, to both applications and the rest of the operating system. Puma adjusts itself dynamically to the caching activity of a VM, which Puma evaluates by means of metrics derived from existing Linux kernel memory management mechanisms. Our experiments show that Puma significantly improves the performance of I/O-intensive applications and that it adapts well to dynamically changing conditions.

Les systèmes de fichiers géo-distribués souffrent de latences élevées et de partitions réseau. À cause de cela, et pour assurer une haute disponibilité, de tels systèmes effectuent généralement des mises à jour localement, sans latence, et les propagent ensuite en arrière-plan. Cette réplication optimiste est confrontée à deux défis majeurs : (i) détecter les conflits entre les mises à jour simultanées et les résoudre d'une manière significative pour les utilisateurs, tout en maintenant les invariants d'intégrité du système; et (ii) la prise en charge d'applications qui n'ont pas été conçues pour gérer les anomalies de concurrence. Les systèmes de fichiers géo-distribués optimistes existants ne permettent pas de relever ces défis. Par exemple, Dropbox ne supporte pas les liens matériels. Le système de fichiers AndrewFS échoue sur certains changements de noms de répertoires; et tous les systèmes existants utilisent la résolution automatique des conflits qui viole la sémantique POSIX. Nous présentons notre solution aux problèmes posés ci-dessus dans la conception et la mise en œuvre d'un prototype de système de fichiers géo-distribué, nommé Tofu. Sa conception inclut une nouvelle abstraction de session pour prendre en charge l'API, tout en permettant des mises à jour optimistes. Il est capable de détecter tous les conflits sur ces structures de données et de les résoudre d'une façon que nous pensons que les utilisateurs trouveront raisonnable. Les expériences montrent que Tofu est hautement évolutif et qu'il entraîne des surcoûts linéaires, améliorant ainsi les systèmes académiques et industriels existants. / Geo-distributed file systems suffer from high latency and network partitions. Because of this, and to ensure high availability, such systems typically commit updates locally, with no latency, and propagate them in the background. Such optimistic replication faces two major challenges: (i) detecting conflicts between concurrent updates and resolving them in a way meaningful for users, while maintaining system integrity invariants; and (ii) supporting legacy applications that are not prepared to deal with concurrency anomalies. Existing optimistic geo-distributed file systems fall short of addressing the challenges. For instance, Dropbox does not support hard links; Andrew File System fails on some concurrent renaming of directories; and all existing systems use automatic conflict resolution that violates the legacy POSIX semantics. We present our solution to the above problems in the design and implementation of a prototype geo-distributed file system, named Tofu. Its design includes a new session abstraction to support the legacy API, while allowing optimistic updates. Unlike previous approaches, our solution is based on a formal model covering all aspects of a Unix-like file system, including directories, inodes, hard links, etc. It is able to detect all conflicts on those data structures, and resolves them in a way that we believe users will find generally reasonable. Experiments show that Tofu is highly scalable, and incurs linear overhead, improving over existing academic and industrial systems.

Habituellement, plus le développement d'un logiciel est avancé plus il est dispen- dieux de le modifier. Par conséquent, une approche permettant de simplifier l'étape de maintenance permettrait de réduire considérablement le coût lié au développement de programmes. Le langage déclaratif de la méthodologie Lyee permet justement de simplifier la maintenance de programmes. Cependant, les programmes existants écrits dans un langage impératif doivent être traduits pour être utilisés par celle-ci. Ainsi, dans ce travail, nous proposons une fonction de conversion de programmes écrits dans un langage impératif avec des tableaux et entrées/sorties vers un langage déclaratif. Il s'agit d'une extension de langages L1 et L2 existants qui supportaient déjà les expres- sions arithmétiques et booléennes ainsi que les affectations, les boucles et les instructions conditionnelles. Le travail effectué a donc été d'ajouter les tableaux et les entrées/sorties dans ces langages et d'ajuster la fonction de traduction en conséquent. Aussi, une im- plantation d'une interface de développement permettant de spécifier des programmes dans un langage déclaratif simple à utiliser a été produite.

Le stockage de données utilise souvent des systèmes se caractérisant par une grande intrusivité : ceux-ci requièrent de nombreuses modifications logicielles, voire parfois même matérielles, pour être déployés et utilisés. Notre solution consiste à offrir un stockage distribué logiciel pour architectures de type grappes de nature faiblement intrusive dans la mesure où le protocole standard omni-présent du monde Unix, NFS, est utilisé. L'approche retenue se caractérise par une séparation de la gestion des méta-données et des données permettant ainsi de répartir la charge d'entrées/sorties et d'obtenir de meilleures performances. L'ajout de redondance permet aussi de disposer à moindre coût de stockage distribué encore plus performant et plus sûr. Le développement d'outils de transfert efficace inter-grappes et d'un système distribué de fichiers à plus grande échelle a permis de valider notre approche.

Cette thèse porte sur l'étude des problèmes posés par l'implémentation d'un système de fichiers passant à l'échelle, pour un noyau de type UNIX sur une architecture manycore NUMA à cohérence de cache matérielle et à faible empreinte énergétique. Pour cette étude, nous prenons comme référence l'architecture manycore généraliste TSAR et le noyau de type UNIX ALMOS.L'architecture manycore visée pose trois problèmes pour lesquels nous apportons des réponses après avoir décrit les solutions existantes. L'un de ces problèmes est spécifique à l'architecture TSAR tandis que les deux autres sont généraux.Le premier problème concerne le support d'une mémoire physique plus grande que la mémoire virtuelle. Ceci est dû à l'espace d'adressage physique étendu de TSAR, lequel est 256 fois plus grand que l'espace d'adressage virtuel. Pour résoudre ce problème, nous avons profondément modifié la structure noyau pour le décomposer en plusieurs instances communicantes. La communication se fait alors principalement par passage de messages.Le deuxième problème concerne la stratégie de placement des structures du système de fichiers sur les nombreux bancs de mémoire. Pour résoudre ce problème nous avons implémenté une stratégie de distribution uniforme des données sur les différents bancs de mémoire.Le troisième problème concerne la synchronisation des accès concurrents. Pour résoudre ce problème, nous avons mis au point un mécanisme de synchronisation utilisant plusieurs mécanismes. En particulier, nous avons conçu un mécanisme lock-free efficace pour synchroniser les accès faits par plusieurs lecteurs et un écrivain. Les résultats expérimentaux montrent que : (1) l'utilisation d'une structure composée de plusieurs instances communicantes ne dégrade pas les performances du noyau et peut même les augmenter ; (2) l'ensemble des solutions utilisées permettent d'avoir des résultats qui passent mieux à l'échelle que le noyau NetBSD ; (3) la stratégie de placement la plus adaptée aux systèmes de fichiers pour les architectures manycore est celle distribuant uniformément les données. / In this thesis we study the problems of implementing a UNIX-like scalable file system on a hardware cache coherent NUMA manycore architecture. To this end, we use the TSAR manycore architecture and ALMOS, a UNIX-like operating system.The TSAR architecture presents, from the operating system point of view, three problems to which we offer a set of solutions. One of these problems is specific to the TSAR architecture while the others are common to existing coherent NUMA manycore.The first problem concerns the support of a physical memory that is larger than the virtual memory. This is due to the extended physical address space of TSAR, which is 256 times bigger than the virtual address space. To resolve this problem, we modified the structure of the kernel to decompose it into multiple communicating units.The second problem is the placement strategy to be used on the file system structures. To solve this problem, we implemented a strategy that evenly distributes the data on the different memory banks.The third problem is the synchronization of concurrent accesses to the file system. Our solution to resolve this problem uses multiple mechanisms. In particular, the solution uses an efficient lock-free mechanism that we designed, which synchronizes the accesses between several readers and a single writer.Experimental results show that: (1) structuring the kernel into multiple units does not deteriorate the performance and may even improve them; (2) our set of solutions allow us to give performances that scale better than NetBSD; (3) the placement strategy which distributes evenly the data is the most adapted for manycore architectures.

Titre de l'écran-titre (visionné le 1er novembre 2023) / Un dossier de santé électronique rassemble des informations médicales relatives à une personne, telles que les médicaments, les antécédents médicaux, les allergies, les tests médicaux, le statut vaccinal, les radiographies, les signes vitaux, l'âge et le poids, entre autres. Ces données sont stockées numériquement et partagées lorsque nécessaire. Cependant, maintenir la confidentialité et l'intégrité des données, ainsi que leur échange dans un environnement sécurisé et fiable, représente un défi majeur dans le domaine des dossiers médicaux. La blockchain, en tant que réseau distribué hautement sécurisé, offre une technologie révolutionnaire pour le secteur de la santé. Grâce à sa nature immuable, elle permet le partage sécurisé des données médicales. Dans ce mémoire, nous expliquerons comment les dossiers médicaux des patients sont cryptés et stockés dans une mémoire décentralisée. En utilisant la technologie de la blockchain, nous fournissons un accès sécurisé aux données, basé sur les attributs spécifiques des données, tout en maintenant la confidentialité sur une plate-forme évolutive. Nous sommes arrivés à la conclusion que l'utilisation de la blockchain avec une mémoire de stockage décentralisée peut augmenter considérablement le niveau de sécurité. En utilisant cette méthode, l'accès aux données médicales est assuré en cas d'urgence et les chercheurs peuvent accéder aux données des patients de manière anonyme pour mener leurs recherches. Le contrôle du partage des données est entre les mains du patient et, si celui-ci donne son autorisation, les prestataires de soins de santé peuvent accéder à ses données. Dans l'ensemble, nous avons proposé un environnement de partage de données sûr et très efficace. / An electronic health record collects medical information about a person, such as medications, medical history, allergies, medical tests, vaccination status, x-rays, vital signs, age and weight, among others . This data is stored digitally and shared when necessary. However, maintaining the confidentiality and integrity of data, as well as their exchange in a secure and reliable environment, represents a major challenge in the eld of medical records. Blockchain, as a highly secure distributed network, offers a revolutionary technology for the healthcare sector. Thanks to its immutable nature, it allows the secure sharing of medical data. In this research report, we will explain how patient medical records are encrypted and stored in a decentralized memory. Using blockchain technology, we provide secure access to data, based on specific data attributes, while maintaining privacy on a scalable platform. We have come to the conclusion that using blockchain with decentralized storage can significantly increase the level of security. Using this method, access to medical data is ensured in case of emergency and researchers can access patient data anonymously to conduct their research. Control over data sharing is in the hands of the patient and, if the patient gives permission, healthcare providers can access their data. Overall, we provided a secure and very efficient data sharing environment.