Avec l'arrivée du Web 2.0, l'édition collaborative devient massive. Ce changement d'échelle met à mal les approches existantes qui n'ont pas été conçues pour une telle charge. Afin de répartir la charge, et ainsi, obtenir un plus grand passage à l'échelle, de nombreux systèmes utilisent une architecture dite pair-à-pair. Dans ces systèmes, les données sont répliquées sur plusieurs pairs et il est alors nécessaire de définir des algorithmes de réplication optimiste adaptés aux caractéristiques des réseaux pair-à-pair: la dynamicité, la symétrie et bien sûr le nombre massif d'utilisateurs et de données. De plus, ces systèmes étant des éditeurs collaboratifs, ils doivent vérifier le modèle de cohérence dit « CCI » (Causalité, Convergence et Intention).Dans ce manuscrit, nous proposons un modèle formel pour les systèmes d'édition collaborative qui nous permet de formaliser le modèle CCI. Dans ce modèle, nous proposons Logoot, un type de données répliqué commutatif (CRDT) pour les documents texte. Par la suite, nous définissons un mécanisme d'annulation générique pour les types de données CRDT. Nous appliquons notre mécanisme d'annulation sur Logoot pour obtenir un CRDT texte avec la fonctionnalité d'annulation appelée Logoot+. Nous proposons finalement une évaluation comparative des approches Logoot et Logoot+ à partir des modifications produites sur plus de 2000 pages de Wikipédia / With the arrival of Web 2.0, collaborative editing becomes massive. This scale change is undermining the existing approaches that were not designed for such a charge. To distribute the load, and thereby achieve greater scalability, many systems use an architecture known as peer-to-peer. In these systems, data is replicated on several peers and it is then necessary to define optimistic replication algorithms adapted to the characteristics of peer-to-peer: dynamicity, symmetry and of course the massive number of users and data. Moreover, these systems arecollaborative editors, they should check the model of consistency called "CCI" (Causality, Convergence and Intention).In this manuscript, we propose a formal model for collaborative editing systems that enables us to formalize the CCI model. In this model, we propose Logoot a commutative replicated data type (CRDT) for text documents. Subsequently, we define an undo mechanism for generic CRDT. We apply our undo mechanism on Logoot to get a CRDT text with the undo feature called Logoot+. We finally propose a comparative evaluation of approaches Logoot and Logoot+ from the changes produced over 2000 pages of Wikipedia

Ce mémoire propose un modèle de programmation distribuée basé sur la migration de processus pouvant communiquer à l’aide de canaux de communication. Ce travail cadre bien avec le contexte actuel où l’augmentation de la puissance de traitement passe par les processeurs multicoeurs et les systèmes distribués, qui permettent l’exécution de plusieurs processus en parallèle. L’étude de différentes algèbres de processus et langages de programmation permettant le parallélisme a tout d’abord permis de comparer leurs différentes caractéristiques. Suite à cette étude, nous présentons différents concepts nécessaires à la mise en place de notre modèle distribué par migration de processus, dans le cadre des langages objets qui imposent certaines contraintes. Finalement, l’implé- mentation de notre modèle à l’aide des fonctionnalités de Stackless Python permet de voir comment chacun des concepts a été mis en place. Cette implémentation se présente sous la forme d’une extension qui permet la transformation de programmes existants en programmes distribués.

Avec l'amélioration et la prolifération de la téléinformatique, les systèmes informatiques distribués connaissent un véritable essor dans l’industrie du logiciel. Un système distribué est un système pour lequel chaque composante est indépendante et souvent située à un endroit éloigné des autres composantes. Dans un tel système, les composantes communiquent entre elles pour échanger des informations, coordonner leurs actions, prendre des décisions collectives, etc. Cependant, dans ces systèmes, certaines problématiques subsistent ; comment représenter les informations, comment transmettre les informations et comment gérer la mise à jour de ces informations? Ce mémoire s’intéresse principalement à ces problèmes pour les systèmes distribués où les informations sont centralisées sur un serveur. Pour le cas qui nous intéresse, une partie seulement de ces informations est dupliquée dans les composantes et cette duplication peut ne pas être exacte. Ce mémoire porte sur le partage de connaissances entre les différentes composantes d’un tel système distribué. Nous détaillerons plus particulièrement le mode de représentation des connaissances, basé sur les graphes conceptuels, ainsi qu’une méthode d’indexation appliquée à ce mode de représentation des informations. Nous proposons une technique originale de gestion des mises à jour. Cette technique, basée sur une analyse statistique des mises à jour, permet d’appréhender et de maintenir à jour les informations entre les composantes du système et le serveur. Avec ces techniques, nous espérons diminuer l’utilisation de la bande passante ainsi que l’incohérence momentanée des informations chez les composantes du système. / With the improvement and the proliferation of teleinformatics, the distributed systems are widely used in the software industry. A distributed system is a system for which each component is independent and often located in a place away from the other components. In such system, components communicate with each other to exchange information, to coordinate their actions, to make group decisions, etc. However, in these systems, some problematic remain; how to represent information, how to transmit information and how to manage the update information? This study is mainly interested in these problematic of distributed systems where information is centralized on a server. For the case which interests us here, only a part of information is duplicated in the components and it may not be exact. This study is related to the way of sharing knowledge between components of such distributed system. We will more particularly detail the knowledge representation, based on conceptual graphs, as well as a method of indexing this knowledge representation. We proposed an original technique of management of the updates. This technique, based on a statistical analysis of the updates, makes it possible to perceive and maintain up to date the information between the components of the system and the server. With these techniques, we hope to decrease the use of the bandwidth as well as the temporary inconsistency of information between the components and the server.

Ce projet a été réalisé dans le cadre d’un partenariat entre Fujitsu Canada et Université Laval. Les besoins du projets ont été centrés sur une problématique d’affaire définie conjointement avec Fujitsu. Le projet consistait à classifier un corpus d’appels d’offres électroniques avec une approche orienté big data. L’objectif était d’identifier avec un très fort rappel les offres pertinentes au domaine d’affaire de l’entreprise. Après une séries d’expérimentations à petite échelle qui nous ont permise d’illustrer empiriquement (93% de rappel) l’efficacité de notre approche basé sur l’algorithme BNS (Bi-Normal Separation), nous avons implanté un système complet qui exploite l’infrastructure technologique big data Hadoop. Nos expérimentations sur le système complet démontrent qu’il est possible d’obtenir une performance de classification tout aussi efficace à grande échelle (91% de rappel) tout en exploitant les gains de performance rendus possible par l’architecture distribuée de Hadoop. / This project was completed as part of an innovation partnership with Fujitsu Canada and Université Laval. The needs and objectives of the project were centered on a business problem defined jointly with Fujitsu. Our project aimed to classify a corpus of electronic public tenders based on state of the art Hadoop big data technology. The objective was to identify with high recall public tenders relevant to the IT services business of Fujitsu Canada. A small scale prototype based on the BNS algorithm (Bi-Normal Separation) was empirically shown to classify with high recall (93%) the public tender corpus. The prototype was then re-implemented on a full scale Hadoop cluster using Apache Pig for the data preparation pipeline and using Apache Mahout for classification. Our experimentation show that the large scale system not only maintains high recall (91%) on the classification task, but can readily take advantage of the massive scalability gains made possible by Hadoop’s distributed architecture.

Cette thèse vise à développer des stratégies permettant d'augmenter la puissance du calcul séquentiel et des systèmes distribués, elle traite en particulier, la décomposition séquentielle des opérations ainsi que des systèmes d'édition collaboratifs décentralisés. Nous introduisons, une méthode d'indexage avec précision contrôlée. Celle-ci permet la génération d'identifiants uniques utilisés dans l'indexage des communications dans les systèmes distribués, plus particulièrement dans les systèmes d'édition collaboratifs décentralisés. Ces identifiants sont des nombres réels avec un motif de précision contrôlé. Un ensemble fini d'identifiants est conservé pour permettre le calcul de cardinalités locales et globales. Cette propriété joue un rôle prépondérant dans la gestion des communications indexées. De plus, d'autres propriétés incluant la préservation de l'ordre sont observées. La méthode d'indexage a été testée et vérifiée avec succès. Ceci a permis la conception d'un système d'édition collaboratif décentralisé. Aussi, nous explorons les stratégies existantes, relatives a la décomposition séquentielle d'opérations, que nous étendons à de nouvelles stratégies. Ces stratégies mènent à une optimisation (processeur, compilateur, mémoire, code). Ces styles de décomposition portent un intérêt majeur à la communauté scientifique. Des recherches et des implémentations de plus en plus rapides résultent de la conception d'unité arithmétique. / This thesis aims at developing strategies to enhance the power of sequential computation and distributed systems, particularly, it deals with sequential break down of operations and decentralized collaborative editing systems. In this thesis, we introduced precision control indexing method that generates unique identifiers which are used for indexed communication in distributed systems, particularly, in decentralized collaborative editing systems. These identifiers are still real numbers with a specific controlled pattern of precision. Set of identifiers is kept finite that makes it possible to compute local as well as global cardinality. This property plays important role in dealing with indexed communication. Besides this, some other properties including order preservation are observed. The indexing method is tested and verified by experimentation successfully and it leads to design decentralized collaborative editing system. Dealing with sequential break down of operations, we explore limitations of the existing strategies, extended the idea by introducing new strategies. These strategies lead towards optimization (processor, compiler, memory, code). This style of decomposition attracts research communities for further investigation and practical implementation that could lead towards designing an arithmetic unit.

Nous présentons dans cette thèse une étude sur des<br />algorithmes distribués asynchrones et déterministes de<br />contröle. Un système distribué consiste en un réseau<br />de sites (processeurs, ordinateurs ou réseaux locaux). Dans cette<br />thèse, nous ne considérons que des réseaux de sites<br />communicants n'ayant ni mémoire partagée ni horloge globale.<br />De nombreux problèmes de l'algorithmique distribuée sont<br />réductibles à la construction d'un Arbre Couvrant qui est la<br />structure de contrôle qui nous intéresse.<br /><br />Nous étudions deux types d'algorithmes~: ceux utilisant<br />la notion de phase logique et les autres qui ne considèrent aucun<br />mécanisme de synchronisation. Ces derniers ont des comportements<br />imprévisibles améliorant la tolérance aux fautes. Nous<br />présentons un nouvel algorithme de ce type associé à une<br />élection qui n'est pas une recherche d'extremum contrairement<br />à l'usage. Cet algorithme est comparable au meilleur<br />algorithme connu qui utilise des jetons et des phases logiques<br />induisant un comportement plus "séquentiel".<br /><br />D'autres algorithmes, construisant des AC contraints, sont<br />considérés. En particulier l'AC de Diamètre Minimum qui<br />est, à notre connaissance, un problème qui n'a jamais<br />été étudié dans ce domaine. Le diamètre d'un<br />graphe est la somme des poids des arêtes du plus long des plus<br />courts chemins. Si nous considérons la complexité temporelle,<br />cette contrainte est d'un intérêt &vident. Nous proposons<br />différents algorithmes suivant que la tolérance aux fautes est<br />nécessaire ou non.<br /><br />Finalement, l'étude pratique des algorithmes distribués sur<br />des réseaux de grande taille nous a conduit à la construction<br />d'un simulateur. Il permet l'exécution d'un même code source<br />sur des machines séquentielles ou parallèles.

Avec l'arrivée du Web 2.0, l'édition collaborative devient massive. Ce changement d'échelle met à mal les approches existantes qui n'ont pas été conçues pour une telle charge. Afin de répartir la charge, et ainsi, obtenir un plus grand passage à l'échelle, de nombreux systèmes utilisent une architecture dite pair-à-pair. Dans ces systèmes, les données sont répliquées sur plusieurs pairs et il est alors nécessaire de définir des algorithmes de réplication optimiste adaptés aux caractéristiques des réseaux pair-à-pair: la dynamicité, la symétrie et bien sûr le nombre massif d'utilisateurs et de données. De plus, ces systèmes étant des éditeurs collaboratifs, ils doivent vérifier le modèle de cohérence dit <> (Causalité, Convergence et Intention). Dans ce manuscrit, nous proposons un modèle formel pour les systèmes d'édition collaborative qui nous permet de formaliser le modèle CCI. Dans ce modèle, nous proposons Logoot, un type de données répliqué commutatif (CRDT) pour les documents texte. Par la suite, nous définissons un mécanisme d'annulation générique pour les types de données CRDT. Nous appliquons notre mécanisme d'annulation sur Logoot pour obtenir un CRDT texte avec la fonctionnalité d'annulation appelée Logoot+. Nous proposons finalement une évaluation comparative des approches Logoot et Logoot+ à partir des modifications produites sur plus de 2000 pages de Wikipédia.

CE MEMOIRE EST CONSACRE A LA CONCEPTION D'UN SUPPORT DE COMMUNICATION SUR DE FONCTIONNEMENT, A TEMPS D'ACCES BORNE ET FAIBLE, POUR SYSTEMES DISTRIBUES DE SURVEILLANCE ET SECURITE. L'ANALYSE EFFECTUEE CONDUIT A UNE APPROCHE PAR DOUBLE DECOMPOSITION INTEGRANT LA VALIDATION PROGRESSIVE DES CHOIX: LA CONCEPTION EST MENEE PAR AFFINEMENTS SUCCESSIFS, CONJOINTEMENT SUR PLUSIEURS NIVEAUX D'ABSTRACTION AFIN DE PRENDRE EN COMPTE L'ENSEMBLE DES CONTRAINTES ET DE LEURS INTERACTIONS

La charge de traitement de la compression vidéo est généralement assurée au niveau de l’émetteur dans les standards conventionnels de codage vidéo (MPEG, H.263, H.264/AVC [1]). Ce choix est dû au fait que l’émetteur dispose d’une connaissance totale de la source lui permettant d’assurer facilement et efficacement la compression. En outre, les applications habituelles de la transmission vidéo assurent un flux d’une station centralisée, disposant d’une capacité calculatoire élevée, vers un certain nombre de récepteurs. La charge de compression est ainsi effectuée une seule fois par une station adaptée à ce fait. Avec l’accroissement de l’interactivité de la téléphonie mobile, les abonnés sont en mesure d’émettre des séquences vidéo autant que d’en recevoir. Le flux vidéo est alors généré par le téléphone mobile à capacité limitée vers une station de base à capacité élevée. La compression ne peut se faire selon le schéma conventionnel et la complexité de la compression doit être transférée au décodeur. Les résultats théoriques de Slepian-Wolf [2] et leur extension par les travaux de Wyner-Ziv [3] pour le cas de codage avec perte et en présence d’information latérale constituent les bases théoriques du codage de sources distribuées. Ces résultats théoriques ont donné naissance à un vaste champ d’applications comme le récent paradigme de codage vidéo distribué, établi il y a juste quelques années. Dans cette thèse de doctorat, on présente une étude des divers systèmes de codage vidéo distribué dans le domaine pixel et dans le domaine transformé. Le décodeur exploite la corrélation entre la séquence à transmettre par le codeur et l’information latérale dont il dispose. Cette corrélation se traduit par un canal virtuel dont l’entrée est la trame à transmettre et la sortie est l’information latérale. Un code turbo est utilisé pour générer des bits de parité envoyés progressivement sous la demande du décodeur, pour corriger les erreurs de l’information latérale qui constitue une version bruitée de la trame originale. Dans ce travail, on implémente différents algorithmes de codage vidéo distribué basés sur les turbocodes dans le but de s’approcher des performances de la compression vidéo conventionnelle. / Most of the video compression processing is usually performed at the transmitter in the conventional video coding standards (MPEG, H.263, H.264/AVC [1]). This choice is due to the fact that the transmitter has full knowledge of its source to ensure easy and efficient compression. In addition, the usual applications of video transmission ensure a flow from a centralized station, with a higher computational capacity, to a number of receivers. The compression task is thus performed only once by a computationally adapted station. However, with the emergence of wireless surveillance locally distributed cameras, the growth of cellular interactive video applications as well as many other applications involving several low cost video encoders at the expense of high complexity central decoder, the compression task can no longer be handled by the encoder and thus the compression complexity should be transferred to the decoder. Slepian and Wolf information theoretical result on lossless coding for correlated distributed sources [2] and its extension to the lossy source coding case with side information at the decoder, as introduced by Wyner and Ziv [3], constitute the theoretical basis of distributed source coding. These theoretical concepts have given birth to a wide field of applications as the recent distributed video coding paradigm, established a few years ago. In this doctoral thesis, we present a study of various distributed video coding schemes in the pixel and transform domains. The decoder exploits the correlation between the video sequence to be transmitted by the encoder and the side information. This correlation can be seen as a virtual channel whose input is the frame to be transmitted and the output is the side information. Turbo coding is used to generate the parity bits which are sent, gradually upon decoder requests, to correct the errors in the side information considered as a noisy version of the original frame. In this work, we implement various algorithms for distributed video coding based on turbo codes in order to approach the efficiency of conventional video encoders.

Récemment, les systèmes distribués sont devenus une catégorie fondamentale de systèmes informatiques. Par conséquent, leur sécurité est devenue essentielle. La recherche décrite dans ce document vise à apporter un éclaircissement sur leurs vulnérabilités quant à la sécurité. Pour ce faire, on a examiné les propriétés de sécurité qu'un système distribué considéré sécuritaire doit supporter. En cherchant un système avec lequel travailler, on a étudié des failles de sécurité des systèmes distribués existants. On a étudié la sécurité de Java et des outils utilisés pour sécuriser ces systèmes. Suite à ces recherches, un nouveau modèle de sécurité Java imposant de nouvelles propriétés de sécurité a été développé. Ce document commence par les résultats de notre recherche sur les systèmes distribués, les outils de sécurité, et la sécurité de Java. Ensuite, on décrit les détails du nouveau système pour finalement faire la démonstration des améliorations qu'apporte ce système avec un exemple. / Recently, distributed systems have become a fundamental type of computer system. Because of this, their security is essential. The research described in this document aimed to find their weaknesses and to find the means to improve them with regards to their security. To do that, we examined the security properties that a system considered secure must support. While looking for a system with which we could work, we studied security problems in existing distributed systems. We studied the security of Java and some tools used to secure these systems. Following our research, we developed a new Java security model, which imposed new security properties. This document begins with the results of our research in distributed systems, security tools, and Java security. Next, we go into detail about our new system to finally demonstrate the security enhancements of our system using an example.