La démocratie représentative souffre de nombreuses lacunes qui remettent en question la légitimité même des gouvernements démocratiques modernes. Tandis que la représentation directe pourrait théoriquement éliminer ces incongruités, elle a jusqu'à présent été considérée comme irréalisable en raison de limitations spatio-temporelles. Cette thèse adresse ces problèmes en introduisant le concept de Démocratie Internet - distinct de l’e-démocratie et de l’e-gouvernement existant. La Démocratie Internet consiste à cerner la représentation démocratique de telle manière qu’elle puisse être opérationnalisée par le biais de l’informatique. Pour ce faire, cette thèse remonte d'abord aux problèmes de la démocratie et de la représentation indirecte dans ses principes premiers, et propose une nouvelle approche (structurelle symbiotique) à l'application de l'Internet pour la démocratie. Ensuite, elle montre que la Démocratie Internet peut fonctionner grâce à l'analyse des données collectées passivement sur l'accès et la production de l’information. Enfin, elle offre de nombreuses contributions à l’informatique, qui jusqu’alors était limitée dans la précision de l'analyse des sentiments. La thèse développe une Proposition d’Opinion Asymétrique (AOP) et l’applique à un nouveau concept de ‘Espace des Sentiments’; elle développe également la première base de données assez nuancée pour l'analyse des sentiments; et elle utilise l'Espace de Sentiment afin de développer la méthode de calcul originale «Split-Fit » qui accroît la précision de l’apprentissage automatique. / Representative democracy suffers from numerous shortcomings that are so significant they bring into question the very legitimacy of modern democratic governments. While direct representation might theoretically eliminate these multiple defects, it has until now been considered unworkable due to limitations of space and of time. This thesis addresses these deficiencies by introducing Internet Democracy, which is distinct from existing e-democracy and e-government. Internet Democracy is an operational, computational formulation of democratic representation. To support this contribution, this thesis first derives the problems of democracy and indirect representation from first principles. It then proposes a new approach (the symbiotic structural approach) which applies the Internet to democracy. It then supports the proposition that Internet Democracy can operate through the analysis of passively collected data on information access and on information production (for instance, using sentiment analysis). Finally, it makes numerous topical contributions to computer science based on the observation that sentiment analysis hits a ceiling of accuracy which cannot currently be transcended. These contributions range from suggesting an Asymmetric Opinion Proposition (AOP) and applying this to a Sentiment Space describing the computational structure of sentiment; developing the first extremely fine-grained dataset for sentiment analysis; and applying Sentiment Space to develop the original ‘Split-Fit’ computing method which increases the accuracy of machine learning based Sentiment Analysis.

Cette thèse par article comprend quatre articles qui contribuent au domaine de l'apprentissage profond, en particulier à l'accélération de l’apprentissage par le biais de réseaux à faible précision et à l'application de réseaux de neurones profonds au traitement du langage naturel. Dans le premier article, nous étudions un schéma d’entraînement de réseau de neurones qui élimine la plupart des multiplications en virgule flottante. Cette approche consiste à binariser ou à ternariser les poids dans la propagation en avant et à quantifier les états cachés dans la propagation arrière, ce qui convertit les multiplications en changements de signe et en décalages binaires. Les résultats expérimentaux sur des jeux de données de petite à moyenne taille montrent que cette approche produit des performances encore meilleures que l’approche standard de descente de gradient stochastique, ouvrant la voie à un entraînement des réseaux de neurones rapide et efficace au niveau du matériel. Dans le deuxième article, nous avons proposé un mécanisme structuré d’auto-attention d’enchâssement de phrases qui extrait des représentations interprétables de phrases sous forme matricielle. Nous démontrons des améliorations dans 3 tâches différentes: le profilage de l'auteur, la classification des sentiments et l'implication textuelle. Les résultats expérimentaux montrent que notre modèle génère un gain en performance significatif par rapport aux autres méthodes d’enchâssement de phrases dans les 3 tâches. Dans le troisième article, nous proposons un modèle hiérarchique avec graphe de calcul dynamique, pour les données séquentielles, qui apprend à construire un arbre lors de la lecture de la séquence. Le modèle apprend à créer des connexions de saut adaptatives, ce qui facilitent l'apprentissage des dépendances à long terme en construisant des cellules récurrentes de manière récursive. L’entraînement du réseau peut être fait soit par entraînement supervisée en donnant des structures d’arbres dorés, soit par apprentissage par renforcement. Nous proposons des expériences préliminaires dans 3 tâches différentes: une nouvelle tâche d'évaluation de l'expression mathématique (MEE), une tâche bien connue de la logique propositionnelle et des tâches de modélisation du langage. Les résultats expérimentaux montrent le potentiel de l'approche proposée. Dans le quatrième article, nous proposons une nouvelle méthode d’analyse par circonscription utilisant les réseaux de neurones. Le modèle prédit la structure de l'arbre d'analyse en prédisant un scalaire à valeur réelle, soit la distance syntaxique, pour chaque position de division dans la phrase d'entrée. L'ordre des valeurs relatives de ces distances syntaxiques détermine ensuite la structure de l'arbre d'analyse en spécifiant l'ordre dans lequel les points de division seront sélectionnés, en partitionnant l'entrée de manière récursive et descendante. L’approche proposée obtient une performance compétitive sur le jeu de données Penn Treebank et réalise l’état de l’art sur le jeu de données Chinese Treebank. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in the acceleration of training through low-precision networks, and the application of deep neural networks on natural language processing. In the first article, we investigate a neural network training scheme that eliminates most of the floating-point multiplications. This approach consists of binarizing or ternarizing the weights in the forward propagation and quantizing the hidden states in the backward propagation, which converts multiplications to sign changes and binary shifts. Experimental results on datasets from small to medium size show that this approach result in even better performance than standard stochastic gradient descent training, paving the way to fast, hardware-friendly training of neural networks. In the second article, we proposed a structured self-attentive sentence embedding that extracts interpretable sentence representations in matrix form. We demonstrate improvements on 3 different tasks: author profiling, sentiment classification and textual entailment. Experimental results show that our model yields a significant performance gain compared to other sentence embedding methods in all of the 3 tasks. In the third article, we propose a hierarchical model with dynamical computation graph for sequential data that learns to construct a tree while reading the sequence. The model learns to create adaptive skip-connections that ease the learning of long-term dependencies through constructing recurrent cells in a recursive manner. The training of the network can either be supervised training by giving golden tree structures, or through reinforcement learning. We provide preliminary experiments in 3 different tasks: a novel Math Expression Evaluation (MEE) task, a well-known propositional logic task, and language modelling tasks. Experimental results show the potential of the proposed approach. In the fourth article, we propose a novel constituency parsing method with neural networks. The model predicts the parse tree structure by predicting a real valued scalar, named syntactic distance, for each split position in the input sentence. The order of the relative values of these syntactic distances then determine the parse tree structure by specifying the order in which the split points will be selected, recursively partitioning the input, in a top-down fashion. Our proposed approach was demonstrated with competitive performance on Penn Treebank dataset, and the state-of-the-art performance on Chinese Treebank dataset.