再發事件資料常見於醫學、工業、財經、社會等等領域中，對再發資料分析研究時，我們往往無法確知再發事件發生的時間或是發生次數的分配。因此，本論文探討的是分析再發事件的無母數方法，包括Nelson提出的平均累積函數(mean cumulative function)估計量，及Wang、Chiang與Huang介紹的發生率(occurrence rate)之核函數(kernel function)估計量。 就平均累積函數估計量來說，藉由Nelson導出的變異數及自然(naive)變異數，可分別求得平均累積函數的區間估計。本文利用靴環法(bootstrap)計算出平均累積函數在不同時點的變異數，再與Nelson變異數及自然變異數比較，結果顯示Nelson變異數與靴環法算出的變異數較接近。因此，應依據Nelson變異數建構出事件發生累積次數之漸近信賴區間。 本論文亦介紹了兩個或多個母體的平均累積函數的比較方法，包含固定時點之比較與整條曲線之比較。在固定時點之下，比較方法分別為平均累積函數成對差異之漸近信賴區間及靴環信賴區間、變異數分析比較法，與排列檢定法；而整條曲線比較方法包含：類似 統計量、Lawless-Nadeau檢定。這些方法應用在本論文所採之實證資料時，所得到的檢定結論是一致的。 / Recurrent event data arise in many fields, such as medicine, industry, economics, social sciences and so on. When studying recurrent event data, we usually don’t know the exact joint or marginal distributions of the occurrence times or the number of events over time. So, in this article we talk about some nonparametric methods, such as the mean cumulative function (MCF) discussed by Nelson, and kernel estimation of the rate function introduced by Wang, Chiang and Huang. As to the estimator of MCF, we can compute the confidence interval by Nelson’s variance and naive variance. We use bootstrap method to compare the performance of Nelson variance of the estimated MCF and naive variance of the estimated MCF. The results show that Nelson variance is better than naive variance, so we should construct the confidence limits for the MCF by Nelson’s variance except when only grouped data are available. We also introduce methods for comparing MCFs, including pointwise comparison of MCFs and comparison of entire MCFs. Methods for pointwise comparing MCFs include approximate confidence limits for difference between two MCFs, analysis-of-variance comparison, permutation test, and bootstrap’s confidence limits for difference between two MCFs. Methods for comparing entire MCFs include a statistic like Hoetelling’s , and Lawless-Nadeau test. Finally, all approaches are employed to analyze a real data, and the conclusions concordance with each other.

La tesi si colloca nell'ambito di studi sulla fraseologia nell'inglese prodotto da apprendenti. Presenta uno studio empirico delle sequenze di parole più ricorrenti in un corpus di inglese prodotto da apprendenti di livello avanzato durante chat asincrone in contesto universitario italiano. Secondo la letteratura d'area, sia nella lingua scritta che in quella parlata, le sequenze di parole degli apprendenti rivelano una scarsa attenzione alla variazione del registro a seconda del mezzo di comunicazione usato. Al fine di verificare la presenza di questa caratteristica in un tipo di comunicazione che si trova in posizione intermedia tra i due poli del continuum esistente tra parlato e scritto, la presente ricerca ha analizzato quantitativamente e qualitativamente le sequenze di parole più frequenti nel corpus di comunicazioni mediate dal computer (CMC) raccolto nell'ambito della presente ricerca. Successivamente, le sequenze più frequenti sono state confrontate con quelle estratte da due corpora di interlingua inglese prodotta da apprendenti italofoni, uno di testi scritti (ICLE, Granger et al. 2002) e uno interviste orali (LINDSEI, Gilquin et al. 2010 ). Il confronto ha rivelato che le sequenze più ripetute dagli apprendenti hanno caratteristiche distintive nei vari media e supporta solo in parte i precedenti studi in materia. Ciò è probabilmente dovuto sia alle caratteristiche di informalità e immediatezza della comunicazione mediata dal computer, che ai vantaggi motivazionali e al diverso tipo di elaborazione linguistica connaturato alla CMC. Per l'apprendente la CMC non presenta la stessa pressione comunicativa del parlato e, allo stesso tempo, egli ha la possibilità di monitorare la propria produzione in quanto distanziata da sé dal mezzo elettronico. / The present dissertation contributes to studies of phraseology in learner English. It is an analysis of recurrent sequences of words in a corpus of learner Computer-mediated Communication. English, collected by means of asynchronous chats in an Italian university context. Previous research has argued that the use of recurrent word sequences plays a major role in learner English fluency both in writing and in speech, and is one of the factors behind learner English register failures. Using a corpus-driven approach, the study analyses the most frequent word sequences extracted from the specially compiled Learner Chat Corpus (LCC). To determine the level of adaptation of learner English to different registers, data regarding 3-word sequences from LCC is compared with the Italian subcomponents of a well-known corpus of learner writing (ICLE, Granger et al. 2002) and a corpus of learner speech (LINDSEI, Gilquin et al. 2010 ). The cross-corpus comparisons provide evidence that learners employ combinations which make their English suitable to the mode they are using for communication. Quantitative and qualitative findings from the present research support only in part previous studies of learner English in terms of recurrent sequences. This is probably due both to the informality and spoken-like quality of CMC, and to its motivational advantages and processing differences connected to the fact that learners can monitor their output while communicating because learner language production is distanced by the electronic means.

Cette thèse par article comprend quatre articles qui contribuent au domaine de l'apprentissage profond, en particulier à l'accélération de l’apprentissage par le biais de réseaux à faible précision et à l'application de réseaux de neurones profonds au traitement du langage naturel. Dans le premier article, nous étudions un schéma d’entraînement de réseau de neurones qui élimine la plupart des multiplications en virgule flottante. Cette approche consiste à binariser ou à ternariser les poids dans la propagation en avant et à quantifier les états cachés dans la propagation arrière, ce qui convertit les multiplications en changements de signe et en décalages binaires. Les résultats expérimentaux sur des jeux de données de petite à moyenne taille montrent que cette approche produit des performances encore meilleures que l’approche standard de descente de gradient stochastique, ouvrant la voie à un entraînement des réseaux de neurones rapide et efficace au niveau du matériel. Dans le deuxième article, nous avons proposé un mécanisme structuré d’auto-attention d’enchâssement de phrases qui extrait des représentations interprétables de phrases sous forme matricielle. Nous démontrons des améliorations dans 3 tâches différentes: le profilage de l'auteur, la classification des sentiments et l'implication textuelle. Les résultats expérimentaux montrent que notre modèle génère un gain en performance significatif par rapport aux autres méthodes d’enchâssement de phrases dans les 3 tâches. Dans le troisième article, nous proposons un modèle hiérarchique avec graphe de calcul dynamique, pour les données séquentielles, qui apprend à construire un arbre lors de la lecture de la séquence. Le modèle apprend à créer des connexions de saut adaptatives, ce qui facilitent l'apprentissage des dépendances à long terme en construisant des cellules récurrentes de manière récursive. L’entraînement du réseau peut être fait soit par entraînement supervisée en donnant des structures d’arbres dorés, soit par apprentissage par renforcement. Nous proposons des expériences préliminaires dans 3 tâches différentes: une nouvelle tâche d'évaluation de l'expression mathématique (MEE), une tâche bien connue de la logique propositionnelle et des tâches de modélisation du langage. Les résultats expérimentaux montrent le potentiel de l'approche proposée. Dans le quatrième article, nous proposons une nouvelle méthode d’analyse par circonscription utilisant les réseaux de neurones. Le modèle prédit la structure de l'arbre d'analyse en prédisant un scalaire à valeur réelle, soit la distance syntaxique, pour chaque position de division dans la phrase d'entrée. L'ordre des valeurs relatives de ces distances syntaxiques détermine ensuite la structure de l'arbre d'analyse en spécifiant l'ordre dans lequel les points de division seront sélectionnés, en partitionnant l'entrée de manière récursive et descendante. L’approche proposée obtient une performance compétitive sur le jeu de données Penn Treebank et réalise l’état de l’art sur le jeu de données Chinese Treebank. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in the acceleration of training through low-precision networks, and the application of deep neural networks on natural language processing. In the first article, we investigate a neural network training scheme that eliminates most of the floating-point multiplications. This approach consists of binarizing or ternarizing the weights in the forward propagation and quantizing the hidden states in the backward propagation, which converts multiplications to sign changes and binary shifts. Experimental results on datasets from small to medium size show that this approach result in even better performance than standard stochastic gradient descent training, paving the way to fast, hardware-friendly training of neural networks. In the second article, we proposed a structured self-attentive sentence embedding that extracts interpretable sentence representations in matrix form. We demonstrate improvements on 3 different tasks: author profiling, sentiment classification and textual entailment. Experimental results show that our model yields a significant performance gain compared to other sentence embedding methods in all of the 3 tasks. In the third article, we propose a hierarchical model with dynamical computation graph for sequential data that learns to construct a tree while reading the sequence. The model learns to create adaptive skip-connections that ease the learning of long-term dependencies through constructing recurrent cells in a recursive manner. The training of the network can either be supervised training by giving golden tree structures, or through reinforcement learning. We provide preliminary experiments in 3 different tasks: a novel Math Expression Evaluation (MEE) task, a well-known propositional logic task, and language modelling tasks. Experimental results show the potential of the proposed approach. In the fourth article, we propose a novel constituency parsing method with neural networks. The model predicts the parse tree structure by predicting a real valued scalar, named syntactic distance, for each split position in the input sentence. The order of the relative values of these syntactic distances then determine the parse tree structure by specifying the order in which the split points will be selected, recursively partitioning the input, in a top-down fashion. Our proposed approach was demonstrated with competitive performance on Penn Treebank dataset, and the state-of-the-art performance on Chinese Treebank dataset.

Cette thèse par article se compose de quatre articles qui contribuent au domaine de l’apprentissage profond, en particulier dans la compréhension et l’apprentissage des ap- proches neuronales des systèmes de dialogue. Le premier article fait un pas vers la compréhension si les architectures de dialogue neuronal couramment utilisées capturent efficacement les informations présentes dans l’historique des conversations. Grâce à une série d’expériences de perturbation sur des ensembles de données de dialogue populaires, nous constatons que les architectures de dialogue neuronal couramment utilisées comme les modèles seq2seq récurrents et basés sur des transformateurs sont rarement sensibles à la plupart des perturbations du contexte d’entrée telles que les énoncés manquants ou réorganisés, les mots mélangés, etc. Le deuxième article propose d’améliorer la qualité de génération de réponse dans les systèmes de dialogue de domaine ouvert en modélisant conjointement les énoncés avec les attributs de dialogue de chaque énoncé. Les attributs de dialogue d’un énoncé se réfèrent à des caractéristiques ou des aspects discrets associés à un énoncé comme les actes de dialogue, le sentiment, l’émotion, l’identité du locuteur, la personnalité du locuteur, etc. Le troisième article présente un moyen simple et économique de collecter des ensembles de données à grande échelle pour modéliser des systèmes de dialogue orientés tâche. Cette approche évite l’exigence d’un schéma d’annotation d’arguments complexes. La version initiale de l’ensemble de données comprend 13 215 dialogues basés sur des tâches comprenant six domaines et environ 8 000 entités nommées uniques, presque 8 fois plus que l’ensemble de données MultiWOZ populaire. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in understanding and learning neural approaches to dialog systems. The first article takes a step towards understanding if commonly used neural dialog architectures effectively capture the information present in the conversation history. Through a series of perturbation experiments on popular dialog datasets, wefindthatcommonly used neural dialog architectures like recurrent and transformer-based seq2seq models are rarely sensitive to most input context perturbations such as missing or reordering utterances, shuffling words, etc. The second article introduces a simple and cost-effective way to collect large scale datasets for modeling task-oriented dialog systems. This approach avoids the requirement of a com-plex argument annotation schema. The initial release of the dataset includes 13,215 task-based dialogs comprising six domains and around 8k unique named entities, almost 8 times more than the popular MultiWOZ dataset. The third article proposes to improve response generation quality in open domain dialog systems by jointly modeling the utterances with the dialog attributes of each utterance. Dialog attributes of an utterance refer to discrete features or aspects associated with an utterance like dialog-acts, sentiment, emotion, speaker identity, speaker personality, etc. The final article introduces an embedding-free method to compute word representations on-the-fly. This approach significantly reduces the memory footprint which facilitates de-ployment in on-device (memory constraints) devices. Apart from being independent of the vocabulary size, we find this approach to be inherently resilient to common misspellings.