I programvarans livscykel spenderas mycket tid i det sista steget, underhållsfasen. I detta stadie är mjukvaran färdigutvecklad och behöver kontinuerligt underhåll för att säkerställa programvarans ständiga funktionalitet och effektivitet [25]. Det är därför viktigt att programvaran är så läsbar som möjligt då nya programmerare oftast tillkommer till projekten och för att snabbt kunna felsöka koden. Procedurer (metoderi Java) lärs ut som ett sätt att hålla koden strukturerad och lättläst. Läsbarhet av kod har blivit mer och mer studerat under de senaste åren och med hjälp av eye-tracking har läsbarhet av kod kunnat studerats på ett konkret sätt. I denna rapport har procedurers inverkan på läsbarhet av kod undersökts vilket har gjorts genom att undersöka tio testpersoners ögonrörelser vid tolkning av ett antal problem i Java, där problemen skilt sig till användandet av procedurer eller ej. Metodiken som valts har varit ett kontrollerat experiment där de tilldelade problemen involverat tolkning av kod samtidigt som deltagarnas ögonrörelser studerats och presenteras som bilder och data i form av diagram över punkter där blicken fixerats i koden. Resultaten visar attnybörjare generellt sett tar längre tid på sig att läsa procedurer jämfört med monolitisk kod (sekventiell kod, motsatsen till proceduruppdelad kod), medan erfarna programmerare inte skilde sig i lika hög gradeller var till och med snabbare på att lösa de procedurellt uppdelade kodsegmenten. Man kan även tyda att erfarna programmerare har ett annat sätt att läsa kod jämfört med nybörjare vilket kan vara intressant att studera ytterligare. Slutsatsen för experimentet är att kontrollflödesabstraktioner i form av procedurer gör det lättare för programmerare att läsa kod men det krävs tid och vana för att ta del av de gynnsamma effekterna utav dem. / In the software life cycle, a great amount of time is spent on the final stage, the maintenance phase. At this stage, the software is fully developed and needs continuous maintenance to ensure constant functionality and efficiency of the software [25]. It is therefore important for the software to be as readable as possible since other programmers might start working on the software. It is also important to keep the code readable to quickly troubleshoot the code. Procedures are taught as a way to keep the code structured and easy to read among other abstractions. In recent years, the study of code readability has gained an increasing popularity and with the help of eye-tracking it has allowed for the study of readability in a more concrete way. In this report, the impact of procedures on code readability has been investigated by conducting a controlled experiment, which has been done by examining the eye movements of ten test subjects who had been tasked with interpreting a number of problems in Java, where the problems ranged from the use of procedures or not (being plain monolithic code blocks). The assigned problems involve the interpretation of code while their eye movements are recorded and presented as images and as data in a spreadsheet. The results show that beginners generally take longer to read methods compared to sequential code, while experienced programmers did not differ as much- or were even faster to resolve the procedural code segments. It can also be said that experienced programmers have a different way of reading code compared to beginners which may be interesting to study further. The conclusion is that control flow abstractions in the form of procedures make it easier for programmers to read code, but it takes time and experience to take advantage of their beneficial effects.

Im Rahmen dieser Arbeit wird untersucht, wie Daten der Eye-Tracking Brille Pupil Invisible genutzt werden können, um mit Methoden der Mustererkennung Mentoring-Anlässe zu erkennen. Die Arbeit ist Teil der Erforschung eines virtuellen Mentoring-Systems, welches Studierende bei der Bearbeitung von Online-Learnaufgaben auf der Lernplattform OPAL unterstützt. Als Mentoring-Anlass wird in erster Linie die Erkennung von mentaler Ermüdung untersucht, wobei Methoden der Psychologie zur Erkennung und Induktion ebendieser genutzt werden. Dabei werden im Rahmen einer Vorstudie Eye-Tracking Daten gesammelt, die anschließend von den Mustererkennungsalgorithmen Stützvektormaschine, Random Forest und künstlichem neuronalen Netz ausgewertet werden. Die Ergebnisse zeigen, dass die Erkennung von mentaler Ermüdung anhand der verwendeten Methodiken möglich ist. Zusätzlich wird ein Toolkit entwickelt, um die beschriebenen Prozesse zu automatisieren und die Einbindung in ein virtuelles Mentoring-System zu vereinfachen.:Kurzfassung, Abstract Selbständigkeitserklärung Vorwort Abkürzungsverzeichnis 1 Einführung 1.1 Motivation 1.2 Zielsetzung 2 Theoretische Grundlagen 2.1 Grundlagen des Eye-Trackings 2.1.1 Grundbegriffe und Charakteristiken des Eye-Trackings 2.1.2 Arten des Eye-Trackings 2.1.3 Wichtige Algorithmen 2.2 Grundlagen der Mustererkennung 2.2.1 Vorverarbeitung 2.2.2 Merkmalsextraktion und Auswahl 2.2.3 Klassifikation und Beurteilung 2.3 Grundlagen zu mentaler Ermüdung 2.3.1 Definition 2.3.2 Abgrenzung 3 Stand der Forschung 3.1 Pupil Invisible 3.2 Erkennung von mentaler Ermüdung 3.3 Einordnung 4 Methodik und Implementierung 4.1 Vorstudie 4.1.1 Sitzungsskript 4.1.2 Einarbeitung 4.2 Datenvorverarbeitung 4.2.1 Pistol-Framework 4.2.2 Verarbeitung der Rohdaten 4.2.3 Problemspezifische Merkmalserzeugung 4.3 Klassifikationsalgorithmen 4.3.1 Optimierung 4.3.2 Klassifikation mit künstlichen neuronalen Netzen 4.3.3 Auswertung 4.4 Toolkit 5 Ergebnisse 5.1 Vorstudie 5.2 Auswahl der Merkmale 5.3 Klassifikation 6 Diskussion 7 Zusammenfassung und Ausblick 7.1 Zusammenfassung 7.2 Ausblick Abbildungsverzeichnis Tabellenverzeichnis Literaturverzeichnis Anhang A.1 Tabellen A.1.1 Pearson und Spearman Korrelationstests (vollständig) A.2 Sitzungsskript A.2.1 Ablauf A.2.2 Durchzuführende Aufgaben / This thesis investigates how data from the eye-tracking glasses Pupil Invisible can be used to detect mentoring occasions using pattern recognition methods. The work is part of the research of a virtual mentoring system that supports students in completing online learning tasks on the OPAL learning platform. As a mentoring occasion, the detection of mental fatigue is primarily investigated, using methods from psychology for the detection and induction of just that. In this regard, eye-tracking data is collected as part of a preliminary study, which is then evaluated by the support vector machine, random forest and artificial neural network pattern recognition algorithms. The results show that the detection of mental fatigue is possible based on the methodologies used. In addition, a toolkit is developed to automate the described processes to facilitate their incorporation into a virtual mentoring system.:Kurzfassung, Abstract Selbständigkeitserklärung Vorwort Abkürzungsverzeichnis 1 Einführung 1.1 Motivation 1.2 Zielsetzung 2 Theoretische Grundlagen 2.1 Grundlagen des Eye-Trackings 2.1.1 Grundbegriffe und Charakteristiken des Eye-Trackings 2.1.2 Arten des Eye-Trackings 2.1.3 Wichtige Algorithmen 2.2 Grundlagen der Mustererkennung 2.2.1 Vorverarbeitung 2.2.2 Merkmalsextraktion und Auswahl 2.2.3 Klassifikation und Beurteilung 2.3 Grundlagen zu mentaler Ermüdung 2.3.1 Definition 2.3.2 Abgrenzung 3 Stand der Forschung 3.1 Pupil Invisible 3.2 Erkennung von mentaler Ermüdung 3.3 Einordnung 4 Methodik und Implementierung 4.1 Vorstudie 4.1.1 Sitzungsskript 4.1.2 Einarbeitung 4.2 Datenvorverarbeitung 4.2.1 Pistol-Framework 4.2.2 Verarbeitung der Rohdaten 4.2.3 Problemspezifische Merkmalserzeugung 4.3 Klassifikationsalgorithmen 4.3.1 Optimierung 4.3.2 Klassifikation mit künstlichen neuronalen Netzen 4.3.3 Auswertung 4.4 Toolkit 5 Ergebnisse 5.1 Vorstudie 5.2 Auswahl der Merkmale 5.3 Klassifikation 6 Diskussion 7 Zusammenfassung und Ausblick 7.1 Zusammenfassung 7.2 Ausblick Abbildungsverzeichnis Tabellenverzeichnis Literaturverzeichnis Anhang A.1 Tabellen A.1.1 Pearson und Spearman Korrelationstests (vollständig) A.2 Sitzungsskript A.2.1 Ablauf A.2.2 Durchzuführende Aufgaben

In the first years of life there is a dramatic development of cognitive abilities supporting cognitive control of behavior. This development allows the child to make future-oriented predictions and to increasingly act in a goal-directed manner. The early development of cognitive control is presumably closely tied to the maturation of the attention systems. Further, attentional control processes have been suggested to be the unifying construct underlying cognitive control in both children and adults. The general aim of the present thesis was to further our understanding of the early development of cognitive control. This aim was approached by examining the attention processes underlying cognitive control in infancy and toddlerhood, with a particular focus on age-related improvements in attentional control. This thesis consists of three studies that have used the A-not-B paradigm to investigated infants’ and toddlers’ ability to search for a hidden object or to correctly anticipate the reappearance of a hidden object. The A-not-B paradigm is one of few well-studied paradigms for research on the early development of cognitive control and this paradigm involves conflict resolution and requires a flexible shift of response set to achieve a goal. Study I of this thesis examined individual differences in 10-month-olds’ ability to search for a hidden object in a manual A-not-B task. We investigated the infants’ search behavior, both in terms looking and reaching responses, the relation between individual differences in performance on A and B trials, and also the relation between the two response modalities. Study II used eye tracking and focused on the role of attentional demand on 10- and 12-month-olds’ ability to anticipate the reappearance of a hidden object. This study intended to clarify age-related improvements, particularly in relation to the ability to resist visually distracting information that interfered with the task at hand. Study III also employed an eye tracker to measure 18-month-olds’ predictive eye movements in anticipation of a hidden object under conditions marked by different attention demands. This study not only investigated the toddlers’ ability to overcome a visual distractor, but also their ability to keep a representation in actively in mind over different delays. In addition, the 18-month-olds’ performance was compared to that of an adult group to shed further light on the development of attentional control in children. In conclusion, this thesis demonstrated that important age-related improvements in cognitive control take place by the end of the first year of life and between 12 and 18 months of age. More specifically, with increasing age, the children were able to resolve higher levels of conflict thereby demonstrating improvements in attentional control. In interpreting the present data, we argue that this development is gradual, developing from variable to stable and also that the attentional control process is best described as continuous rather dichotomous in infancy and toddlerhood. Based on our findings, future research should be motivated to examine changes in attentional control processes in relation to the early development of cognitive development.

This thesis contends that the human parser has a repair mechanism. It is further contended that the human parser uses this mechanism to alter previously built structure in the case of unexpected disambiguation of temporary syntactic ambiguity. This position stands in opposition to the claim that unexpected disambiguation of temporary syntactic ambiguity is accomplished by the usual first pass parsing routines, a claim that arises from the relatively extraordinary capabilities of computational parsers, capabilities which have recently been extended by hypothesis to be available to the human sentence processing mechanism. The thesis argues that, while these capabilities have been demonstrated in computational parsers, the human parser is best explained in the terms of a repair based framework, and that this argument is demonstrated by examining eye movement behaviour in reading. In support of the thesis, evidence is provided from a set of eye tracking studies of reading. It is argued that these studies show that eye movement behaviours at disambiguation include purposeful visual search for linguistically relevant material, and that the form and structure of these searches vary reliably according to the nature of the repairs that the sentences necessitate.

Eye tracking research is a growing area and the fields as where eye trackingcould be used in research are large. To understand the eye tracking data dif-ferent filters are used to classify the measured eye movements. To get accu-rate classification this thesis has investigated the possibility to measure bothhead movements and eye movements in order to improve the estimated gazepoint.The thesis investigates the difference in using head movement compensationwith a velocity based filter, I-VT filter, to using the same filter without headmovement compensation. Further on different velocity thresholds are testedto find where the performance of the filter is the best. The study is made with amobile eye tracker, where this problem exist since you have no absolute frameof reference as opposed to when using remote eye trackers. The head move-ment compensation shows promising results with higher precision overall.

This thesis focuses on modelling visual attention in tasks in which vision interacts with language and other sources of contextual information. The work is based on insights provided by experimental studies in visual cognition and psycholinguistics, particularly cross-modal processing. We present a series of models of eye-movements in situated language comprehension capable of generating human-like scan-paths. Moreover we investigate the existence of high level structure of the scan-paths and applicability of tools used in Natural Language Processing in the analysis of this structure. We show that scan paths carry interesting information that is currently neglected in both experimental and modelling studies. This information, studied at a level beyond simple statistical measures such as proportion of looks, can be used to extract knowledge of more complicated patterns of behaviour, and to build models capable of simulating human behaviour in the presence of linguistic material. We also revisit classical model saliency and its extensions, in particular the Contextual Guidance Model of Torralba et al. (2006), and extend it with memory of target positions in visual search. We show that models of contextual guidance should contain components responsible for short term learning and memorisation. We also investigate the applicability of this type of model to prediction of human behaviour in tasks with incremental stimuli as in situated language comprehension. Finally we investigate the issue of objectness and object saliency, including their effects on eye-movements and human responses to experimental tasks. In a simple experiment we show that when using an object-based notion of saliency it is possible to predict fixation locations better than using pixel-based saliency as formulated by Itti et al. (1998). In addition we show that object based saliency fits into current theories such as cognitive relevance and can be used to build unified models of cross-referential visual and linguistic processing. This thesis forms a foundation towards a more detailed study of scan-paths within an object-based framework such as Cognitive Relevance Framework (Henderson et al., 2007, 2009) by providing models capable of explaining human behaviour, and the delivery of tools and methodologies to predict which objects would be attended to during synchronous visual and linguistic processing.

Previous research has shown L1 attrition to be selective (Gürel 2004) and often restricted to structures at the interfaces between syntax and context/pragmatics, but not to occur with syntactic properties that do not involve such interfaces (Interface Hypothesis, Sorace & Filiaci 2006). This is supported by many studies exploring cross-linguistic influence effects in interface structures, such as the production and/or interpretation of null versus overt pronominal subjects, not only in L1 attriters (Tsimpli et al. 2004, Montrul 2004) but also in other bilingual groups with different language combinations, such as early bilinguals (Paradis & Navarro 2003, Sorace et al. 2009), and advanced late bilinguals (Belletti et al. 2007, Rothman 2009). The current hypothesis is that individual L1 attrition affects only the ability to process interface structures but not knowledge representations themselves (Sorace 2011). In this thesis, we first compared a well-studied syntax-pragmatics interface phenomenon (pronominal subjects in Spanish) with a non-interface structure (the Spanish personal preposition a, also known as Differential Object Marking, DOM). In Spanish, the distribution of null and overt subject pronouns is pragmatically constrained, whereas the presence of the preposition just depends on the animacy and specificity of the direct object. Participants included a group of attrited speakers of L1 Spanish who had been living in the UK for a minimum of 5 years, and a group of Spanish monolinguals. Using a naturalness judgment task and eye tracking while reading, participants were presented with anaphoric sentences in which number cues matched or mismatched predicted antecedent preferences (i.e. null pronoun: subject preference; overt pronoun: object preference). The DOM study also used a mismatch paradigm, crossing preposition presence (al vs. el) with animacy, where an animate object requires the prepositional form al and an inanimate object requires the article el. Offline ratings revealed equal mismatch sensitivity for both groups of participants with both structures. However, eye-tracking measures showed that monolinguals were reliably more sensitive than attriters to the pronoun mismatch, while both groups showed equal on-line sensitivity to the DOM mismatch, which reveals that attrition affects interface structures, but not non-interface structures. Second, we investigated the effects of recent (re)exposure to L1 input on attrition. A second group of attriters carried out the same experiment after having been exposed exclusively to Spanish in a monolingual Spanish-speaking environment for a minimum of a week. Their eye-tracking results patterned with the monolingual group. This novel manipulation shows that attrition effects decrease as a result of L1 exposure, which reveals that bilinguals are sensitive to input changes and that attrition affects online sensitivity rather than causing a permanent change in speakers’ L1 grammatical representations.

El objetivo general de esta memoria es mejorar la metodología para identi car Website Keyobjects diseñada por Velásquez y Dujovne mediante el uso de herramientas Eye Tracking y algoritmos de Web Mining. Dado un sitio web, esta metodología toma como entrada el registro de peticiones (web log) del sitio, las páginas que lo componen y el interés de los usuarios en los objetos web de cada página, el cual es cuanti ficado a partir de una encuesta que permite medir la atención prestada por los usuarios sobre los objetos. Luego los datos son transformados y pre-procesados para finalmente aplicar algoritmos de Web Mining que permiten extraer los Website Keyobjects. Considerando lo anterior, en este trabajo de memoria se sugiere una forma distinta de cuanti ficar el interés de los usuarios sobre los objetos web, utilizando una tecnología de rastreo ocular (Eye Tracking), con el objetivo de prescindir de la encuesta, ocupar una herramienta de mayor precisión y así mejorar la clasi cación de los Website Keyobjects. Para comenzar, se investigaron las distintas técnicas y herramientas de rastreo ocular. Se optó por ocupar un Eye Tracker que ocupa la técnica más avanzada en su campo, la que ilumina los ojos con luces infrarojas y captura sus movimientos según el brillo de la pupila y el reflejo de la córnea, todo esto basado en vídeo. Luego se diseñó un experimento que permitiera establecer si se produce una mejora en la clasi cación de los objetos al ocupar distintos valores del interés de los usuarios: medido según una encuesta o un Eye Tracker. Se concluyó que la tecnología Eye Tracking es sumamente útil y precisa a la hora de conocer que es lo que mira un usuario y, por lo tanto, que es lo que más captura su atención. Además que el integrar esta tecnología a la metodología permite no realizar una encuesta, con lo que se evitan situaciones donde es altamente posible ingresar errores de forma involuntaria. Finalmente se estableció se produce una leve mejora, entre un 5 % y 6 %, en la metodología al ocupar la información generada por el Eye Tracker.

Ingeniera Civil Industrial / Bajo un contexto de compras y ventas, los procesos de decisión comienzan desde el momento en que una persona adquiere información sobre algún producto o servicio que se tenga interés en adquirir. De esta manera, la forma en la que se recopila la información, los juicios y las razones de cada consumidor que influyen en la toma de decisión, son interesantes de estudiar porque permiten comprender parte del comportamiento individual de los consumidores. Cuando un consumidor se ve enfrentado a una decisión, tiene múltiples caminos a seguir para dar con alguna elección. Estos caminos suelen estar condicionados por las preferencias y los gustos de los tomadores de decisión, y son denominados como reglas de decisión. Por lo tanto, las reglas de decisión son un conjunto de condiciones bajo las cuales se puede elegir o rechazar una determinada alternativa. Conocer las reglas de decisión que utilizan los individuos puede ser de gran interés para los investigadores porque, de esta forma, se podría predecir las futuras elecciones de los consumidores. Hasta el momento, los estudios relacionados a comprender los procesos de decisión han combinado diversas técnicas del tipo cualitativas y cuantitativas. En particular, esta investigación utiliza técnicas cuantitativas para poder comprender, diferenciar y predecir el comportamiento de individuos que participaron en dos experimentos de simulación de compras. Los experimentos mencionados, simulan la oferta de un producto (o servicio), en donde los participantes deben escoger una alternativa. Durante estos procesos de elección, los individuos utilizan herramientas de Eye tracking, las que permiten registrar todo el comportamiento visual. Esta información adicional es la base de este trabajo de investigación y su importancia radica en que permite comprender qué es lo que buscan los participantes y el camino recorrido para dar con su elección a través de la información visual. A partir de los datos visuales recopilados del primer experimento, se construyen modelos matemáticos que permiten predecir el tipo de regla de decisión usada por los encuestados, acertando en el 95\% de los casos. Las restricciones impuestas en los modelos utilizados para esta predicción, configuran un escenario ideal que no representa correctamente una situación real. Por este motivo se realiza un análisis sobre los datos del segundo experimento, en cuyo caso se busca predecir la alternativa elegida por los encuestados, lográndolo correctamente en un 61\% de los casos. En función de estos análisis, se demuestra que la información visual puede ser muy útil para entender el comportamiento de los consumidores. Finalmente, se propone para futuras investigaciones, adaptar los modelos aquí propuestos, incluyendo nuevas variables que permitan acercar el estudio a un escenario cada ves más real.

Ingeniera Civil Industrial / El estudio de la forma en la que el consumidor toma decisiones de compra es de vital importancia en marketing. Los equipos de marketing necesitan entender lo que valora el consumidor al momento de elegir un producto o servicio y por qué lo valora, para enriquecer el producto de acuerdo a sus gustos y mejorar la manera de exponer informaciones sobre el producto. En las técnicas usuales de análisis conjunto, se analizan las decisiones del consumidor frente a elecciones diseñadas por el investigador para deducir sus preferencias y gustos en los distintos atributos de un producto e inferir sus elecciones futuras. Esta memoria busca predecir no sólo la elección sino también la regla de decisión, utilizando los movimientos de ojos del consumidor durante el proceso de elección. En particular, se estudia la regla conjuntiva, no-compensatoria, en la cual se definen niveles mínimos aceptables para cada atributo. Las alternativas cuyos niveles sobrepasan estos niveles mínimos para todos los atributos son satisfactorias. El estudio se desarrolla con datos de un experimento de análisis conjunto en el cuál se pidió a los participantes seguir distintas reglas conjuntivas, que varían por sus distintos niveles mínimos aceptables. Luego de un análisis descriptivo del comportamiento visual de los participantes, se elaboran distintos modelos a partir de los datos de eye tracking. Estos modelos logran predecir la regla conjuntiva usada con una tasa de acierto de 88% y elecciones futuras con una hit rate de 75%, con 10 preguntas de entrenamiento. Se compara el desempeño de este enfoque con modelos que usan elecciones pasadas, que arrojan una tasa de 100% en la predicción de la regla usada con el mismo conjunto de entrenamiento. Finalmente, se aplican los modelos a un segundo experimento en el cual los participantes eligieron de manera libre, sin regla impuesta. Se logra predecir elecciones futuras con elecciones pasadas con una hit rate de 57% y con el movimiento ocular con una hit rate de 36%. Resulta que el hecho de agregar información de movimientos de ojos a los modelos que usan elecciones pasadas no mejora su desempeño. Se concluye que el comportamiento visual, si bien es consistente con las elecciones de un consumidor, no aporta más información acerca de su regla de decisión conjuntiva. Se propone, para futuras investigaciones, integrar el modelo con otros que suponen otras reglas de decisión, para abarcar la diversidad de reglas usadas en la realidad.