School readiness literature indicates that skills which lend themselves to readiness and success in primary school are not amongst the skills generally taught in center based care facilities. Furthermore, children enrolled in non- maternal care settings are at greater risk for developing problem behavior. To address this issue, the Preschool Life Skills (PLS) program was created as a preventative intervention to teach functional communication and social skills to typically developing children. Children diagnosed with developmental disabilities are not immune to these concerns and are also at risk for developing problem behaviors in non-maternal settings, due to insufficient instruction and contingency management. The current study aimed to evaluate and identify the dose of instruction necessary for the PLS curriculum to be a successful and efficient teaching tool for children with developmental disabilities. Twelve preschool life skills were taught to 9 participants across 4 instruction units. Instruction was provided by means of a three-tiered instructional approach, which incorporated class-wide instruction, followed by small group and individual instruction as necessary. Skills were sequentially introduced and unit probes were conducted following mastery of all 3 skills within a unit. Results indicated that the adaptations made to the original preschool life skills curriculum led to skill acquisition with all nine participants.

Receptive and expressive language difficulties are some of the core challenges facing children with Autism Spectrum Disorder (ASD). Emerging research suggests that for children with ASD receptive language is more impaired than expressive language. Specifically, abstract concepts like prepositions, are challenging for them. Aided augmented input has been shown to be an effective means of facilitating understanding in some children with ASD, however the amount of aided augmented input required to ensure effective understanding has not been determined. The aim of this study was to measure and compare the participants’ ability to follow instructions containing prepositions, under two conditions of aided augmented input. A with-in subject research design, involving 17 participants with ASD, was used to measure the accuracy of responses to instructions containing prepositions. Each participant was presented with 12 instructions. Half of the instructions were provided with 25% aided augmented input (prepositions only) referred to as Condition A, and the other half were presented with 75% aided augmented input (subject, preposition and location) referred to as Condition B. Their responses to the instructions were recorded and analyzed. Results suggest that there was no statistical difference between the two conditions of aided augmented input. Eight participants responded better under Condition A and five participants responded better under Condition B. Four participants responded equally under both conditions. The findings suggest that some participants may benefit from more aided augmented input and some from less aided augmented input. There is need for additional studies to determine the conditions of aided augmented input needed for the effective understanding of instructions containing prepositions and factors affecting the outcome. / Mini Dissertation (MA)--University of Pretoria, 2019. / Centre for Augmentative and Alternative Communication (CAAC) / MA / Unrestricted

Eines der ungelösten Probleme menschlicher Kognition ist S. Monsell (1996) zufolge, wie genau sprachliche Aufgabeninstruktionen in Aufgabenrepräsentationen übersetzt werden, die instruiertes Verhalten steuern. Die vorliegende Arbeit versucht, Licht auf einen Aspekt dieser Frage zu werfen. Die spezifische Frage ist, ob und wie die Details der Instruktionen von Antworten in einfachen manuellen Zweifachwahlaufgaben die Kodierung und die Prozesse beeinflussen, die üblicherweise mit "Antwortselektion" assoziiert werden, einem Verarbeitungsstadium, das als zentral für die willkürliche Steuerung von Handlungen angesehen wird. Thematisch liefert die Dissertation somit einen Beitrag zu der Frage nach den kognitiven Grundlagen der Steuerung von Willkürhandlungen. Unter der Annahme, dass die spezifischen Inhalte sprachlicher Antwortinstruktionen die Antwortkodierung determinieren, ist zu erwarten, dass identische Aufgaben bei unterschiedlicher Antwortinstruktion unterschiedlich bearbeitet werden. Diese Vorhersage wurde mittels zweier experimenteller Ansätze in fünf Experimenten überprüft, in denen linke und rechte Tastendruck-Reaktionen entweder räumlich (als "linke" vs. "rechte" Taste) oder farblich (als "blaue" vs. "grüne" Taste) instruiert wurden. Es wurde untersucht, welchen Einfluss Antwortinstruktionen auf zwei Arten von Kompatibilitätseffekten haben. In den ersten 3 Experimenten wurde ein Doppelaufgabenparadigma gewählt, das überlappende vs. nicht-überlappende Antworten auf einer manuellen und einer zeitgleich ausgeführten verbalen Aufgabe erforderte. Die verbale Aufgabe erforderte ebenfalls entweder "links"- und "rechts"- oder "blau"- und "grün"-Antworten. Wenn die Antworten beider Aufgaben räumlich (Experiment 1) oder farblich (Experiment 2) instruiert wurden, waren kompatible Antworten (z. B. verbale "blau"-Reaktionen gefolgt von blauen Tastenreaktionen) in beiden Aufgaben schneller als inkompatible. Wenn jedoch die verbale Aufgabe "links"- und "rechts"-Reaktionen verlangte, während die Tasten der manuellen Aufgabe farblich instruiert wurden, zeigten sich keine Kompatibilitätseffekte. Das 4. und 5. Experiment dieser Arbeit erweitern die Doppelaufgabenexperimente dahingehend, dass der Einfluss der gleichen Antwortinstruktionsmanipulation auf den "Simon-Effekt" (schnellere Antworten bei Korrespondenz als bei Inkorrespondenz zwischen Antwortposition und irrelevanter Stimulus-Position) mit Hilfe einer Aufgabe untersucht wurde, in der linke und rechte Tastenreaktionen willkürlich zentral dargebotenen Stimuli (Buchstabenidentität) zugeordnet wurden. Go/no-go Signale, die zufällig an unterschiedlichen Positionen erschienen, gaben an, ob reagiert werden sollte oder nicht. Während ein Simon-Effekt bei räumlicher Antwortinstruktion in Experiment 4 beobachtet werden konnte, führten Farbinstruktionen der Antworttasten in Experiment 5 zu einer signifikanten Reduktion des Effekts. Zusammengenommen legen diese Ergebnisse nahe, dass die in der Antwortinstruktion genutzten Antwort-"Label" direkt bestimmen, welche Codes zur Reaktionssteuerung genutzt werden, und dass nicht-räumliche Antwortkodierung bei nicht-räumlicher Antwortinstruktion dominiert. Die Implikationen der Befunde für aktuelle Kodierungstheorien zur Erklärung von Kompatibilitätseffekten werden diskutiert und in Bezug gesetzt zu allgemeineren Theorien und Fragen zur willkürlichen Steuerung von Verhalten und zu den Bedingungen von Automatizität. / According to Monsell (1996), one of the 'unsolved mysteries of mind' is how exactly verbal task instructions are translated into, and are used to control behavior. The present dissertation attempts to shed some light on one aspect of this mystery, namely on how the wording of task instructions affects the codes and processes commonly associated with response selection, a processing 'stage' assumed to be central in action control. The main question is whether or not the response labels used in the instructions of manual two-choice responses affect how responses are coded and accessed. If instruction determines response coding, then it should be possible to demonstrate that identical tasks are performed differently if response instructions differ. In five experiments, I manipulated response instructions for spatially organized keypress responses. Specifically, I instructed left and right keypresses on a manual task either as left vs. right or as blue vs. green keypresses and tested whether such variations in response instructions affect two different types of compatibility effects. The first set of experiments (Experiments 1-3) used a dual task procedure that, in addition to the manual task, required either "left" vs. "right" or "blue" vs. "green" verbalizations on a concurrently performed verbal task. When responses on both the manual and the verbal task were instructed in terms of location (Experiment 1) or color (Experiment 2), then compatible responses on the two tasks (e.g., "blue" verbalizations followed by a blue keypress) were faster than incompatible responses. However, when the verbal task required "left" vs. "right" responses whereas manual keypresses were instructed as blue vs. green (Experiment 3), then no compatibility effects were observed. The second set of experiments (Experiments 4 and 5) extended these findings by employing the same response-instruction logic to a Simon-like task, in which left and right keypress responses were arbitrarily mapped to centrally presented stimuli (letter identity). Go/No-go signals that varied in location indicated whether the prepared response was to be executed or not. Color instructions of the response keys (Experiment 5) significantly reduced the Simon effect (i.e., faster responses when response location and irrelevant Go/No-go location correspond) observed under spatial response instructions (Experiment 4). Taken together, these results suggest that response labels used in the instruction directly determine the codes that are used to control responding, and that non-spatial coding can override spatial coding under non-spatial response instructions. The findings are discussed with respect to their relevance for contemporary coding accounts of compatibility and more general theories of intentional control and automaticity.

En utilisant la méthodologie de l'apprentissage profond qui préconise de s'appuyer davantage sur des données et des modèles neuronaux flexibles plutôt que sur les connaissances de l'expert dans le domaine, la communauté de recherche a récemment réalisé des progrès remarquables dans la compréhension et la génération du langue naturel. Néanmoins, il reste difficile de savoir si une simple extension des méthodes d'apprentissage profond existantes sera suffisante pour atteindre l'objectif d'utiliser le langage naturel pour l'interaction homme-machine. Nous nous concentrons sur deux aspects connexes dans lesquels les méthodes actuelles semblent nécessiter des améliorations majeures. Le premier de ces aspects est l'inefficacité statistique des systèmes d'apprentissage profond: ils sont connus pour nécessiter de grandes quantités de données pour bien fonctionner. Le deuxième aspect est leur capacité limitée à généraliser systématiquement, à savoir à comprendre le langage dans des situations où la distribution des données change mais les principes de syntaxe et de sémantique restent les mêmes. Dans cette thèse, nous présentons quatre études de cas dans lesquelles nous cherchons à apporter plus de clarté concernant l'efficacité statistique susmentionnée et les aspects de généralisation systématique des approches d'apprentissage profond de la compréhension des langues, ainsi qu'à faciliter la poursuite des travaux sur ces sujets. Afin de séparer le problème de la représentation des connaissances du monde réel du problème de l'apprentissage d'une langue, nous menons toutes ces études en utilisant des langages synthétiques ancrés dans des environnements visuels simples. Dans le premier article, nous étudions comment former les agents à suivre des instructions compositionnelles dans des environnements avec une forme de supervision restreinte. À savoir pour chaque instruction et configuration initiale de l'environnement, nous ne fournissons qu'un état cible au lieu d'une trajectoire complète avec des actions à toutes les étapes. Nous adaptons les méthodes d'apprentissage adversariel par imitation à ce paramètre et démontrons qu'une telle forme restreinte de données est suffisante pour apprendre les significations compositionelles des instructions. Notre deuxième article se concentre également sur des agents qui apprennent à exécuter des instructions. Nous développons la plateforme BabyAI pour faciliter des études plus approfondies et plus rigoureuses de ce cadre d'apprentissage. La plateforme fournit une langue BabyAI compositionnelle avec $10 ^ {19}$ instructions, dont la sémantique est précisément définie dans un environnement partiellement observable. Nous rapportons des résultats de référence sur la quantité de supervision nécessaire pour enseigner à l'agent certains sous-ensembles de la langue BabyAI avec différentes méthodes de formation, telles que l'apprentissage par renforcement et l'apprentissage par imitation. Dans le troisième article, nous étudions la généralisation systématique des modèles de réponse visuelle aux questions (VQA). Dans le scénario VQA, le système doit répondre aux questions compositionelles sur les images. Nous construisons un ensemble de données de questions spatiales sur les paires d'objets et évaluons la performance des différents modèles sur les questions concernant les paires d'objets qui ne se sont jamais produites dans la même question dans la distribution d'entraînement. Nous montrons que les modèles dans lesquels les significations des mots sont représentés par des modules séparés qui effectuent des calculs indépendants généralisent beaucoup mieux que les modèles dont la conception n'est pas explicitement modulaire. Cependant, les modèles modulaires ne généralisent bien que lorsque les modules sont connectés dans une disposition appropriée, et nos expériences mettent en évidence les défis de l'apprentissage de la disposition par un apprentissage de bout en bout sur la distribution d'entraînement. Dans notre quatrième et dernier article, nous étudions également la généralisation des modèles VQA à des questions en dehors de la distribution d'entraînement, mais cette fois en utilisant le jeu de données CLEVR, utilisé pour les questions complexes sur des scènes rendues en 3D. Nous générons de nouvelles questions de type CLEVR en utilisant des références basées sur la similitude (par exemple `` la balle qui a la même couleur que ... '') dans des contextes qui se produisent dans les questions CLEVR mais uniquement avec des références basées sur la localisation (par exemple `` le balle qui est à gauche de ... ''). Nous analysons la généralisation avec zéro ou quelques exemples de CLOSURE après un entraînement sur CLEVR pour un certain nombre de modèles existants ainsi qu'un nouveau modèle. / By using the methodology of deep learning that advocates relying more on data and flexible neural models rather than on the expert's knowledge of the domain, the research community has recently achieved remarkable progress in natural language understanding and generation. Nevertheless, it remains unclear whether simply scaling up existing deep learning methods will be sufficient to achieve the goal of using natural language for human-computer interaction. We focus on two related aspects in which current methods appear to require major improvements. The first such aspect is the data inefficiency of deep learning systems: they are known to require extreme amounts of data to perform well. The second aspect is their limited ability to generalize systematically, namely to understand language in situations when the data distribution changes yet the principles of syntax and semantics remain the same. In this thesis, we present four case studies in which we seek to provide more clarity regarding the aforementioned data efficiency and systematic generalization aspects of deep learning approaches to language understanding, as well as to facilitate further work on these topics. In order to separate the problem of representing open-ended real-world knowledge from the problem of core language learning, we conduct all these studies using synthetic languages that are grounded in simple visual environments. In the first article, we study how to train agents to follow compositional instructions in environments with a restricted form of supervision. Namely for every instruction and initial environment configuration we only provide a goal-state instead of a complete trajectory with actions at all steps. We adapt adversarial imitation learning methods to this setting and demonstrate that such a restricted form of data is sufficient to learn compositional meanings of the instructions. Our second article also focuses on instruction following. We develop the BabyAI platform to facilitate further, more extensive and rigorous studies of this setup. The platform features a compositional Baby language with $10^{19}$ instructions, whose semantics is precisely defined in a partially-observable gridworld environment. We report baseline results on how much supervision is required to teach the agent certain subsets of Baby language with different training methods, such as reinforcement learning and imitation learning. In the third article we study systematic generalization of visual question answering (VQA) models. In the VQA setting the system must answer compositional questions about images. We construct a dataset of spatial questions about object pairs and evaluate how well different models perform on questions about pairs of objects that never occured in the same question in the training distribution. We show that models in which word meanings are represented by separate modules that perform independent computation generalize much better than models whose design is not explicitly modular. The modular models, however, generalize well only when the modules are connected in an appropriate layout, and our experiments highlight the challenges of learning the layout by end-to-end learning on the training distribution. In our fourth and final article we also study generalization of VQA models to questions outside of the training distribution, but this time using the popular CLEVR dataset of complex questions about 3D-rendered scenes as the platform. We generate novel CLEVR-like questions by using similarity-based references (e.g. ``the ball that has the same color as ...'') in contexts that occur in CLEVR questions but only with location-based references (e.g. ``the ball that is to the left of ...''). We analyze zero- and few- shot generalization to CLOSURE after training on CLEVR for a number of existing models as well as a novel one.