Traditional teaching methods are often passive and do not interactively engage students, and this is even more challenging when teaching programming to beginners. In recent years, tech companies such as Google, and academic institutions like MIT, have introduced online learning environments to schools for teaching programming. Most of these learning environments are web-based, interactive, and provide visual feedback. Our project follows these trends and builds on p5.js, a JavaScript library that provides software sketching features and rapid visual feedback to reduce the barrier for learning programming languages. We designed and implemented a new library for drawing geometric patterns using polar coordinate systems, p5.Polar. We then developed a game that incrementally teaches our library to players, and evaluated it with an online user study.

Creative Coding är en form av kreativt lärande genom programmering, men det är idag fortfarande inte väl använt som arbetssätt för att lära ut programmering. Idag finns Processing, som är både ett verktyg och ett eget språk, som aktivt jobbar för att göra Creative Coding lättillgängligt och enkelt. Det har använts vid universitet och visat goda resultat, men idag finns inte många alternativ när det kommer till Creative Coding. Godot är en grafikmotor med stor kapacitet och möjligheten att kunna tillhandahålla samma funktion som Processing gör, men få studier av detta har tidigare genomförts.  För att undersöka om Godot kan vara ett alternativ till Processing så har denna studie byggt en prototyp för att utvärdera rimligheten att använda Godot för Creative Coding genom prestanda tester och hur mycket som svår kod kan abstraheras för en lättare användning. Resultaten visar att Godot kan prestera på god nivå vid generering av höga antal partiklar och har större möjlighet att simulera gravitation och mindre partiklar för att skapa mer spännande organiska bilder än Processing. Däremot är Processing fortfarande bättre när det gäller responstider och fluiditet i de tester som har utförts. Stöd för Creative Coding kan byggas in i en Godot applikation, men med större svårigheter och med en stor tidsåtgång.

This MFA thesis uses the medium of computer language to explore the chaos underlying Bipolar I Disorder, an enigmatic and disruptive illness. Using creative coding to generate a series of abstract systems representing human traits, I explore the common truth that pervades the seemingly randomness of mental illness: we all break the same. / Master of Fine Arts

Creative coding is the practice of writing code primarily for an expressive purpose rather than a functional one. It is mostly used in creative arts contexts. One of the most popular tools in creative coding is Processing. Processing is a desktop application and in recent years a web-based alternative named p5.js has been developed. This thesis investigates the p5.js JavaScript library. It looks at what can be accomplished with it and in which cases it might be used. The main focus is on the pros and cons of using p5.js for web graphics. Another point of focus is on how the web can be used as a creative platform with tools like p5.js. The goals are to provide an overview of p5.js and an evaluation of the p5.js library as a tool for creating interactive graphics and animations on the web. The research focuses on comparing p5.js with plain JavaScript from usability and performance perspectives and making general comparisons with other web-based frameworks for creative coding. The methods are a survey and interviews with members of creative coding communities, as well as performing coding experiments in p5.js and plain JavaScript and comparing the results and the process. The results from the coding experiments show that compared to plain JavaScript p5.js is easier to get started with, it is more intuitive, and code created in p5.js is easier to read. On the other hand, p5.js performs worse, especially when continuously drawing large amounts of elements to the screen. This is further supported by the survey and the interviews, which show that p5.js is liked for its usability, but that its performance issues and lack of advanced features mean that it is usually not considered for professional projects. The primary use case for p5.js is creating quick, visual prototypes. At the same time, the interviews show that p5.js has been used in a variety of contexts, both creative and practical. p5.js is a good library for getting started with coding creatively in the browser and is an excellent choice for experimenting and creating prototypes quickly. Should project requirements be much more advanced than that, there might be other options that will work better.

Current approaches to generating rhyming English poetry with a neural network involve constraining output to enforce the condition of rhyme. We investigate whether this approach is necessary, or if recurrent neural networks can learn rhyme patterns on their own. We compile a new dataset of amateur poetry which allows rhyme to be learned without external constraints because of the dataset’s size and high frequency of rhymes. We then evaluate models trained on the new dataset using a novel framework that automatically measures the system’s knowledge of poetic form and generalizability. We find that our trained model is able to generalize the pattern of rhyme, generate rhymes unseen in the training data, and also that the learned word embeddings for rhyming sets of words are linearly separable. Our model generates a couplet which rhymes 68.15% of the time; this is the first time that a recurrent neural network has been shown to generate rhyming poetry a high percentage of the time. Additionally, we show that crowd-source workers can only distinguish between our generated couplets and couplets from our dataset 63.3% of the time, indicating that our model generates poetry with coherency, semantic meaning, and fluency comparable to couplets written by humans. / Graduate

La musique aujourd’hui est régulièrement accompagnée d’environnements visuels. Depuis les propositions en provenance du vidéoclip jusqu’aux œuvres installatives en passant par l’art web ou le cinéma, l’audiovisuel occupe une place considérable dans notre monde médiatisé et constitue un foyer important du développement des pratiques musicales. L’alliage entre son et image est souvent rattachée à l’histoire du cinéma mais les prémisses entourant l’audiovisuel remontent en réalité à l’Antiquité. Les correspondances entre sons et couleurs ont pris racine en premier chez les Pythagoriciens et cet intérêt se poursuit encore aujourd’hui. L’avènement de différentes technologies est venu reformuler au fil des siècles cette recherche qui retourne du décloisonnement artistique. L’arrivée de l’électricité permet au XIXe siècle le développement d’une lutherie expérimentale avec entre autres l’orgue à couleur d’Alexander Rimington. Ces instruments audiovisuels donnent naissance plus tard au Lumia, un art de la couleur et du mouvement se voulant proche de la musique et qui ne donne pourtant rien à entendre. Parallèlement à ces nouvelles propositions artistiques, il se développe dès les tout début du XXe siècle au sein des avant-gardes cinématographiques un corpus d’œuvres qui sera ensuite appelé musique visuelle. Les possibilités offertes par le support filmique vient offrir de nouvelles possibilités quant à l’organisation de la couleur et du mouvement. La pratique de cet art hybride est ensuite reformulée par les artistes associés à l’art vidéo avant de connaitre une vaste phase de démocratisation avec l’avènement des ordinateurs domestiques depuis les années 1990. Je retrace le parcours historique de ces pratiques audiovisuelles qui s’inscrivent résolument sur le terrain du musical. Un parcours appuyé essentiellement sur des œuvres et des ouvrages théoriques tout en étant parsemé de réflexions personnelles. Je traite des enjeux théoriques associés à ces propositions artistiques en les différenciant d’un autre format audiovisuel majeur soit le cinéma. Cet exposé permet de préparer le terrain afin de présenter et contextualiser mon travail de création. Je traite de deux œuvres, Trombe (2011) et Lungta (2012), des propositions qui héritent à la fois des musiques visuelles, de l’art interactif et de l’art cinétique. / Visual environments nowadays regularly accompany music. From the video clip to installations, web-art and cinema, audiovisual occupies a great part of our world and constitutes an important development pole of musical practices. The mixing of sound and image is often attached to the history of cinema but the premises of audio-vision date back to Antiquity. The connections between sound and colors were first encountered with the Pythagoricians and the research surrounding these relationships is still pursued nowadays. Different technologies have paved the way to new formulations of this artistic decompartmentalization. In XIXth century, electricity enables the development of an experimental musical instrument fabrication research with Alexander Rimington’s color organ amongst others. These audiovisual instruments give birth later to Lumia, an art form willingly close to music and that renders nothing to hear. In parallel to these new artistic propositions, a body of work later called Visual Music is emerging from early cinematographic avant-gardes. The possibilities offered by the filmic support opens to new ways of organizing color and movement. This hybrid art is then reformulated by video art practitioners before going through a vast phase of democratization with the advent of domestic computers in the early 1990. I cover the different historic parts of these resolutely musical audiovisual practices. This summary is mainly made of art and theoretical works dotted with personal reflections. I comment the theoretical aspects attached to these artistic propositions by opposing another major audiovisual format: cinema. All this in order to pave the way for a presentation and contextualization of my creative output. I propose Trombe (2011) and Lungta (2012), two propositions that inherit from visual music, interactive art and kinetic art.

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l’amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d’abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d’un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d’écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d’art visuel, plus précisément sur les premières étapes de la création quand l’artiste créer la structure. Nous offrons la possibilité de créer et d’éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c’est-à-dire qu’ils s’ajoutent aux outils existants: toute l’interface utilisateur est sur la table, et l’utilisateur n’utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d’un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L’acceptabilité de ce genre de système a été très bonne, et “magique” par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi. / This dissertation presents the design, implementation, and evaluation of novel SpatialAugmented Reality (SAR) applications. These applications focus on enhancing physical drawingsuch as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account thecamera and projector internal and external parameters to enable precise projection onto trackedsheets of paper. In addition to this, we enable touch and hand detection over the table with adepth camera. Consequently, it enables the creation of interactive touch screens on the pieces ofpaper on a table.Next, we focus on the creation of visual art, more precisely the first steps of creation whenthe artist structures it. We enable the creation and edition of digital construction lines (DCL)that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., theyadd to existing tools: the whole user interface is on the table and the user never uses a mouse,keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specializethem for specific drawings such as perspective drawing, character drawing and drawing from a3D model. We propose a novel way to display and interact with 3D objects on paper. We alsopropose to create mixed media drawing: it enables the creation of interactive visual art thattakes advantage from both the physical and digital possiblities.Finally, we describe new usages for our SAR system in many different contexts throughpublic exhibitions. The acceptability of such systems was found very good and “magical” bymost of the users. They only saw and interacted with interactive pieces of paper without noticingthe projection and tracking system.