Thesis (M.Ed.)--University of Alberta, 1997. / In partial fulfillment of the requirements for the degree of Master of Education in Counselling Psychology. Department of Educational Psychology. Also available online.

AI-supported programming has arrived, as shown by the introduction and successes of large language models for code, such as Copilot/Codex (Github/OpenAI) and AlphaCode (DeepMind). Above-average human performance on programming challenges is now possible. However, software development is much more than solving programming contests. Moving beyond code completion to AI-supported software development will require an AI system that can, among other things, understand how to avoid code smells, follow language idioms, and eventually (maybe!) propose rational software designs. In this study, we explore the current limitations of Copilot and offer a simple taxonomy for understanding the classification of AI-supported code completion tools in this space. We first perform an exploratory study on Copilot’s code suggestions for language idioms and code smells. Copilot does not follow language idioms and avoid code smells in most of our test scenarios. We then conduct additional investigation to determine the current boundaries of Copilot by introducing a taxonomy of software abstraction hierarchies where ‘basic programming functionality’ such as code compilation and syntax checking is at the least abstract level, software architecture analysis and design are at the most abstract level. We conclude by providing a discussion on challenges for future development of AI-supported code completion tools to reach the design level of abstraction in our taxonomy. / Graduate

Background. Machine learning and artificial intelligence are advancing faster than ever, code generation is becoming a hot topic and is starting to gain traction in the industry. This creates the question, is it possible to create a complete website from scratch using only code generated by AI? Objectives. To determine whether it is possible to create complete websites from start to finish with the code-generating tools. The tools in question are OpenAI’s ChatGPT and GitHub’s Copilot. Methods. A design-based research was conducted where two tools were evaluated for the task of recreating a wireframe as closely as possible in terms of efficiency, accuracy, maintainability, and ease of use. The code was then analyzedboth manually with a code review and using the tools SonarQube, ESLint, and Pylint. Results. The experiment resulted in that both tools delivered code that was similar in quality, both tools managed to create the websites according to wireframe with minor styling differences. We found that it is easier to create a website from scratch using OpenAI's ChatGPT than it is with GitHub's Copilot even though it uses OpenAI's Codex model which focuses on code generation. Conclusion. Code-generating AI is not advanced enough to create systems from scratch in a time-efficient way without introducing bugs and security risks.

This work examines the utilization of chatbots in programming and their effects ondeveloper productivity, code quality, and problem-solving. The surge in AI technologyand the popularity of chatbots has been remarkable since the end of 2022, whenOpenAI introduced ChatGPT, capable of providing rapid and accurate responses toinquiries. This introduces novel opportunities for information accessibility withouthuman interactions.Previous research within this domain has explored the usability of earlier chatbots indesign-related professions, revealing a certain degree of utility. Now, with the advancementof AI, new prospects arise for investigating their utility. Emerging technologiesoften imbue functionalities that facilitate or simplify specific tasks. Therefore,the aim of this study is to explore and analyze how chatbots such as ChatGPTand GitHub Copilot can function as interactive aids to streamline programming andsystems development.Conducted as a qualitative study within the realms of programming and systems development,this work employs interviews as its primary methodology. Semi-structuredqualitative interviews are employed for data collection. To analyze the informationgathered from these interviews, a thematic analysis approach is adopted, facilitatingthe identification of commonalities and disparities in the responses.The findings of this study demonstrate that AI tools have proven to be effective andbeneficial in areas like information retrieval or fundamental programming tasks, yetexhibit limitations in advanced programming endeavors and complex problem-solving.The study encompasses respondents who have employed these tools in theirwork, possessing the expertise and experience to offer insights into developers' utilizationof these tools in software development.

In the rapidly evolving software industry, bots have become integral to automating tasks and enhancing developer productivity and are revolutionizing the way security patches are implemented in software projects. Our study investigates the impact of DEPENDABOT on the speed and efficacy of security patching in GitHub Open Source Software projects, by studying merge times and factors that contribute to DEPENDABOT’s resolution of security issues in JavaScript projects. We use a dataset containing DEPENDABOT Security Pull Requests. Our study validates previous findings by collecting data from the GitHub API and publishing a dataset collected between 2021 and 2024. We face challenges with collecting features impacting merge times, but overcome them by prioritizing the top 3 features and 2 additional ones. We also investigate the factors behind not merging Pull Requests to identify the obstacles in adopting DEPENDABOT’s recommendations, by analysing Pull Request comments. We start performing sentiment analysis and topic modeling but switch to GitHub Copilot instead and continue investigating presence of factors impacting rapid merge times. Our results present a lower adoption rate of DEPENDABOT Security Pull Requests in JavaScript Open Source Software projects, specifically 13%, compared to those of the original study. 76% of Pull Requests are merged within 4 days, with a median decision time of 0,3 days. The main reason for not merging a DEPENDABOT Security Pull Requests is that another DEPENDABOT Security Pull Request supersedes it. Factors associated with faster merge are related to smaller changes and, controversially, disabling auto merge.

Dans la plupart des entreprises de fabrication mécanique, le réglage des machines-outils est une tâche déléguée au régleur qui cherche à garantir les tolérances. Cela a pour conséquence d’augmenter le temps de réglage pour une qualité qui n’est pas au niveau souhaité. Au cours de ces six dernières années, le laboratoire SYMME a élaboré des méthodes de pilotage (Copilot-Pro®et Pilotage inertiel) pour résoudre le problème de réglage des machines-outils. Fondés sur ces deux méthodes, les travaux présentés en font une synthèse et présentent des nouvelles avancées dans le pilotage de commande numériques afin d’obtenir la meilleure qualité possible quelle que soit la complexité de la pièce. L’apport de ce travail est présenté en cinq chapitres. Le premier chapitre présente le contexte général des travaux de recherche et fait un état de l'art des travaux existants, d’une part sur le pilotage et d’autre part sur la conformité. Le pilotage consiste à réduire la variabilité autour de la cible des produits et la conformité consiste à s'assurer que la dispersion d'une caractéristique est contenue dans l'intervalle de tolérance de celle-ci. Le second chapitre revient sur les méthodes de pilotage qui consistent à établir les relations entre les caractéristiques de la pièce et les correcteurs et propose dessolutions pour améliorer le calcul de la correction en tenant compte à la fois des tolérances et des nombres de points palpés sur les surfaces de la pièce. Le troisième chapitre présente les stratégies de pilotage et met en évidence les limites des méthodes classiques de détection des situations hors contrôle qui sont la carte de contrôle de Shewhart et la carte T² de Hotelling. Le quatrième chapitre fait une synthèse des méthodologies pour faciliter le déploiement des méthodes dans l’industrie. Le cinquième chapitre présente une application expérimentale du pilotage inertiel et un témoignage de l'utilisation du pilotage matriciel dans une entreprise d'horlogerie. Une conclusion rappelle les principaux apports de ce travail. / In most mechanical manufacturing companies, setting machine-tools is a task delegated to the setter who seeks to ensure tolerances. This has the consequence of increasing the adjustment time with a quality that is not at the desired level. Over the past six years, the SYMME laboratory has developed steering methods (Copilot -Pro ® and inertial steering) to solve the problem of setting machine tools. Based on these methods, the works presented make a synthesis and presents new advances in steering of digital controls (CNC) to obtain the best quality regardless of the complexity of the part. The contribution of this workis presented in five chapters. The first chapter presents the general context of the research and makes a state of the art of existing works, on the one hand on the steering and on the other hand on the conformity. The steering consists in reducing the variability around the target products and the conformity consists in verifyingthat the dispersion of a characteristic is inside its tolerance interval. The second chapter discusses the methods of steering which consist in establishing the relationship between the characteristics of the workpiece and thetool-offsets and propose solutions to improve the calculation of the correction taking into account both tolerances and number of points probed on the surfaces of the workpiece. The third chapter presents the steering strategies and highlights the limitations of conventional methods for detecting out of control situations which are the Shewhart's control card and the T² Hotelling’s card. The fourth chapter is a synthesis of methodologies to facilitate the deployment of the methods in the industry. The fifth chapter presents an experimental application of inertial steering and a debriefing on the matrix steering used in a watch manufacturer company. Conclusion reiterates the main contributions of this work

Usage of natural language processing tools to generate code is increasing together with the advances in artificial intelligence. These tools could improve the efficiency of software development, if the generated code can be shown to be trustworthy enough to solve a given problem. This thesis examines what problems can be solved using automatically generated code such that the results can be trusted. A set of six problems were chosen to be used for testing two automatic code generators and the accuracy of their generated code. The problems were chosen to span a range from introductory programming assignments to complex problems with no known efficient algorithm. The problems also varied in how direct their descriptions were, with some describing exactly what should be done, while others described a real-world scenario with a desired result. The problems were used as prompts to the automatic code generators to generate code in three different programming languages. A testing framework was built that could execute the generated code, feed problem instances to the processes, and then verify the solutions that were outputted from them. The data from these tests were then used to calculate the accuracy of the generated code, based on how many of the problem instances were correctly solved. The experimental results show that most solutions to the problems either got all outputs correct, or had few or no correct outputs. Problems with direct explanations, or simple and well known algorithms, such as sorting, resulted in code with high accuracy. For problems that were wrapped in a scenario, the accuracy was the lowest. Hence, we believe that identifying the underlying problem before resorting to code generators should possibly increase the accuracy of the code. / Användningen av verktyg som bygger på språkteknologi för att generera kod har ökat i takt med framstegen inom artificiell intelligens. Dessa verktyg kan användas för att öka effektiviten inom mjukvaruutveckling, om den genererade koden kan visas tillförlitlig nog för att lösa ett givet problem. Denna avhandling utforskar vilka problem som kan lösas med automatiskt genererad kod på en nivå sådan att resultaten kan dömas tillförlitliga. En mängd på sex olika problem valdes för att testa två olika kodgenererande verktygs noggrannhet. De utvalda problemen valdes för att täcka ett stort span av programmeringsproblem. Från grundläggande programmeringsproblem till komplexa problem utan kända effektiva algoritmer. Problemen hade även olika nivåer av tydlighet i deras beskrivning. Vissa problem var tydligt formulerade med ett efterfrågat tillvägagångssätt, andra var mindre tydliga med sitt respektive förväntade resultat inbakat i problembeskrivningen. De utvalda kodgenererade verktygen uppmanades lösa problem enligt sex problembeskrivningar på tre olika programmeringsspråk. Ett ramverk byggdes som skapade probleminstanser, exekverade den genererade koden och verifierade den utmatade lösningen. Resultaten användes för att beräkna den genererade kodens noggrannhet, baserat på hur många av de givna instanserna som lösts korrekt. Resultaten från testerna visar att de flesta av de genererade lösningarna fick antingen alla eller inga instanser korrekt lösta. Problem med tydliga beskrivningar och enkla välkända algoritmer så som sortering, resulterade i kod med hög noggrannhet. För de mindre tydliga problemen, som resulterade i lägst noggrannhet, bör identifiering av det underliggande problemet öka kodens noggrannhet.

Dans la plupart des entreprises de fabrication mécanique, le réglage des machines-outils est une tâche déléguée au régleur qui cherche à garantir les tolérances. Cela a pour conséquence d'augmenter le temps de réglage pour une qualité qui n'est pas au niveau souhaité. Au cours de ces six dernières années, le laboratoire SYMME a élaboré des méthodes de pilotage (Copilot-Pro® et Pilotage inertiel) pour résoudre le problème de réglage des machines-outils. Fondés sur ces deux méthodes, les travaux présentés en font une synthèse et présentent des nouvelles avancées dans le pilotage de commande numériques afin d'obtenir la meilleure qualité possible quelle que soit la complexité de la pièce. L'apport de ce travail est présenté en cinq chapitres. Le premier chapitre présente le contexte général des travaux de recherche et fait un état de l'art des travaux existants, d'une part sur le pilotage et d'autre part sur la conformité. Le pilotage consiste à réduire la variabilité autour de la cible des produits et la conformité consiste à s'assurer que la dispersion d'une caractéristique est contenue dans l'intervalle de tolérance de celle-ci. Le second chapitre revient sur les méthodes de pilotage qui consistent à établir les relations entre les caractéristiques de la pièce et les correcteurs et propose des solutions pour améliorer le calcul de la correction en tenant compte à la fois des tolérances et des nombres de points palpés sur les surfaces de la pièce. Le troisième chapitre présente les stratégies de pilotage et met en évidence les limites des méthodes classiques de détection des situations hors contrôle qui sont la carte de contrôle de Shewhart et la carte T² de Hotelling. Le quatrième chapitre fait une synthèse des méthodologies pour faciliter le déploiement des méthodes dans l'industrie. Le cinquième chapitre présente une application expérimentale du pilotage inertiel et un témoignage de l'utilisation du pilotage matriciel dans une entreprise d'horlogerie. Une conclusion rappelle les principaux apports de ce travail.

Dans la plupart des entreprises de fabrication mécanique, le réglage des machines-outils est une tâche déléguée au régleur qui cherche à garantir les tolérances. Cela a pour conséquence d'augmenter le temps de réglage pour une qualité qui n'est pas au niveau souhaité. Au cours de ces six dernières années, le laboratoire SYMME a élaboré des méthodes de pilotage (Copilot-Pro® et Pilotage inertiel) pour résoudre le problème de réglage des machines-outils. Fondés sur ces deux méthodes, les travaux présentés en font une synthèse et présentent des nouvelles avancées dans le pilotage de commande numériques afin d'obtenir la meilleure qualité possible quelle que soit la complexité de la pièce. L'apport de ce travail est présenté en cinq chapitres. Le premier chapitre présente le contexte général des travaux de recherche et fait un état de l'art des travaux existants, d'une part sur le pilotage et d'autre part sur la conformité. Le pilotage consiste à réduire la variabilité autour de la cible des produits et la conformité consiste à s'assurer que la dispersion d'une caractéristique est contenue dans l'intervalle de tolérance de celle-ci. Le second chapitre revient sur les méthodes de pilotage qui consistent à établir les relations entre les caractéristiques de la pièce et les correcteurs et propose des solutions pour améliorer le calcul de la correction en tenant compte à la fois des tolérances et des nombres de points palpés sur les surfaces de la pièce. Le troisième chapitre présente les stratégies de pilotage et met en évidence les limites des méthodes classiques de détection des situations hors contrôle qui sont la carte de contrôle de Shewhart et la carte T² de Hotelling. Le quatrième chapitre fait une synthèse des méthodologies pour faciliter le déploiement des méthodes dans l'industrie. Le cinquième chapitre présente une application expérimentale du pilotage inertiel et un témoignage de l'utilisation du pilotage matriciel dans une entreprise d'horlogerie. Une conclusion rappelle les principaux apports de ce travail.

The use of AI tools for code generation is increasing in popularity, and two of these tools are ChatGPT and GitHub Copilot. These tools could potentially reduce development time and costs for developers and companies, however, ensuring the correctness and quality of AI-generated code is crucial for its adoption. This study conducted a quantitative controlled experiment to evaluate the code generation capabilities of Copilot and ChatGPT in terms of code correctness and quality. The experiment aimed to address research questions regarding the performance of these AI tools. The results indicate that both ChatGPT and Copilot can generate correct code from given instructions, though there is room for improvement. ChatGPT achieved a correctness rate of 87.33%, while Copilot performed slightly better at 89%. Statistical analysis revealed no significant difference in code correctness between the two tools. Regarding code quality, ChatGPT demonstrated impressive performance, with 98.52% of generated lines free from quality rule violations. Furthermore, 80.7% of ChatGPT-generated algorithms had no quality rule violations. Copilot generated correct lines for 94.07% of total lines but only achieved 64.7% of algorithms with no quality rule violations. The statistical analysis showed a statistically significant difference in code quality between ChatGPT and Copilot, indicating that ChatGPT generally produces higher quality code. This research contributes to understanding the capabilities of AI code generation tools and highlights their potential to produce correct and high-quality code.