For the past 100 years, attempts have been made to develop teaching machines that support students’learning. Judging by the contemporary increase in funding for educational technology companies,there is now more than ever an interest in technology that facilitates learning. As a result of studentsbeing able to interact with learning material via internet-connected devices, it has become feasible toanalyze large quantities of interactional data in order to provide learners with individually tailoredlearning paths. This is one of the services provided by the company Sana Labs. Their algorithms aresaid to equip learners with actionable insights in the form of metrics and recommendations based oninteractions with digital learning platforms. However, the company has limited insight into how thetechnology can be used formatively in a classroom environment.As formative assessment includes clarifying what a student knows in relation to a curriculum goaland modifying learning activities accordingly to improve the student’s prospects to meet that goal, onespecific area of research within formative actions is the notion of feedback. Feedback has in metastudiesshown to be associated with high effect sizes in relation to learning, and how feedback can beconceptualized and implemented in digital learning environments has been investigated specifically.This exploratory study uses design science research to examine potential opportunities and risksassociated with automatically computed feedback in the form of visual metrics and recommendations.When analyzing external factors that affect learning, a behaviorist perspective is applied, and as forinternal processes such as meta-cognition and self-regulation, a constructivist perspective of learningis used. An artifact is developed in the form of a lo-fi prototype including three functions forautomated feedback, which are then evaluated by upper secondary mathematics teachers in Stockholmand a research manager at Sana Labs.The results indicate that it is possible to implement digital feedback strategies according to theliterature of feedback effects, and the technology available as of 2020. The interviewed teachersexpress how the functionality presented in the prototype could be helpful when working withformative assessment. Furthermore, the research manager deemed all of the proposed feedbackfunctions to be technically feasible. Regarding risks accompanying these strategies, a concern of theteachers could be identified, that the automated metrics and recommendations would be based on alimited view of the student’s knowledge. As a direction for further research, additional development ofthe prototyped functions is proposed, along with studies on the relationship between goal-setting andautomated feedback. / De senaste 100 åren har upprepade försök gjorts att utveckla undervisningsmaskiner som stödjerelevers lärande. Att döma av de senaste årens ökade investeringar i företag inom utbildningsteknologi,är intresset för att utveckla teknik som gynnar lärande nu större än någonsin. Som en följd av eleversmöjligheter att interagera med lärandematerial via internetuppkopplade enheter, har det blivit möjligtatt analysera stora mängder interaktionsdata för att ge elever individanpassade vägar för lärande.Detta är en av tjänsterna som erbjuds av företaget Sana Labs. Deras algoritmer uppges rusta elevermed handlingsbara insikter i form av mätvärden och rekommendationer baserade på interaktionermed digitala lärandeplattformar. Företaget har däremot begränsad insikt i hur tekniken kan användasformativt i en klassrumsmiljö.Eftersom formativ bedömning inkluderar att klargöra vad en student vet i förhållande till ettlärandemål, och att modifiera inlärningsaktiviteter därefter för att öka studentens möjligheter attuppnå målet, är feedback ett forskningsområde inom formativa åtgärder. Feedback har i metastudiervisat sig vara förknippad med höga effektstorlekar i relation till inlärning, och hur feedback kankonceptualiseras och implementeras i digitala inlärningsmiljöer har undersökts specifikt.Den här utforskande studien tillämpar design science research för att undersöka potentiellamöjligheter och risker förknippade med automatiskt beräknad feedback, i form av visuella metrikeroch rekommendationer. Utförda analyser av externa faktorer som påverkar lärande görs utifrån ettbehavioristiskt perspektiv, och för interna processer som metakognition och självreglering används ettkonstruktivistiskt perspektiv på lärande. En artefakt utvecklas i form av en lo-fi prototyp med trefunktioner för automatiserad feedback, som sedan utvärderas av gymnasielärare i matematik iStockholm, och en forskningschef på Sana Labs.Studien visar att det är möjligt att implementera strategier för digital feedback i enlighet medlitteratur om effekten av feedback. De intervjuade lärarna uttryckte att de såg hur den presenteradeprototypen kunde bidra i arbetet med formativ bedömning. Forskningschefen bedömde dessutom attalla de föreslagna funktionerna för feedback var tekniskt genomförbara. Gällande risker, kunde en oroidentifieras hos lärarna att automatiserade mätningar av kunskap och rekommendationer skullebaseras på en begränsad bild av en elevs kunskap. För vidare forskning föreslås ytterligare utvecklingav funktionerna, samt studier inom förhållandet mellan målsättning och automatiserad feedback.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-277098 |
| Date | January 2020 |
| Creators | Brown, Kristoffer, Thessén, Johannes David Liss |
| Publisher | KTH, Lärande |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-ITM-EX ; 2020:428 |
Page generated in 0.0031 seconds